JP2017148657A - 外科手術器具の画像取込み装置 - Google Patents

外科手術器具の画像取込み装置 Download PDF

Info

Publication number
JP2017148657A
JP2017148657A JP2017114998A JP2017114998A JP2017148657A JP 2017148657 A JP2017148657 A JP 2017148657A JP 2017114998 A JP2017114998 A JP 2017114998A JP 2017114998 A JP2017114998 A JP 2017114998A JP 2017148657 A JP2017148657 A JP 2017148657A
Authority
JP
Japan
Prior art keywords
image capture
image
sensor
light
capture sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017114998A
Other languages
English (en)
Other versions
JP6480508B2 (ja
Inventor
マクドウォール，イアン，エム
M Mcdowall Ian
スターン，ジョン，ディー
D Stern John
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/209,041 external-priority patent/US8764633B2/en
Priority claimed from US13/209,158 external-priority patent/US8784301B2/en
Priority claimed from US13/209,121 external-priority patent/US8684914B2/en
Priority claimed from US13/209,084 external-priority patent/US8734328B2/en
Priority claimed from US13/208,982 external-priority patent/US8672838B2/en
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of JP2017148657A publication Critical patent/JP2017148657A/ja
Application granted granted Critical
Publication of JP6480508B2 publication Critical patent/JP6480508B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00982—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body combined with or comprising means for visual or photographic inspections inside the body, e.g. endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3618—Image-producing devices, e.g. surgical cameras with a mirror
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stroboscope Apparatuses (AREA)

Abstract

【課題】同一平面の画像取込みセンサを有する画像取込みユニットを提供すること。【解決手段】低侵襲外科手術システムにおいて、画像取込みユニットは、レンズ・アセンブリおよびセンサ・アセンブリを含む。センサ・アセンブリは、プリズム・アセンブリおよび同一平面の画像取込みセンサを含む。同一平面の画像取込みセンサはそれぞれ、共通の前端部光学構造、例えばレンズ・アセンブリを有する。制御装置は、同一平面の画像取込みセンサによって取得された画像をエンハンスする。エンハンスされた画像としては、（ａ）フィーチャ精細度がエンハンスされた可視画像、（ｂ）見かけの解像度が高められた画像、（ｃ）ダイナミック・レンジが高められた画像、（ｄ）３つ以上の色成分を有する画素色成分ベクトルに基づく方法で表示された画像、および（ｅ）被写界深度が拡大された画像などが挙げられる。【選択図】図４Ａ

Description

本発明の態様は、概して内視鏡撮像に関し、さらに詳細には、共通の前端部光学的構造から複数の画像取込みセンサに光を取り込むことに関する。
米国カリフォルニア州ＳｕｎｎｙｖａｌｅのＩｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ社製のｄａ Ｖｉｎｃｉ（登録商標）外科手術システムは、体への外傷が小さい、回復が早い、入院期間が短いなど多くの利点を患者にもたらす、低侵襲遠隔走査型外科手術システムである。ｄａ Ｖｉｎｃｉ（登録商標）外科手術システム（例えばモデルＩＳ３０００、ｄａ Ｖｉｎｃｉ（登録商標）Ｓｉ ＨＤ）の１つの重要な要素は、可視画像の２チャネル（すなわち左右）ビデオ取込みおよび表示を行って、執刀医に立体視を提供する機能である。このような電子立体撮像システムは、高精細度のビデオ画像を執刀医に出力することができ、ズームなどの機能によって、執刀医が特定の組織の種類および特徴を識別し、より高い精度で作業することを可能にする「拡大」ビューを提供することができる。
通常、低侵襲外科手術システムでは、画像取込みシステムが、立体内視鏡の近位端部（外科手術部位から離れた端部）に結合される。しかし、一部の立体内視鏡は、画像取込み構成要素を内視鏡の遠位端部（外科手術部位に最も近い端部）に備えている。図１Ａから図１Ｄは、米国特許第４８７３５７２号（１９８８年２月２４日出願）に記載の立体内視鏡の遠位端部にある画像取込みセンサの構成の例を示す図である。
図１Ａでは、内視鏡の遠位端部１００Ａは、内視鏡の長手方向軸線１３３Ａと一致する中心線を有する板状パッケージ１１３Ａを含む。２つの電荷結合素子（ＣＣＤ）１１４Ａ１および１１４Ａ２が、パッケージ１１３Ａの対向する表面上に取り付けられる。２つの対物レンズ１１５Ａ１および１１５Ａ２が、内視鏡の長手方向軸線１３３Ａの両側に対称に配置される。ミラー１１６Ａ１および１１６Ａ２が、それぞれ対物レンズ１１５Ａ１および１１５Ａ２の光学軸線上に対照的に配置される。内視鏡外部の物体によって反射された光は、対物レンズ１１５Ａ１および１１５Ａ２を通過して、ミラー１１６Ａ１および１１６Ａ２によってＣＣＤ１１４Ａ１および１１４Ａ２の撮像面上に反射される。ＣＣＤ１１４Ａ１および１１４Ａ２からのビデオ信号は、内視鏡外部のビデオ・プロセッサに伝送される。
図１Ｂでは、内視鏡の遠位端部１００Ｂは、図１Ａの対物レンズ１１５Ａ１および１１５Ａ２と同じように配置された２つの対物レンズ１１５Ｂ１および１１５Ｂ２を含む。ミラー１１６Ｂ１および１１６Ｂ２が、ミラー表面を内視鏡の長手方向軸線１３３Ｂと平行に、ただし長手方向軸線１３３ｂからずらして取り付けられる。内視鏡外部の物体によって反射された光は、対物レンズ１１５Ｂ１および１１５Ｂ２を通過して、ミラー１１６Ｂ１および１１６Ｂ２によって屈折プリズム１１７Ｂ１および１１７Ｂ２に反射される。プリズム１１７Ｂ１および１１７Ｂ２からの光路は、ＣＣＤ１１４Ｂ１および１１４Ｂ２の撮像面に向かう。ＣＣＤ１１４Ｂ１および１１４Ｂ２は、ＣＣＤ１１４Ｂ１および１１４Ｂ２の撮像面がそれぞれプリズム１１７Ｂ１および１１７Ｂ２からの光路の光学軸線と直角に交差するように取り付けられる。したがって、ＣＣＤ１１４Ｂ１および１１４Ｂ２はそれぞれ、撮像面が内視鏡の長手方向軸線１３３Ｂに対して所定の角度で傾斜した状態で取り付けられる。
図１Ｃでは、２つの対物レンズ１１５Ｃ１および１１５Ｃ２は、例えばレンズの中心軸から上側に偏心している。反射プリズム１１７Ｃ１および１１７Ｃ２はそれぞれ、対物レンズ１１５Ｃ１および１１５Ｃ２の光学軸線上に配置される。プリズム１１５Ｃ１および１１５Ｃ２の中心は、それぞれ対物レンズ１１５Ｃ１および１１５Ｃ２と同じ高さに位置決めされるが、水平方向には若干変位している。プリズム１１７Ｃ１は、対物レンズ１１５Ｃ１から左に若干変位しており、プリズム１１７Ｃ２は、対物レンズ１１５Ｃ２から右に若干変位している。
各プリズム１１７Ｃ１および１１７Ｃ２によって反射された光は、プリズム１１８Ｃのそれぞれの斜面で反射されて、パッケージ１１３Ｃに取り付けられたＣＣＤ１１４Ｃの撮像面上に画像を形成する。ＣＣＤ１１４Ｃからのビデオ信号は、内視鏡外部のビデオ・プロセッサに伝送される。
図１Ｄでは、内視鏡の遠位端部１００Ｄは、図１Ｃの対物レンズ１１５Ｃ１および１１５Ｃ２と同じように配置された２つの偏心対物レンズ１１５Ｄ１および１１５Ｄ２を含む。プリズム１１７Ｄ１および１１７Ｄ２の位置は、図１Ｃのプリズム１１７Ｃ１および１１７Ｃ２と比較すると前後に変位している。プリズム１１７Ｄ１および１１７Ｄ２によって反射された光はそれぞれ、ミラー１１８Ｄ１および１１８Ｄ２によって反射されて、内視鏡の長手方向軸線と平行なパッケージ１１３Ｄ上に隣接して取り付けられたＣＣＤ１１４Ｄ１および１１４Ｄ２上にそれぞれの画像を形成する。
一方のミラー１１８Ｄ１は、凹型であり、したがってＣＣＤ１１４Ｄ２上の画像の光路長より若干短い光路長でＣＣＤ１１４Ｄ１上に画像を形成する。したがって、この例では、左の光学チャネルの方が、右の光学チャネルより短い光路長を有する。ＣＣＤ１１４Ｄ１および１１４Ｄ２からのビデオ信号は、内視鏡外部のビデオ・プロセッサに伝送される。
図１Ａから図１Ｄは、内視鏡先端の制約された空間内でステレオ画像を取り込むいくつかの方法を例示するものである。しかし、内視鏡の遠位端部の外径は小さい方が望ましいので、これらの図に示す構成は、外径の小さな遠位端部の画像取込みシステムで高画質の立体画像を取り込むことが、数多くの問題のために如何に困難であるかということも示している。
図１Ａの構成について考える。この装置を合焦させるためには、両対物レンズ１１５Ａ１および１１５Ａ２の小さなレンズを極めて精密に移動させて焦点を合わせなければならない。図１Ｂに示す構成には、プリズムを用いて光を半端な角度で曲げる必要があるという問題がある。これにより、左右の画像センサにおいて横方向の色歪みが生じ、性能が不均一になる可能性が高い。これらの画像は、最適な間隔にならない。
図１Ｃおよび図１Ｄに示す構成では、画像が光学素子の平面内で水平になるようにする必要がある。ＣＣＤまたは光学構成要素を、丸い内視鏡の先端の中央面に載ることはできないので、これらの構成では、極めて小さな光学構成要素（および小さな瞳距離）または非常に小さなＣＣＤが必要となるが、これらは、面積が小さいために画素数および／または画素サイズが制限され、そのために撮像品質が制限される。また、図１Ｄの構成では、光路長が異なるので、各チャネルの光学構成要素を違うものにしなければならない。
米国特許第４８７３５７２号 米国特許出願第１１／７６２１６５号 米国特許第ＵＳ６８３７８８３Ｂ２号 米国特許第６３３１１８１号 米国特許出願第１２／８５５９０５号
同一平面の画像取込みセンサを有する画像取込みユニットは、内視鏡の遠位端部で使用される従来技術のカメラの欠点を克服し、多数の新たな機能を提供する。内視鏡の１つのチャネル内の同一平面の画像取込みセンサはそれぞれ、共通の前端部光学構造を有しており、例えば、画像取込みユニット内のレンズ・アセンブリは、各センサで同じである。画像取込みセンサを共通かつ同一平面の光学的構成にすることにより、レンズ・アーチファクトの較正が不要になる。内視鏡の複数の独立したチャネルで取り込まれた異なる画像を再位置合わせが不要となる。内視鏡のチャネルで取り込まれた画像は、時間的に位置合わせされている。また、画像は、互いに空間的に位置合わせされている。
あるシーンの１つまたは複数の可視画像およびそのシーンの１つまたは複数の蛍光画像を、画像取込みユニットによって取得する。制御装置は、取得した画像をエンハンスする。エンハンスされた画像が、１つの態様では、立体視ディスプレイに表示される。エンハンスされた画像としては、（ａ）シーン中の特定のフィーチャが例えば低侵襲外科手術システムのオペレータに対して強調表示される、フィーチャ精細度がエンハンスされた画像、（ｂ）見かけの解像度が高められた画像、（ｃ）ダイナミック・レンジが高められた画像、（ｄ）３つ以上の色成分を有する画素色成分ベクトルに基づく方法で表示された画像、および（ｅ）被写界深度が拡大された画像などが挙げられる。
１つの態様では、画像取込みユニットは、第１のセンサ面を有する第１の画像取込みセンサと、第２のセンサ面を有する第２の画像取込みセンサとを含む。第１および第２の画像取込みセンサ面は、同一平面である。別の態様では、第１の面は第１の平面内にあり、第２の面は第２の平面内にある。第１の平面と第２の平面は平行であり、既知の距離だけ離間している。画像取込みユニット内のビーム・スプリッタは、光を受光するように位置決めされる。ビーム・スプリッタは、受光した光の第１の部分を第１のセンサ面に向けて送り、受光した光の第２の部分を通過させる。画像取込みユニット内の反射ユニットは、受光した光の第２の部分を受光し、受光した光の第２の部分を第２の画像取込みセンサに向けて送るように位置決めされる。
１つの態様では、第１の画像取込みセンサおよび第２の画像取込みセンサは、１つの画像取込みセンサ・チップの異なる領域にある。別の態様では、第１の画像取込みセンサおよび第２の画像取込みセンサは、共通のプラットフォーム上に取り付けられた２つの別個の画像取込みセンサ・チップである。さらに別の態様では、第１の画像取込みセンサおよび第２の画像取込みセンサは、単一の画像取込みセンサ・チップ上の２つの別個の撮像領域にある。
１つの態様では、内視鏡の遠位端部は、第１および第２の画像取込みセンサと、ビーム・スプリッタを含むプリズム・アセンブリと、反射ユニットとを含む。別の態様では、立体視内視鏡は、遠位端部、１対のチャネル、ならびに複数の第１および第２の画像取込みセンサと、プリズム・アセンブリと、反射アセンブリとを含む。第１の画像取込みセンサ、第２の画像取込みセンサ、プリズム・アセンブリ、および反射ユニットは複数含まれる。１対のチャネルの各チャネルは、立体視内視鏡の遠位端部に、異なる第１の画像取込みセンサ、異なる第２の画像取込みセンサ、異なるプリズム・アセンブリ、および異なる反射ユニットを複数含む。
１実施態様では、ビーム・スプリッタは、ビーム・スプリッタから受光した光の第１の部分を第１のセンサ面に向けて送るように位置決めされた面も含むプリズム・アセンブリに含まれる。この面は、それ以外の光がこの面に入射しないように位置決めされる。反射ユニットは、受光した光の第２の部分を第２の画像取込みセンサの表面に反射するように位置決めされた反射面を含む。別の実施態様では、プリズム・アセンブリおよび反射ユニットは、１つの一体構造に含まれる。
１つの態様では、プリズム・アセンブリは、受光した光がプリズム・アセンブリに進入する遠位面を含む。画像取込みユニットは、遠位面から第２のセンサ面までの第２の光路長とほぼ等しいような、遠位面から第１のセンサ面までの第１の光路長を有する。別の態様では、第１の光路等と第２の光路長が異なり、この２つの光路長の差は、第１の画像取込みセンサおよび第２の画像取込みセンサが取得した画像の間の焦点の差をもたらすように構成される。
実施態様に関わらず、プリズム・アセンブリは、このプリズム・アセンブリが受光した光の第１の部分を反射するように構成され、かつ受光した光の第２の部分を透過させるように構成されたビーム・スプリッタを含む。１つの態様では、受光した光の第１の部分は、受光した光の第１の割合であり、受光した光の第２の部分は、受光した光の第２の割合である。１つの態様では、ビーム・スプリッタは、第１の割合と第２の割合がほぼ等しくなるように構成される。別の態様では、ビーム・スプリッタは、第１の割合と第２の割合が等しくならないように構成される。ビーム・スプリッタは、薄い金属コーティング、誘電体コーティング、ダイクロイック・コーティング、または普通なら透明な界面上の反射タイルのパターンなど、様々な形態で実装することができる。
第１および第２の画像取込みセンサは、両方ともカラー画像取込みセンサとしてもよいし、あるいは、一方をカラー画像センサとし、もう一方をモノクロ画像取込みセンサとしてもよい。
この画像取込みユニットでは、共通の前端部光学系から受光した光の第１の部分による第１の画像を、第１の画像取込みセンサが取り込む。共通の前端部光学系から受光した光の第２の部分による第２の画像を、第２の画像取込みセンサが取り込む。第１の画像取込みセンサおよび第２の画像取込みセンサは、同一平面であり、第１の画像と第２の画像は、取り込まれるときに互いに空間的に位置合わせされる。
プリズム・アセンブリおよび反射ユニットの同じ基本的幾何形状を、様々な態様のそれぞれで使用して、上述の利点を得る。特定のエンハンスに応じて、ビーム・スプリッタの構成を変化させ、照明源を変化させることができる。
フィーチャ識別のエンハンスでは、レンズ・アセンブリから受光した光は、遠位面からプリズム・アセンブリに進入する。ビーム・スプリッタは、受光した光の偏光状態に基づいて受光した光の第１の部分を反射するように構成され、かつ受光した光の偏光状態に基づいて受光した光の第２の部分を透過させるように構成される。遠位面から第１のセンサ面までの第１の光路長は、遠位面から第２のセンサ面までの第２の光路長とほぼ等しい。制御装置が、第１および第２の画像取込みセンサに結合される。この制御装置は、第１の画像取込みセンサによって取り込まれた第１の画像から得られる情報と第２の画像取込みセンサによって取り込まれた第２の画像から得られる情報とを結合して、受光した光の偏光の差に基づいてその中のフィーチャの顕著性を高めた画像を生成する。
解像度およびダイナミック・レンジのエンハンスでは、ビーム・スプリッタは、受光した光の第１の割合を反射するように構成され、かつ受光した光の第２の割合を透過させるように構成される。この場合も、プリズム・アセンブリの遠位面から第１のセンサ面までの第１の光路長は、遠位面から第２のセンサ面までの第２の光路長とほぼ等しい。
１つの態様では、第１の画像取込みセンサおよび第２の画像取込みセンサは、カラー画像取込みセンサである。この場合も、制御装置が、第１および第２の画像取込みセンサに結合される。この制御装置は、第１の画像取込みセンサによって取り込まれた第１の画像から得られる情報と第２の画像取込みセンサによって取り込まれた第２の画像から得られる情報とを結合して、単一の画像取込みセンサによって取り込まれた画像と比較してエンハンスされた空間解像度およびエンハンスされたダイナミック・レンジのうちの１つを有する画像を生成する。
第１の割合と第２の割合がほぼ等しいときには、制御装置が生成する画像は、エンハンスされた空間解像度を有する。第１の割合と第２の割合がほぼ等しいと言えないときには、制御装置が生成する画像は、エンハンスされたダイナミック・レンジを有する。
解像度のエンハンスでは、１つの態様では、第１の割合は、受光した光の約５０パーセントであり、第２の割合も、受光した光の約５０パーセントである。プリズム・アセンブリのビーム・スプリッタおよび反射面は、第１の光路長が依然として第２の光路長とほぼ等しいままとなるようにして、第１の画像取込みセンサによって取り込まれた画像を第２の画像取込みセンサによって取り込まれた画像からオフセットするように位置決めされる。制御装置は、第１の画像取込みセンサによって取り込まれた第１の画像中の第１の画素をサンプリングし、第２の画像取込みセンサによって取り込まれる第１の画素に対応する第２の画素をサンプリングする。この２つのサンプリングした画素から得られる情報を用いて、制御装置は、第１および第２の画像取込みセンサによって取り込まれた画像より高い色性能を有する画像の画素を生成する。制御装置は、１つの画素ではなく画素群を用いてこのプロセスを実行することができる。
ビーム・スプリッタが、第１の割合と第２の割合が等しくならないように受光した光を分離するときには、例えば第１の画像取込みセンサによって取り込まれた画像が、第１の画像取込みセンサのダイナミック・レンジのためにクリッピングされないように、第１の割合は、第１の画像取込みセンサのダイナミック・レンジに基づいて選択される。１つの態様では、第１の割合は、受光した光の約Ｎ％であり、第２の割合は、受光した光の約Ｍ％である。ＮおよびＭは正の数である。１００％からＮ％を引くと、Ｍ％とほぼ等しくなる。制御装置は、第１の画像取込みセンサによって取り込まれた画像中の画素をサンプリングし、第２の画像取込みセンサによって取り込まれた画像中のそれに対応する画素をサンプリングする。制御装置は、これらのサンプリングした画素から得られる情報を用いて、出力画像の画素を生成する。この出力画像は、単一の画像取込みセンサによって取り込まれた画像より高いダイナミック・レンジを有する。制御装置は、１つの画素ではなく画素群を用いてこのプロセスを実行することができる。
解像度のエンハンスの別の態様では、ビーム・スプリッタが受光する光は、複数の色成分を含む。ビーム・スプリッタは、複数の色成分のうちの１つの色成分を反射するように構成され、かつ複数の色成分のうちの他の色成分を透過させるように構成される。プリズム・アセンブリの遠位面から第１のセンサ面までの第１の光路長は、遠位面から第２のセンサ面までの第２の光路長とほぼ等しい。
この態様では、第１の画像取込みセンサは、モノクロ画像取込みセンサであり、第２の画像取込みセンサは、複数の色成分のうちの上記の他の色成分用のカラー・フィルタ・アレイを有する画像取込みセンサである。制御装置は、複数の色成分のうちの上記の１つではフル空間解像度を有し、複数の色成分のうちの上記の他の色成分ではそれより低減された空間解像度を有する。制御装置は、カラー画像取込みセンサによって取り込まれた画像より改善された空間解像度および鮮鋭度を有する画像を生成する。
３つ以上の色成分を有する画素色成分ベクトルを含む態様では、ビーム・スプリッタは、複数のノッチ・フィルタを含む。ノッチ・フィルタは、フィルタが反射性になるスペクトル帯域が狭く、反射帯域の片側または両側に存在する通過帯域がそれより広いフィルタである。複数のノッチ・フィルタは、第１の光成分のセットを受光した光の第１の部分として反射し、第２の光成分のセットを受光した光の第２の部分として通過させる。この場合も、プリズム・アセンブリの遠位面から第１のセンサ面までの第１の光路長は、遠位面から第２のセンサ面までの第２の光路長とほぼ等しい。
このシステムは、複数の色成分を含む出力光を生成する照明器を含む。制御装置は、第１の画像取込みセンサによって取り込まれた第１の画像のモザイク解除処理された画像を受信するように構成され、かつ第２の画像取込みセンサによって取り込まれた第２の画像のモザイク解除処理された画像を受信するように構成される。制御装置は、第１のモザイク解除処理された画像中の対応する画素の色成分ベクトルおよび第２のモザイク解除処理された画像中の対応する画素の色成分ベクトルから出力画像中の画素のＮ要素色成分ベクトルを生成する。ここで、Ｎは最低でも３である。
被写界深度を拡大する態様では、ビーム・スプリッタは、受光した光の第１の部分を反射し、受光した光の第２の部分を透過させる。プリズム・アセンブリの遠位面から第１のセンサ面までの第１の光路長は、遠位面から第２のセンサ面までの第２の光路長より短い。第１の画像取込みセンサは、第１の物体距離のところに合焦した画像を取り込み、第２の画像取込みセンサは、第２の物体距離のところに合焦した画像を取り込む。１つの態様では、制御装置は、第１および第２の画像取込みセンサに結合されて、第１および第２の画像を受信する。制御装置は、内視鏡内部の光学素子を物理的に動かすことなく、物体から内視鏡までの距離が変化するにつれて、出力画像を第１の画像と第２の画像との間で自動的にシフトする。別の態様では、制御装置は、第１の画像中の画素領域をサンプリングし、第２の画像中の対応する画素領域をサンプリングして、個々の第１の画像および第２の画像と比較して増大した見かけの被写界深度を有する出力画像中の画素を生成するように構成される。さらに別の態様では、制御装置は、第１の画像取込みセンサによって取り込まれた第１の画像を第２の画像取込みセンサによって取り込まれた第２の画像と結合し、見ている組織に対して内視鏡が物理的に移動している間も自動的に焦点が合った状態に留まる第３の画像を生成する。これは、制御装置が第１および第２の画像の領域を処理して、それらの鮮鋭度を比較することによって行われる。制御装置は、各領域の２つの画像のうちより鮮鋭な方の画像の画素から第３の画像を作成する。したがって、第３の画像は、２つの画像の最も鮮鋭な部分で構成される。
さらに別の態様では、制御装置は、第１の画像取込みセンサによって取り込まれた第１の画像および第２の画像取込みセンサによって取り込まれた第２の画像を取り出し、第１および第２の画像取込みセンサから取得した画素領域の相対鮮鋭度に基づいてチャネル深さマップを生成する。この深さマップは、システムが様々な方法で使用することができる。１つの方法は、制御装置が、シーンの３次元表面を生成し、第１および第２の画像をこの３次元表面に（ソフトウェアを実行することによって）投影してテクスチャ・マッピングして、このテクスチャ処理された仮想画像面を生成するというものである。制御装置は、チャネル深さマップおよびテクスチャ処理された画像面から仮想カメラ点の新たな仮想画像を生成する。必要に応じて、複数の仮想カメラ位置および対応する画像を生成することもできる。例えば、仮想カメラ位置を左眼位置から右眼位置に行き来させる、すなわち両眼間距離にわたって行き来させる間に、シーンの実時間画像を生成する。ある仮想カメラ視点からの画像が生成されると、その画像は、非ステレオ・ディスプレイ・ユニットに表示される。この視点が次の仮想カメラ位置に移動すると、その視点からの画像が生成され、表示される。このように、仮想カメラ位置が行き来するときに、表示されるシーンは時間経過とともに前後に揺れるので、立体視ビューアがなくても、その表示を見ている人に奥行きの手掛かりが与えられる。
さらに別の態様では、装置は、第１の画像取込みセンサおよび第２の画像取込みセンサを含む。第１の画像取込みセンサは、第１のセンサ面を有し、第２の画像取込みセンサは、第２のセンサ面を有する。この装置は、第１のレンズ・アセンブリおよび第２のレンズ・アセンブリも含む。反射ユニットが、第１のレンズ・アセンブリを通過した光を受光するように位置決めされ、かつ第２のレンズ・アセンブリを通過した光を受光するように位置決めされる。反射ユニットは、第１のレンズ・アセンブリから受光した光を、第１のセンサ面に反射する。また、反射ユニットは、第２のレンズ・アセンブリから受光した光を、第２のセンサ面に反射する。第１のレンズ・アセンブリから第１のセンサ面までの第１の光路長は、第２のレンズ・アセンブリから第２のセンサ面までの第２の光路長とほぼ等しい。
１つの態様では、この装置の第１の画像取込みセンサ面および第２の画像取込みセンサ面は、同一平面である。別の態様では、第１のセンサ面は、第１の平面内にある。第２のセンサ面は、第２の平面内にあり、第１の平面と第２の平面は、実質的に平行であり、既知の距離だけ離間している。どちらの場合も、第１の光路等と第２の光路長は、ほぼ等しい。
立体視内視鏡の遠位端部の画像取込みセンサ構成の従来技術の例を示す図である。 立体視内視鏡の遠位端部の画像取込みセンサ構成の従来技術の例を示す図である。 立体視内視鏡の遠位端部の画像取込みセンサ構成の従来技術の例を示す図である。 立体視内視鏡の遠位端部の画像取込みセンサ構成の従来技術の例を示す図である。 立体視内視鏡の遠位端部に複数の画像取込みユニットを含むような低侵襲外科手術システムを示すブロック図である。 複数の画像取込みユニットを含む立体視内視鏡の遠位端部を示すブロック図である。 画像取込みユニットを含むようなモノスコープ内視鏡の遠位端部を示すブロック図である。 レンズ・アセンブリと、同一平面の画像取込みセンサを有するセンサセンブリとを含む画像取込みユニットの一部を示す図である。 プリズム・アセンブリとしてペンタプリズムを使用する図４Ａの構造の実施態様の例を示す図である。 照明器からの非偏光光を供給する照明チャネルと、レンズ・アセンブリおよびセンサ・アセンブリを有する画像取込みユニットをそれぞれ含む左右の立体視光学チャネルとを含む立体視内視鏡の遠位端部を示す概略図である。 照明器からの非偏光光を供給する照明チャネルと、照明チャネルからの照明を偏光させる偏光器と、レンズ・アセンブリおよびセンサ・アセンブリを有する画像取込みユニットをそれぞれ含む左右の立体視光学チャネルとを含む立体視内視鏡の遠位端部を示す概略図である。 立体視内視鏡の遠位端部と、照明器からの光を供給する照明チャネルと、レンズ・アセンブリおよびセンサ・アセンブリを有する画像取込みユニットをそれぞれ含む左右の立体視光学チャネルとを示す概略図である。各センサ・アセンブリは、受光した光の第１の割合を反射し、受光した光の第２の割合を通過させるコーティング面を有するビーム・スプリッタを含む。 第１の画像中の画素ブロックと第２の画像中のそれに対応する画素ブロックのオフセットを示す概略図である。 複数の照明器のうちの１つからの光を供給する照明チャネルと、レンズ・アセンブリおよびセンサ・アセンブリを有する画像取込みユニットをそれぞれ含む左右の立体視光学チャネルとを含む立体視内視鏡の遠位端部を示す概略図である。 図７Ａの立体視内視鏡ならびに本明細書に記載するその他の内視鏡および装置のいずれかに結合することができる照明器を示すブロック図である。 図７Ａの立体視内視鏡ならびに本明細書に記載するその他の内視鏡および装置のいずれかに結合することができる照明器を示すブロック図である。 図７Ａの立体視内視鏡ならびに本明細書に記載するその他の内視鏡および装置のいずれかに結合することができる照明器を示すブロック図である。 図７Ａの立体視内視鏡ならびに本明細書に記載するその他の内視鏡および装置のいずれかに結合することができる照明器を示すブロック図である。 複数のノッチ・フィルタを含むフィルタを示すグラフである。 画像取込みユニットが受光する光のスペクトルを示すグラフである。 複数のノッチ・フィルタを含む別のフィルタを示すグラフである。 照明器からの光を供給する照明チャネルと、レンズ・アセンブリおよびセンサ・アセンブリを有する画像取込みユニットをそれぞれ含む左右の立体視光学チャネルとを含む立体視内視鏡の遠位端部を示す概略図である。各センサ・アセンブリは、２つの異なる光路長を有する。 異なる被写界深度および異なる焦点を有するセンサ・アセンブリ中に取り込まれた２つの画像を示す図である。 異なる被写界深度および異なる焦点を有するセンサ・アセンブリ中に取り込まれた２つの画像を示す図である。 拡大された被写界深度の焦点が合った画像を形成するために組み合わされた図８Ｂおよび図８Ｃの２つの画像のうちの１つの組み合わせを示す図である。 第１および第２の画像取込みセンサによって取得される画像の鮮鋭度を、物体距離に対して示す図である。 画像取込みユニットが取り込んだ複数の画像から、仮想カメラ視点における仮想画像を生成する方法の処理フロー図である。 レンズ・アセンブリと、同一平面ではない画像取込みセンサを有するセンサ・アセンブリとを含む画像取込みユニットの一部を示す図である。 ２つのレンズ・アセンブリから受光した光を同一平面の画像センサに向けて送る面を有する立体視内視鏡の遠位端部を示す概略図である。
これらの図面では、図番が１桁である図面では、参照番号の最初の数字が、その参照番号が付された要素が最初に現れる図面を表している。図番が２桁である図面では、参照番号の最初の２つの数字が、その参照番号が付された要素が最初に現れる図面を表している。
本明細書で用いる電子立体撮像では、２つの撮像チャネル（すなわち左側画像用のチャネルが１つと、右側画像用のチャネルが１つ）を使用する。
本明細書で用いる立体光路は、撮像対象の組織などの物体からの光を伝達するための２つのチャネル（例えば左右の画像用のチャネルなど）を含む。各チャネルで伝達される光は、外科手術野内のシーンの異なるビュー（立体視の左右いずれかのビュー）を表している。これらの立体視チャネルは、それぞれが、１つ、２つまたはそれ以上の光路を含むことができるので、１つの立体視チャネルに沿って伝達される光は、１つ以上の画像を形成することができる。例えば、左の立体視チャネルでは、第１の光路に沿って進行する光から１つの左側画像を取り込み、第２の光路に沿って進行する光から第２の左側画像を取り込むこともできる。以下にさらに完全に記載する態様は、フィールド順次ステレオ取得システムおよび／またはフィールド順次表示システムの状況でも、普遍性または適用可能性を失うことなく使用することができる。
本明細書で用いる照明チャネルは、画像取込みユニットから離間して（例えば内視鏡の遠位端部から離間して）位置する照明源から、または画像取込みユニットにおいて、またはその付近に位置する照明源（例えば内視鏡の遠位端部において、またはその付近にある１つまたは複数の発光ダイオード（ＬＥＤ）など）から、組織を照明する経路を含む。
本明細書で用いる白色光は、例えば赤の可視色成分、緑の可視色成分および青の可視色成分など、３つ（またはそれ以上）の可視色成分で構成された可視白色光である。可視色成分が照明器によって与えられる場合には、この可視色成分は可視色照明成分と呼ばれる。例えば加熱されたタングステン・フィラメントまたはキセノン・ランプから分かるように、白色光という言葉は、可視スペクトル中のさらに連続性の高いスペクトルを指すこともある。
本明細書で用いる可視画像は、可視色成分を含む。
本明細書で用いる非可視画像は、いずれの可視色成分も含まない画像である。したがって、非可視画像は、通常可視であると考えられている範囲外の光によって形成された画像である。
本明細書で用いる、蛍光の結果として取り込まれる画像は、蛍光取得画像と呼ばれる。様々な蛍光撮像モダリティがある。蛍光は、天然組織蛍光で生じさせてもよいし、あるいは、例えば注射色素、蛍光蛋白質または蛍光標識抗体などを用いて生じさせてもよい。蛍光は、例えばレーザまたはその他のエネルギー源による励起によって生じさせることができる。このような構成では、ノッチ・フィルタを使用して、内視鏡に進入する励起波長を阻止することが分かっている。蛍光画像は、病理学的情報（例えば蛍光を発する腫瘍など）や解剖学的情報（例えば蛍光を発する標識された腱など）など、外科手術に重要な生体内患者情報を与えることができる。
本明細書で用いる入射角は、ある表面に入射する光線と、その入射点におけるその表面に直交する直線とがなす角度である。
本明細書で用いる画像は、デジタル処理され、画像のインデックスの付け方を変えることによって再配向またはミラーリングすることができる。再配向またはミラーリングは、画像センサを読み取る順序に行うこともできる。
本発明の態様は、外科手術野内のシーンの可視および非可視の立体視画像を取得することを容易にするものである。図２を参照すると、例えば、画像取込みユニット２２５Ｌおよび２２５Ｒ（図２）は、例えば米国カリフォルニア州ＳｕｎｎｙｖａｌｅのＩｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ社製の低侵襲遠隔操作外科手術システムｄａ Ｖｉｎｃｉ（登録商標）などの低侵襲外科手術システム２００の立体視内視鏡２０２の遠位端部に位置する。矢印２３５が示すように、遠位方向は、組織２０３に向かう方向であり、近位方向は、組織２０３から離れる方向である。
第１の画像取込みユニット２２５Ｌは、左側立体視画像と呼ばれることもある、立体視画像の左側画像を取り込む。第２の画像取込みユニット２２５Ｒは、右側立体視画像と呼ばれることもある、立体視画像の右側画像を取り込む。
以下でさらに完全に述べるように、各画像取込みユニットは、レンズ・アセンブリおよびセンサ・アセンブリを含む。レンズ・アセンブリは、前端部光学系と呼ばれることもある。センサ・アセンブリは、１対の同一平面画像取込みセンサと、一態様では、レンズ・アセンブリから同一平面画像取込みセンサのうちの一方に光を伝達する屈曲光路と、レンズ・アセンブリからもう一方の同一平面画像取込みセンサに光を伝達する別の屈曲光路とを含む。画像取込みセンサが共通の前端部光学構造を有すると言えるように、両方の画像取込みセンサに対して、画像取込みユニットのレンズ・アセンブリは同じものを使用する。レンズ・アセンブリが共有されることと、画像取込みセンサが同一平面構成になっていることが相まって、レンズのアーチファクトを補償するための較正が不要になる。２つの画像取込みセンサの空間的関係が一定であり、また画像取込みセンサが共通のレンズ・アセンブリを共有しているので、２つの画像取込みセンサによって取り込まれた１対の画像の空間的位置合わせは、時間が経っても一定であり、また焦点を変えるなど光学的条件を変化させる間も一定である。内視鏡２０２の１つのチャネルで取り込まれる１対の画像は、互いに時間的に位置合わせすることもできる。
１つの態様では、画像取込みユニット２２５Ｌおよび２２５Ｒは、複数のビュー・モード、すなわち通常モードおよび１つまたは複数のエンハンス・モードを有する低侵襲外科手術システムで使用される。執刀医用のコンソール２５０と呼ばれることもある執刀医用用制御コンソール２５０上に示されるユーザ・インタフェース２６２内に通常示される表示モードスイッチ２５２を用いて、ビュー・モードを切り替える。
通常ビュー・モードでは、外科手術野内のシーンの可視画像は、画像取込みユニット２２５Ｌおよび２２５Ｒによって取得され、執刀医用制御コンソール２５０の立体視ディスプレイ２５１に表示される。エンハンス・ビュー・モードでは、シーンの１つまたは複数の可視画像およびシーン内の１つまたは複数の蛍光画像が、画像取込みユニット２２５Ｌおよび２２５Ｒによって取得され、中央制御装置２６０内のデュアル画像エンハンス・モジュール２４０Ｒおよび２４０Ｌが、この取得された画像をエンハンスする。そのエンハンスされた画像が、立体視ディスプレイ２５１に表示される。エンハンスされた画像としては、（ａ）低侵襲外科手術システム２００のオペレータに対してシーン内の特定のフィーチャが強調表示される、フィーチャ精細度をエンハンスした可視画像、（ｂ）見た目の解像度を高めた画像、（ｃ）ダイナミック・レンジを高めた画像、（ｄ）３つ以上の色成分を有する画素の色成分ベクトルに基づく方法で表示される画像、および（ｅ）被写界深度を拡大した画像などが挙げられる。
画像取込みユニット２２５Ｌおよび２２５Ｒならびにエンハンス動作モードについてさらに詳細に考慮する前に、低侵襲外科手術システム２００について説明する。システム２００は、例示のみを目的としたものであり、画像取込みユニット２２５Ｌおよび２２５Ｒの適用対象をこの特定のシステムに限定するものではない。画像取込みユニット２２５Ｌおよび２２５Ｒは、立体視顕微鏡、モノスコープ内視鏡、顕微鏡などその他の様々な装置に実装することができ、既存の内視鏡カメラの代替品として使用することもできる。
例えばｄａ Ｖｉｎｃｉ（登録商標）外科手術システムである低侵襲外科手術システム２００は、画像取込みユニット２２５Ｌおよび２２５Ｒを含む。この例では、執刀医用コンソール２５０のところにいる執刀医が、ロボット操作アーム（図示せず）に取り付けられた内視鏡２０２を遠隔操作する。ｄａ Ｖｉｎｃｉ（登録商標）外科手術システムと連動する部品やケーブルなどは他にもあるが、それらは、本開示を損なうのを避けるために図２には図示していない。低侵襲外科手術システムに関するさらに詳しい情報は、例えば、参照によりその全体を本明細書に組み込む、米国特許出願第１１／７６２１６５号（「低侵襲外科手術システム」、２００７年６月２３日出願）、米国特許第６，８３７，８８３Ｂ２号（「テレロボティック外科手術システムのアーム・カート」、２００１年１０月５日出願）、米国特許第６，３３１，１８１号（「外科手術ロボット・ツール、データ・アーキテクチャおよびこの使用」２００１年１２月２８日出願）などに見ることができる。
照明器２１０が、立体視内視鏡２０２に結合される。照明器２１０は、少なくとも白色光源を含み、必要に応じて、１つまたは複数の蛍光励起源を含むこともできる。照明器２１０を、立体視内視鏡２０２内の少なくとも１つの照明チャネルとともに使用して、組織２０３を照明する。あるいは、照明器２１０は、内視鏡２０２の遠位先端またはその付近にある照明源で置き換えることもでき、その場合でも普遍性は失われない。このような遠位先端照明は、例えばＬＥＤまたはその他の照明源によって行うことができる。
１つの例では、照明器２１０は、組織２０３を白色光で照明する白色光照明を行う。実施態様によっては、照明器２１０は、蛍光を励起する非可視光、および白色光を構成する可視色成分のうちの一部を供給することもできる。
通常は、３つ（またはそれ以上）の可視色成分によって白色光が構成される。例えば、白色光は、第１の可視色成分、第２の可視色成分および第３の可視色成分を含む。これら３つの可視色成分は、それぞれ異なる可視色成分、例えば赤色成分、緑色成分、および青色成分である。シアンなどの追加の色成分を使用して、システムの色忠実度を向上させることもできる。
実施態様によっては、照明器２１０の蛍光励起源は、組織２０３内で蛍光を励起する蛍光励起照明成分を供給する。例えば、蛍光励起源からの狭い帯域の光を使用して、組織に固有の近赤外線を発する蛍光物質を励起して、画像取得ユニット２２５Ｌおよび２２５Ｒが組織２０３内の特定のフィーチャの蛍光画像を取得するようにする。
照明器２１０からの光は、照明器２１０を内視鏡２０２内の照明チャネルに結合する照明チャネル２２６に向けて送られる。立体視内視鏡２０２内の照明チャネルは、この光を組織２０３に向けて送る。別の態様では、ＬＥＤまたはその他の照明源などの照明源を、内視鏡２０２の遠位先端またはその付近に設ける。この照明チャネルは、光ファイバ束、１本の剛性または可撓性のロッド、あるいは光ファイバで実装することができる。
１つの態様では、内視鏡２０２内の画像取込みユニット２２５Ｌおよび２２５Ｒはそれぞれ、一態様では、組織２０３から受光した光をセンサ・アセンブリに送るレンズ・アセンブリを１つ含む。組織２０３からの光は、白色光照明源から反射された可視スペクトル光成分と、例えば蛍光励起照明源からエネルギーを受け取った結果として組織２０３で発生した蛍光（可視または非可視）とを含む可能性がある。反射白色光成分は、見る者が通常の可視光スペクトルで見るであろうと予想する１つまたは複数の画像を取り込むために使用される。
画像取込みユニット２２５Ｌは、左カメラ制御ユニット（ＣＣＵ）２３０Ｌを介して執刀医用コンソール２５０内の立体視ディスプレイ２５１に結合される。画像取込みユニット２２５Ｒは、右カメラ制御ユニット（ＣＣＵ）２３０Ｒを介して執刀医用コンソール２５０内の立体視ディスプレイ２５１に結合される。カメラ制御ユニット２３０Ｌおよび２３０Ｒは、利得の制御、画像の取込みの制御、取り込んだ画像のデュアル画像エンハンス・モジュール２４０Ｒおよび２４０Ｌへの伝送の制御などを行うシステム・プロセス・モジュール２６３から信号を受信する。システム・プロセス・モジュール２６３は、システム２００内のビジョン・システム制御装置など様々な制御装置を代表するものである。カメラ制御ユニット２３０Ｌおよび２３０Ｒは、別個のユニットであってもよいし、結合して単一のデュアル制御ユニットとしてもよい。
表示モード選択スイッチ２５２が、信号をユーザ・インタフェース２６２に供給し、ユーザ・インタフェース２６２が、選択された表示モードをシステム・プロセス・モジュール２６３に送る。システム・プロセス・モジュール２６３内の様々なビジョン・システム制御装置が、照明器２１０を、所望の照明を生成するように設定し、所望の画像を取得するように左右のカメラ制御ユニット２３０Ｌおよび２３０Ｒを設定し、取得した画像を処理するために必要なその他の任意の要素を、執刀医が要求した画像がディスプレイ２５１に示されるように設定する。
色補正モジュール２４１Ｌおよび２４１Ｒは、実施形態によっては、それぞれデュアル画像エンハンス・モジュール２４０Ｌおよび２４０Ｒ（以下でさらに詳細に述べる）の一部である。色補正モジュール２４１Ｌおよび２４０Ｌは、取得した画像の色を、システム・プロセス・モジュール２６３が決定したように新たな所望の色バランスに変換する。図２に示すように、説明のために、ユーザ・インタフェース２６２と、システム・プロセス・モジュール２６３と、画像エンハンス・モジュール２４０Ｌおよび２４０Ｒとを、中央制御装置２６０として１つのグループにまとめる。任意選択の画像処理モジュール２６４は、中央制御装置２６０からビデオを受信し、色補正モジュール２４１Ｌおよび２４１Ｒからの画像を処理した後で、執刀医用コンソール２５０内の立体視ディスプレイ２５１上に表示する。任意選択の画像処理モジュール２６４は、従来技術の低侵襲外科手術システムの画像処理モジュールと等価であるので、これ以上詳細には考慮しない。
図３Ａは、画像取込みユニット３２５Ｌおよび３２５Ｒと照明チャネル３０５とを含む立体視内視鏡３０２Ａの遠位端部を示すブロック図である。各画像取込みユニット３２５Ｒ、３２５Ｌは、レンズ・アセンブリ３０１Ｒ、３０１Ｌ、およびセンサ・アセンブリ３２０Ｒ、３２０Ｌを含む。センサ・アセンブリ３２０Ｒ、３２０Ｌは、レンズ・アセンブリ３０１Ｒ、３０１Ｌを通過する光を受光するように位置決めされる。各画像取込みユニット３２０Ｒ、３２０Ｌは、１つの態様では、プリズム・アセンブリ３３０Ｒ、３３０Ｌ、反射アセンブリ３４０Ｒ、３４０Ｌ、および同一平面画像取込みセンサ（３１０Ｒ、３１５Ｒ）、（３１０Ｌ、３１５Ｌ）を含む。立体視内視鏡３０２Ａは、立体視内視鏡２０２の一例である。
図３Ａに示すように、内視鏡３０２Ａと呼ばれることもある立体視内視鏡３０２Ａの遠位端部内の各立体視チャネルは、同じ要素構成を有する。この図３Ａの態様では、画像取込みユニット３２５Ｌ（左の立体視チャネル）と画像取込みユニット３２５Ｒ（右の立体視チャネル）が、内視鏡３０２Ａの中心線の長手方向軸線３９０と交差する平面に関して対称である（すなわち、互いに鏡像として位置決めされる）。矢印３３５が示すように、遠位方向は、組織３０３に向かう方向であり、近位方向は、組織３０３から離れる方向である。
この例では、内視鏡３０２Ａ内の１つまたは複数の照明チャネル３０５からの光が、組織３０３を照明する。図３Ａには示していないが、内視鏡３０２Ａの視野内の１つまたは複数の外科手術器具も、照明チャネル３０５からの光によって照明することができる。内視鏡内の照明チャネルを使用することは単なる例示であり、本明細書に示す様々な例に限定することを意図したものではない。照明は、内視鏡内の照明源によって行ってもよいし、内視鏡の内部または外部のその他の何らかの装置によって行ってもよい。
組織３０３で反射された光および任意の蛍光を、レンズ・アセンブリ３０１Ｌおよび３０１Ｒが受光する。レンズ・アセンブリ３０１Ｌおよび３０１Ｒ内のレンズ３０４Ｌおよび３０４Ｒは、それぞれ、受光した光をセンサ・アセンブリ３２０Ｌおよび３２０Ｒに向けて送る１つまたは複数の光学構成要素を含むことができる。他の態様では、レンズ・アセンブリ３０１Ｌおよび３０１Ｒを折り畳んで、画像取込みユニット３２５Ｌおよび３２５Ｒの長手方向長さを短縮する。
レンズ３０４Ｌ、３０４Ｒからの光は、それぞれセンサ・アセンブリ３２０Ｌ、３２０Ｒを通過する。センサ・アセンブリ３２０Ｌ、３２０Ｒ内では、この光を、プリズム・アセンブリ３３０Ｌ、３３０Ｒ内のビーム・スプリッタ３３１Ｌ、３３１Ｒが受光する。１つの態様では、各ビーム・スプリッタ３３１Ｌ、３３１Ｒは、埋め込まれたコーティング面３３１Ｌ、３３１Ｒとして実装される。以下でさらに完全に説明するように、各コーティング面３３１Ｌ、３３１Ｒの１層または複数層のコーティングは、特定の機能を実現するように選択される。コーティング面３３１Ｌ、３３１Ｒは、レンズ・アセンブリ３０１Ｌ、３０１Ｒが受光した光の第１の部分を反射し、この受光した光の第２の部分を透過させる。組織３０３のフィーチャを識別するために、コーティング面は、レンズ・アセンブリ３０１Ｌ、３０１Ｒから受光した光の偏光の違いを識別する。さらに他の態様では、コーティング面は、やはり受光した光の複数の部分を反射し、受光した光の他の部分を透過させるノッチ・フィルタを含む。
コーティング面３３１Ｌ、３３１Ｒの実施態様に関わらず、ビーム・スプリッタ３３１Ｌは、受光した光の第１の部分を、例えば画像取込みセンサ３１０Ｌの表面３１１Ｌなど、画像取込みユニット３２５Ｌ内の第１の画像取込みセンサ３１０Ｌに向けて送り、この受光した光の第２の部分は、そのビーム・スプリッタ３３１Ｌを透過させる。同様に、ビーム・スプリッタ３３１Ｒは、受光した光の第１の部分を、例えば画像取込みセンサ３１０Ｒの表面３１１Ｒなど、画像取込みユニット３２５Ｒ内の第１の画像取込みセンサ３１０Ｒに向けて送り、この受光した光の第２の部分は、そのビーム・スプリッタ３３１Ｒを透過させる。
図３Ａの例では、ビーム・スプリッタ３３１Ｌおよび３３１Ｒを通過した光は、光学レンズ３５０Ｌおよび３５０Ｒがそれぞれ受光する。レンズ３５０Ｌおよび３５０Ｒは、受光した光を合焦させて画像取込みセンサ３１５Ｌおよび３１５Ｒまでの光路長を形成する。レンズ３５０Ｌおよび３５０Ｒは、必要に応じて設けられる。
レンズ３５０Ｌおよび３５０Ｒからの光は、反射アセンブリ３４０Ｌおよび３４０Ｒがそれぞれ受光する。反射ユニット３４０Ｌは、例えば受光した光を画像取込みセンサ３１５Ｌの面３１６Ｌに向けて送るなど、受光した光を画像取込みユニット３２５Ｌ内の第２の画像取込みセンサ３１５Ｌに向けて送る。同様に、反射ユニット３４０Ｒは、例えば受光した光を画像取込みセンサ３１５Ｒの面３１６Ｒに向けて送るなど、受光した光を画像取込みユニット３２５Ｒ内の第２の画像取込みセンサ３１５Ｒに向けて送る。本明細書に記載する各態様において、光は、画像取込みセンサの一表面に向けて送られるが、簡潔のために、これを「光は画像取込みセンサに向けて送られる」と言う。
反射アセンブリ３４０Ｌ、３４０Ｒは、それぞれ、例えば鏡面など、受光した光を反射する反射面３４１Ｌ、３４１Ｒを含む。図３Ａの例では、装置３４０Ｌおよび３４０Ｒはそれぞれ、１つの面が反射性コーティングを有するプリズムとして実装されるか、またはプリズムの斜辺の内部全反射を用いて実装される。１つの態様では、反射面３４１Ｒを含む平面と、画像取込みセンサ３１０Ｒの面３１１Ｒおよび画像取込みセンサ３１５Ｒの面３１６Ｒを含む平面とが交差して形成される角度θは４５度であるので、このプリズムは、４５度プリズムと呼ばれる。４５度プリズムの面３４１Ｒは、面３１４Ｒの近傍の媒質が空気であるときには内部全反射を示すので、表面３４１Ｒは反射面と呼ばれる。
画像取込みセンサ３１０Ｌおよび３１５Ｌは、同一平面である。すなわち、センサ上面３１１Ｌおよび３１６Ｌは、実質的に同じ平面内にある。センサ３１０Ｌおよび３１５Ｌの底面は、プラットフォーム３１２の第１の面によって規定される平面上にある。同様に、画像取込みセンサ３１０Ｒおよび３１５Ｒは、同一平面である。例えば、上面３１１Ｒおよび３１６Ｒは、実質的に同じ平面内にある。センサ３１０Ｒおよび３１５Ｒの底面は、プラットフォーム３１２の第２の面によって規定される平面上にある。プラットフォーム３１２は、例えば軸線３９０に沿って接合された２つのセラミック部品など、２つの平坦部品で構成することができる。プラットフォーム３１２の第１の面は、プラットフォーム３１２の第２の面と反対側の、第２の面から離間した表面である。
１つの態様では、２つの画像取込みセンサ３１０Ｒ、３１５Ｒを含む第１の半導体ダイ３１７Ｒを、第１のセラミック・プラットフォーム上に取り付ける。２つの画像取込みセンサ３１０Ｌ、３１５Ｌを含む第２の半導体ダイ３１７Ｌを、第２のセラミック・プラットフォーム上に取り付ける。次いで、これら２つのセラミック・プラットフォームを接合して、プラットフォーム３１２を形成する。２つのダイ３１７Ｒ、３１７Ｌへのワイヤは、プラットフォーム３１２の１つまたは複数のチャネルを通過する。１つのダイで２つの画像取込みセンサを使用することは単なる例示であり、限定を目的としたものではない。いくつかの態様では、この２つの画像センサが、別々のダイの中にある（図９参照）。この２つの画像取込みセンサは、ダイ内の１つの大きな画像取込みセンサの一部とすることもでき、例えば画像取込みセンサ３１０Ｒと画像取込みセンサ３１５Ｒの間にあるその画像取込みセンサの画素は、無視される。
いくつかの態様では、プラットフォーム３１２を使用しなくてもよく、２組の画像取込みセンサを、電源ケーブル、制御ケーブルおよびビデオ・ケーブルへの必要な接続を行うように構成された１つの構造内に含める。また、図３Ａに示すように１つの画像取込みユニット内で２つの同一平面の画像取込みセンサを使用することは、単なる例示であり、限定を目的としたものではない。例えば、いくつかの態様では、３つ以上の同一平面の画像取込みセンサを使用することもでき、例えば、複数のビーム・スプリッタを１列にして使用し、反射ユニットをその列の近位端部に配置することもできる。
画像取込みセンサを同一平面構成にすることにより、レンズのアーチファクトを補償するための較正、ならびに画像取込みセンサ３１０Ｒ／３１５Ｒ（第１の対）および３１０Ｌ／３１５Ｌ（第２の対）が取り込んだ異なる画像の再位置合わせが不要になる。上述のように、所与の対に含まれる２つの画像取込みセンサの空間的関係は一定であり、所与の対に含まれる２つの画像取込みセンサは共通のレンズ・アセンブリ、すなわち共通の前端部光学構造を共有しているので、これら２つの画像取込みセンサが取り込む１対の画像の空間的位置合わせは、時間が経っても一定であり、また焦点を変えるなど光学的条件を変化させる間も一定である。
図３Ｂは、図３Ａと同様であるが、内視鏡３０２Ｂがモノスコープ内視鏡であり、内視鏡３０２Ｂの外部にあって内視鏡３０２Ｂに接続されていない照明器によって照明が行われる点が異なる。ただし、いくつかの態様では、内視鏡３０２Ｂ上に照明器が取り付けられる。内視鏡３０２Ｂでは、画像取込みユニット３２５の要素３０１、３０４、３２０、３３０、３３１、３４０、３４１、３５０、３１０、３１１、３１５、３１６および３１２Ｂは、それぞれ要素３０１Ｌ、３０４Ｌ、３２０Ｌ、３３０Ｌ、３３１Ｌ、３４０Ｌ、３４１Ｌ、３５０Ｌ、３１０Ｌ、３１１Ｌ、３１５Ｌ、３１６Ｌおよび３１２と同じであるので、これらの要素について繰り返し説明することはしない。内視鏡外部の照明源は、記載する様々な内視鏡の実施形態において、内視鏡内部の照明チャネルまたは内視鏡に取り付けられた照明チャネルの代わりに、あるいはそれに加えて使用することができる。
図４Ａは、レンズ・アセンブリ４０１Ａおよびセンサ・アセンブリ４２０Ａを含む画像取込みユニット４２５Ａの一部を示す図である。センサ・アセンブリ４２０Ａは、１つの態様では、プリズム・アセンブリ４３０Ａ、反射ユニット４４０Ａ、および同一平面の画像取込みセンサ４１０Ａ、４１５Ａを含む。レンズ・アセンブリ４０１Ａは、遮蔽体４７０Ａと呼ばれることもある光遮蔽体４７０Ａを画定する光学素子など、複数の光学素子を含む。本明細書で用いる遮蔽体は、開口を有する空間内の平面または主光線の高さがゼロとなる光路中の位置である。遮蔽体４７０を通過した光は、画像取込みユニット４２５Ａのプリズム・アセンブリ４３０Ａ内のビーム・スプリッタ４３１Ａによって受光される。
立体視装置は、図４Ａに示すように２つの画像取込みユニットを含むことになる。ただし、図３Ａを参照して上記に示したように、画像取込みユニットを有する左右の立体視チャネルは対称であるので、説明の重複を避けるために、１つのチャネルおよび画像取込みユニットについてのみ説明する。画像取込みユニットを含むもう一方のチャネルは、図４Ａに示すチャネルを有する内視鏡の長手方向軸線と交差する平面に関して対称である。
ビーム・スプリッタ４３１Ａは、遮蔽体４７０Ａを通過する光を受光するように位置決めされる。ビーム・スプリッタ４３１Ａは、受光した光の第１の部分を第１の画像取込みセンサ４１０Ａに向けて送り、受光した光の第２の部分はビーム・スプリッタを通して反射ユニット４４０Ａに送るように構成される。この例では、プリズム・アセンブリ４３０Ａ内のビーム・スプリッタ４３１Ａは、コーティングされた第１の面として実装される。したがって、ビーム・スプリッタ４３１Ａは、コーティングされた第１の面４３１Ａと呼ばれることもある。コーティングされた第１の面４３１Ａは、受光した光を２つの部分に分離する。
コーティングされた第１の面４３１Ａは、受光した光の第１の部分を第２の面４３２Ａに向けて送り、第２の面４３２Ａは、例えば反射するなどして、この光を第１の画像取込みセンサ４１０Ａに向けて送る。コーティングされた第１の面４３１Ａは、受光した光の第２の部分を、コーティングされた第１の面４３１Ａを通過して反射ユニット４４０まで透過させる。１つの態様では、この光のコーティング面４３１Ａへの入射角は、４５度未満である。
第２の面４３２Ａは、コーティングされた第１の面４３１Ａによって反射された光以外の光が第２の面４３２Ａに入射しないように位置決めされる。１つの態様では、第２の面４３２Ａは、コーティング面および内部全反射面のうちの一方として実装される反射面である。
反射ユニット４４０Ａは、ビーム・スプリッタ４３１Ａから受光した光を第２の画像取込みセンサ４１５Ａに反射する第３の面４４１Ａを含む。１つの態様では、第３の面４４１Ａは、例えばコーティング面および内部全反射面のうちの一方として実装される反射面である。
画像取込みセンサ４１０Ａおよび４１５Ａは、同一平面である。１つの態様では、遮蔽体４７０Ａからコーティングされた第１の面４３１Ａおよび第２の面４３２Ａを経由して画像取込みセンサ４１０Ａに至る第１の光路長は、遮蔽体４７０Ａからコーティングされた第１の面４３１Ａを通りコーティング面４４１Ａを経由して画像取込みセンサ４１５Ａに至る第２の光路長とほぼ等しい。別の態様では、第１の光路長と第２の光路長は等しくない。等しくない光路長は、以下にさらに完全に記載するように、反射ユニット内の表面とプリズム・アセンブリ内のビーム・スプリッタとの間の空間的関係を調節することによって実現することができる。
あるいは、画像取込みセンサ４１０Ａは、センサ上面を第１の平面内に有し、画像取込みセンサ４１５Ａは、センサ上面を第２の平面内に有し、第１の平面と第２の平面が平行であり、既知の距離だけ離間している（図９参照）。画像取込みセンサのこの代替構成では、２つの画像取込みセンサまでの光路長は、ほぼ等しくてもよいし、等しくなくてもよい。画像取込みセンサのセンサ上面は、センサ・アセンブリ内の少なくとも１つの光学構成要素から光を受光するその画像取込みセンサの面である。例えばセンサ４１５Ａまでの第２の光路中で、レンズ３５０（図３参照）として示すように任意選択の光学素子を使用することもできる。
本明細書では、「ほぼ等しい」または「実質的に等しい」とは、２つの光路長が、様々な光路の要素の製造および取付けに関連する許容差の範囲内で等しいという意味である。また、遮蔽体４７０Ａから始まる光路長の定義は例示であり、限定を目的としたものではない。光路長は、受光した光がプリズム・アセンブリ４３０Ａに進入するプリズム・アセンブリ４３０Ａの遠位面を基準にする、レンズ・アセンブリ内の最初の要素を基準にする、またはコーティングされた第１の面４３１Ａを基準にするなど、様々に定義することができる。
図４Ａでは、プリズム・アセンブリ４３０Ａ、反射ユニット４４０Ａおよび画像取込みセンサ４１０Ａ、４１５Ａの離隔は一定の比率ではない。実際の使用に際しては、プリズム・アセンブリ４３０Ａおよび反射ユニット４４０Ａは、大抵固体のガラスであり、これらのガラス構造と画像取込みセンサ４１０Ａ、４１５Ａとの間には小さな隙間がある。図４Ｂは、プリズムを用いた図４Ａの構造の実施態様の例である。
図４Ｂは、立体視内視鏡の遠位端部内の画像取込みユニット４２５Ｂを示す図である。画像取込みユニット４２５Ｂは、共有レンズ・アセンブリ４０１Ｂおよびセンサ・アセンブリ４２０Ｂを含む。センサ・アセンブリ４２０Ｂは、１つの態様では、プリズム・アセンブリ４３０Ｂ、反射ユニット４４０Ｂ、および同一平面の画像取込みセンサ４１０Ｂ、４１５Ｂを含む。センサ・アセンブリ４２０Ｂは、レンズ・アセンブリ４０１Ｂを通過する光を受光するように位置決めされる。もう一方の画像吐露込みユニット（図示せず）は、図４Ｂに示すものと等価な構成要素を含む。これら２つの画像吐露込みユニットは、図３Ａに示すのと等価な形態で立体視内視鏡の長手方向軸線と交差する平面に関して対称である。
組織によって反射された照明器からの光、または組織から生じた蛍光は、平面４０３Ｂで表される。この光は、窓４８１を通ってレンズ・アセンブリ４０１Ｂに入射し、次いで第１のレンズのセット４８２、プリズム４８３、第２のレンズのセット４８４、および遮蔽体を構成する開口素子４７０Ｂを通過する。
要素４８５は必要に応じて設けられるものであり、様々な位置で様々なレンズ・アセンブリの実施形態に組み込むことができる様々なフィーチャを個々に、または組み合わせて例示するものである。１つの態様では、要素４８５は、蛍光励起波長を阻止するノッチ・フィルタの窓を表す。別の態様では、要素４８５は、合焦素子を表す。
別の態様では、要素４８５は、平面−平面（ｐｌａｎｏ−ｐｌａｎｏ）素子を表す。さらに別の態様では、要素４８５は、制御電圧が印加されたときに可変焦点レンズとして機能する液晶セルを含む構造を表す。制御電圧は、光が通過する物質の屈折率プロファイルを動的に変化させる。液晶セルは、良好な光学的性能で、焦点を無限大から１０センチメートルまでの所望の焦点距離に調節することができる。これらの性能特性を有する液晶セルは、米国カリフォルニア州Ｍｏｕｎｔａｉｎ ＶｉｅｗのＬｅｎｓＶｅｃｔｏｒ社からＬｅｎｓ Ｖｅｃｔｏｒ（商標）ＡｕｔｏＦｏｃｕｓ素子として入手することができる（ＬＥＮＳＶＥＣＴＯＲは、米国のＬｅｎｓＶｅｃｔｏｒ社の商標である）。
いくつかの態様では、要素４８５は、レンズ・アセンブリ内のその他の要素が受光した光を前処理する１つまたは複数のフィルタを表す。あるいは、この１つまたは複数のフィルタは、内視鏡の遠位端部面に取り付けてもよいし、開口素子４７０Ｂとプリズム構造４６０との間に挿入してもよい。
この態様では、プリズム構造４６０は、ビーム・スプリッタ４３１Ｂを備えるプリズム・アセンブリ４３０Ｂおよび反射面４４１Ｂを備える反射ユニット４４０Ｂを含む一体プリズム構造（２つ以上のプリズムが隙間なく接合されている）である。１つの態様では、プリズム構造４６０は、２つの画像取込みセンサへの所望の画像分離を実現するような特定の屈折率およびプリズム幾何形状を有する材料で設計される。プリズム構造４６０の設計は、多面プリズムから始めて、次いでセンサ間隔と、プリズムの幾何形状を制約する立体視内視鏡の所望の最大外側チューブ直径とに適応するように最適化する。
図４Ｂに示す態様では、プリズム・アセンブリ４３０Ｂは、少なくとも２つのコーティング面４３１Ｂおよび４３２Ｂを有するペンタ（五角形）プリズムを含む。あるいは、表面４３２Ｂをコーティングせず、内部全反射を用いてもよい。ビーム・スプリッタすなわちコーティングされた第１の面４３１Ｂは、受光した光を２つの部分に分離する。コーティングされた第１の面４３１Ｂは、受光した光の第１の部分を第２の面４３２Ｂに反射し、この第２の面４３２Ｂが、この光を第１の画像取込みセンサ４１０Ａに向けて送る、すなわち反射する。コーティングされた第１の面４３１Ｂは、受光した光の第２の部分を、面４３１Ａを通過して反射ユニット４４０Ｂまで透過させる。プリズム４５０は、必要に応じて設けられるものであり、プリズム構造４６０の取扱いおよび取付けを容易にするために設けられる。
ペンタプリズムは、光ビームを９０度偏向させるために使用される反射プリズムである。光ビームは、ペンタプリズム内部で２回反射され、これにより倒立像または逆転像を生じることなく光ビームを９０度曲げて透過させることができる。通常は、ペンタプリズムは、５つの辺で構成された外周を有する。ペンタプリズムは、光路に対するペンタプリズムの配向に関わらず光路を同じ角度だけ偏向させるので、一定偏角プリズムである。本明細書では、ペンタプリズムは、その他のプリズムまたは光学素子に接着するなどして接合する、あるいはその他のプリズムまたは光学素子を基準として位置決めすることができる。
１つの態様では、コーティングされた第１の面４３１Ｂは、多層埋込みコーティング面である。この面は、以下でさらに完全に述べるように、例えば多層ダイクロイック・コーティング、金属コーティングまたはひだ状（ｒｕｇａｔｅ）コーティングなど、所望の反射特性および透過特性を有する多層コーティングでコーティングされる。面４３１Ｂに対する光の入射角は、１つの態様では４５度未満であるが、これは要件ではない。第２の面４３２Ｂは、コーティングされた第１の面４３１Ｂによって反射された光以外の光が第２の面４３２Ｂに入射しないように位置決めされる。
遠位面と呼ばれることもある遠位端部面４３３は、レンズ・アセンブリ４０１Ｂから受光した光が通過する、プリズム構造４６０およびプリズム・アセンブリ４３０Ｂの端部である。１つの態様では、第１の面４３１Ｂ、第２の面４３２Ｂおよび第３の面４４１Ｂは、遠位端部面４３３から画像取込みセンサ４１０Ｂまでの第１の光路長が、遠位端部面４３３から画像取込みセンサ４１５Ｂまでの第２の光路長とほぼ等しくなるように位置決めされる。別の態様では、面４４１Ｂは、この２つの光路長がわずかだけ異なるように位置決めされる。
１つの態様では、反射ユニット４４０Ｂが、反射コーティングを有する面４４１Ｂを含むプリズムであるか、または面４４１Ｂが、内部全反射による反射が可能になる角度で使用される。１つの態様では、反射面４４１Ｂを含む平面と画像取込みセンサ４１５Ｂのセンサ上面を含む平面とが交差して形成する角度は、４５度であるので、このプリズムは４５度プリズムと呼ばれる。この例では、プリズム構造４６０は、既知の技術を用いて３つの部品を接着することによって形成した一体構造である。前述のように、この３つの部品は、画像取込みセンサ４１０Ｂおよび４１５Ｂにおいて所望の画像分離をもたらすような材料、屈折率およびプリズム幾何形状で設計される。３つの部品を使用することは単なる例示であり、限定を目的としたものではない。例えば、プリズム構造４６０は、２つの部品を用いて形成した一体構造であってもよい。
画像取込みセンサ４１０Ｂおよび４１５Ｂは、同一平面にあり、１つの態様では、他方のレンズ・アセンブリの同一平面の画像センサも取り付けられているプラットフォーム上に取り付けられる（図３Ａ参照）。いくつかの態様では、２つの画像取込みセンサが、１つの構造に含まれる。
遮蔽体４７０Ｂは、プリズム構造４６０の付近または内側に配置または形成して、プリズム構造４６０のサイズを小さくし、画像取込みセンサ４１０Ｂおよび４１５Ｂに対するコーナ線（ｃｏｒｎｅｒ ｒａｙｓ）の入射角を小さくする。遮蔽体４７０Ｂは、要素４８５の遠位側（図示）に位置決めしても、近位側に位置決めしてもよい。
図４Ｂに示す例示的な態様では、レンズ・アセンブリ４０１Ｂ内の中央要素４８３は、プリズムとすることができる。いくつかの態様では、このプリズムは、例えば内視鏡の長手方向軸線に対して３０度に配向された視野を有する内視鏡となるように屈曲光路を形成するように位置決めされる。この屈曲は、画像取込みセンサ４１０Ｂおよび４１５Ｂの平面に対して直交する平面内で起こる。
図２、図３Ａ、図３ｂ、図４Ａおよび図４Ｂを再度参照して、画像取込みユニットの様々な態様を示し、これらについて説明する。画像取込みユニットは、撮像対象の物体から光を受光するレンズ・アセンブリを含む。レンズ・アセンブリを通る前端部光路は、直線であってもよいし、あるいは屈曲させて様々な角度の付いた視野を内視鏡に持たせてもよい。レンズ・アセンブリからの光は、センサ・アセンブリまで進行する。様々な任意選択の光学構成要素（開口、フィルタ、合焦素子など）をレンズ・アセンブリ内に配置することもできるし、あるいは、設計制限が許せば、これらの光学構成要素を、センサ・アセンブリの１つまたは複数の光路内に挿入することもできる。
１つの態様では、センサ・アセンブリは、２つ以上の同一平面の画像取込みセンサを含む。これらの同一平面の画像取込みセンサは、内視鏡の長さ方向に配列される。例えば、同一平面の画像取込みセンサが２つある場合には、これらの画像取込みセンサのうちの一方を、レンズ・アセンブリに比較的近接して（内視鏡の遠位端部側に）位置決めし、もう一方の画像取込みセンサを、レンズ・アセンブリから比較的離して（内視鏡の遠位端部から離間させて）位置決めする。このように、画像取込みセンサは、内視鏡の中心線の長手方向軸線にほぼ平行な平面内にある。１つの態様では、これらの画像取込みセンサが、両方とも、同じ半導体基板上の画像取込み領域（例えばＣＭＯＳ画像取込み領域などであるが、あるいはＣＣＤ領域を使用してもよい）として形成される。したがって、この単一の基板は、少なくともその幅の約２倍の長さを有し、そのため、これらのセンサ領域は内視鏡内で長手方向に配列されるので、空間使用効率の観点から内視鏡内に位置決めすることができる。あるいは、画像取込みセンサは、上記の単一センサ基板構成と同様に、内視鏡内に配置された指示プラットフォームまたは基板上に、個別に形成し、位置決めすることもできる。
センサ・アセンブリの内部では、レンズ・アセンブリから受光した光は、ビーム・スプリッタで２つ以上のビームに分割される。２つのセンサの実施態様では、例えば、これらのビームのうちの一方は、ビーム・スプリッタから、第１の画像取込みセンサに入射する一方の光路に沿って進行し、もう一方のビームは、第２の画像取込みセンサに入射する別の光路に沿って進行する。センサ・アセンブリ内のこれらの光路は、画像取込みセンサに入射した光がレンズ・アセンブリから受光した光に対してほぼ直交するように屈曲している。いくつかの態様では、センサ・アセンブリ内のこれらの光路は、レンズ・アセンブリがこれらの光学センサに取り込まれた画像にほぼ同じように影響を及ぼすように、ほぼ等しい長さになるように構成される。コーティング面または内部全反射面である反射面を様々に組み合わせて使用して、画像取込みアセンブリの光路の幾何形状を規定することができる。いくつかの態様では、プリズムを使用して、画像取込みセンサの反射面の位置合わせ要件を簡略化する。
いくつかの態様では、１つの内視鏡内で使用される画像取込みユニットが１つであるので、内視鏡がモノスコープ機能を有する。しかし、他の態様では、１つの内視鏡内で２つの画像取込みユニットを使用して、立体視機能を実現する。一方の画像取込みユニットが左の立体視画像機能を実施し、他方の画像取込みユニットが右の立体視画像機能を実施する。いくつかの態様では、２つの画像取込みユニット内の画像取込みセンサは、これらセンサがほぼ内視鏡の中心に向くように背中合わせに配向される。このような構成では、２つの画像取込みユニットの前端部対物経路（ｏｂｊｅｃｔｉｖｅ ｐａｔｈ）が良好な立体視分離をもたらすように位置決めされ、かつ画像取込みセンサの回路を統合することができるので、内視鏡内の横方向の空間を効率的に使用することができる。いくつかの態様では、背中合わせの画像取込みセンサを、単一のプラットフォームまたは基板で支持して、さらに空間を節約し、光学的位置合わせをさらに良好にする（例えば、２つの画像取込みユニットを互いに位置合わせした後で内視鏡内に組み込むことができる）。背中合わせの画像取込みセンサは、ほぼ内視鏡の中心線の長手方向軸線に沿って位置決めすることができるが、いくつかの態様では、例えば場合によって使用されることもあるその他の遠位端部の内視鏡のフィーチャによって内視鏡の中心線の長手方向軸線からオフセットされることもある。あるいは、２つの画像取込みユニットは、同一面の画像取込みセンサが互いに向き合うように、または一方の画像取込みユニットの同一平面の画像取込みセンサが他方の画像取込みセンサの同一平面の画像取込みセンサと同一平面になるように（すなわち全ての画像取込みセンサが同一平面に（場合によっては同一基板上で同一平面に）なるように）、位置決めすることもできる。２つの画像取込みユニットの間の画像取込みセンサの平面の配向については、その他の様々な配向を使用することもできる。また、これらの１つまたは複数の画像取込みユニットは内視鏡の遠位端部にあるものとして概略的に述べたが、いくつかの態様では、これらの１つまたは複数の画像取込みユニットが内視鏡の近位端部にあってもよいことを理解されたい。
以下でさらに詳細に述べるように、この小型のデュアル撮像式画像取込みユニットの光学的幾何形状により、２つの比較的大きな画像センサを、所望の光学チャネルごとに内視鏡内に配置することができ、また入射光を２つ以上のビームに分割する画像取込みユニットのフィーチャにより、撮像システムを使用する人に対して数多くの異なる視覚表示機能を与えることができる。例えば、２つの画像取込みユニットを使用する場合には、一方の立体視画像のセットは第１の光ビームから取り込んだ特徴を有し、もう一方の立体視画像のセットは第２の光ビームから取り込んだ特徴を有する、２組の精密に位置合わせされた立体視画像のセットを取り込むことができる。
フィーチャ識別のエンハンス
外科手術部位のシーンの画像で時折生じる問題の１つに、執刀医用制御コンソール２５０で執刀医に対して提示される画像をエンハンスしようとしたときの飽和がある。１つの理由は、通常は視野内にある外科手術器具が組織より多くの光を反射することである。別の問題は、例えば神経や患部など、組織表面に直接的に存在していないようなシーン内の関心のあるフィーチャを識別することである。
１つの態様では、プリズム構造４６０および同一平面の画像４１０Ｂ、４１５Ｂを使用して照明が視野内の組織などの物体とどのように相互作用するかについての追加情報を集めることによって、シーンの撮像をエンハンスする。特に、照明光の偏光状態は、組織表面、組織内の表面下の構造、および外科手術器具によって様々に変動する。
エンハンスされたフィーチャ識別機能を照明側で実施する方法は、少なくとも２つある。照明は、偏光を優勢にすることも、非偏光を優勢にすることもできる。当業者には既知のように、光は完全に偏光することはないので、「偏光を優勢にする」とは、例えば理想的には１０００：１など、識別するのに必要な程度まで偏光させることを意味する。ただし、コントラスト比がそれより低くても十分であることもある。同様に、「非偏光を優勢にする」とは、必要な程度まで非偏光にすることを意味する。
フィーチャ識別のエンハンス（非偏光照明）
図５Ａは、画像取込みユニット５２５Ｌおよび５２５Ｒならびに照明器からの非偏光光を供給する照明チャネル５０５を備える立体視内視鏡５０２Ａの遠位端部を示す概略図である。矢印５３５が示すように、遠位方向は、組織５０３に向かう方向であり、近位方向は、組織５０３から離れる方向である。
各画像取込みユニット５２５Ｒ、５２５Ｌは、レンズ・アセンブリ５０１Ｒ、５０１Ｌ、およびセンサ・アセンブリ５２０Ｒ、５２０Ｌを含む。センサ・アセンブリ５２０Ｒ、５２０Ｌは、レンズ・アセンブリ５０１Ｒ、５０１Ｌを通過した光を受光するように位置決めされる。各センサ・アセンブリ５２０Ｒ、５２０Ｌは、１つの態様では、プリズム・アセンブリ５３０Ｒ、５３０Ｌ、反射ユニット５４０Ｒ、５４０Ｌ、および同一平面画像取込みセンサ（５１０Ｒ、５１５Ｒ）、（５１０Ｌ、５１５Ｌ）を含む。立体視内視鏡５０２Ａは、内視鏡５０２Ａと呼ばれることもある。
照明チャネル５０５からの照明の一部は、組織５０３の表面で反射される。図５Ａには示していないが、照明チャネル５０５からの照明の一部は、内視鏡５０２Ａの視野内の外科手術器具によって反射されることもある。一部の組織は、それらの組織で反射された光にある程度の偏光を与える。
以下の記述では、立体視内視鏡５０２Ａの右チャネルの光路について述べる。内視鏡５０２の対称性により、立体視内視鏡５０２Ａの左チャネルの光路は、右チャネルの光路と同じであるので、以下の記述では、左チャネルの参照番号を、右チャネルの要素の説明の後の括弧内に記載する。これは、その記述が左チャネルの対応する要素にも当てはまることを示している。
組織５０３からの偏光および非偏光の反射光は、レンズ・アセンブリ５０１Ｒ（５０１Ｒ）内のレンズ素子５０４Ｒ（５０４Ｌ）を通過して、遮蔽体５７０Ｒ（５７０Ｌ）に至る。レンズ・アセンブリ４０１Ｂ（図４Ｂ）内の要素は、レンズ素子５０４Ｒ（５０４Ｌ）の例である。この例では、任意選択の４分の１波長板５８０Ｒ（５８０Ｌ）が、遮蔽体５７０Ｒ（５７０Ｌ）と画像取込みユニット５２５Ｒ（５２５Ｌ）の遠位端部面との間の光路中に挿入される。別の態様（図示せず）では、４分の１波長板５８０Ｒ（５８０Ｌ）は、この光路に挿入されない。
遮蔽体５７０Ｒ（５７０Ｌ）を通過する光は、センサ・アセンブリ５２０Ｌ（５２０Ｒ）によって受光され、ビーム・スプリッタ５３１Ｒ（５３１Ｌ）を含むプリズム・アセンブリ５３０Ｒ（５３０Ｌ）に進入する。ビーム・スプリッタ５３１Ｒ（５３１Ｌ）は、１つの態様では、偏光型ビーム・スプリッタである。ビーム・スプリッタ５３１Ｒ（５３１Ｌ）は、受光した光の偏光状態に基づいて受光した光の第１の部分を反射するように構成され、受光した光の偏光状態に基づいて受光した光の第２の部分を透過させるように構成される。１つの態様では、ビーム・スプリッタ５３１Ｒ（５３１Ｌ）は、コーティング面である。
例えば、プリズム・アセンブリ５３０Ｒ（５３０Ｌ）に進入する非偏光光は、ビーム・スプリッタ５３１Ｒ（５３１Ｌ）によって第１の画像取込みセンサ５１０Ｒ（５１０Ｌ）と第２の画像取込みセンサ５１５Ｒ（５１５Ｌ）との間で均等に分割される。プリズム・アセンブリ５３０Ｒ（５３０Ｌ）に進入する直線偏光光は、その光の偏光と面５３１Ｒ（５３１Ｌ）のコーティングの配向の相対的な配向に応じて、ビーム・スプリッタ５３１Ｒ（５３１Ｌ）によって反射または透過される。直交する場合には、全ての偏光光が、第１の画像取込みセンサ５１０Ｒ（５１０Ｌ）または第２の画像取込みセンサ５１５Ｒ（５１５Ｌ）のいずれかに向けて送られる。１つの態様では、コーティング面５３１Ｒ（５３１Ｌ）に対する光の入射角は、４５度未満である。
コーティングされた第１の面５３１Ｒ（５３１Ｌ）は、受光した光の第１の部分を第２の面５３２Ｒ（５３２Ｌ）に反射し、この第２の面５３２Ｒ（５３２Ｌ）が、この光を例えば反射するなどして、第１の画像取込みセンサ５１０Ｒ（５１０Ｌ）に向けて送る。第２の面５３２Ｒ（５３２Ｌ）は、コーティング面または内部全反射面のいずれかとすることができる。第２の面５３２Ｒ（５３２Ｌ）は、コーティングされた第１の面５３１Ｒ（５３１Ｌ）によって反射された光以外の光が第２の面５３２Ｒ（５３２Ｌ）に入射しないように位置決めされる。
コーティングされた第１の面５３１Ｒ（５３１Ｌ）は、受光した光の第２の部分を面５３１Ｒ（５３１Ｌ）を通じて反射ユニット５４０Ｒ（５４０Ｌ）まで透過させる。具体的には、コーティング面を透過した光は、反射ユニット５４０Ｒ（５４０Ｌ）の第３の面５４１Ｒ（５４１Ｌ）によって受光され、この第３の面５４１Ｒ（５４１Ｌ）が、この光を例えば反射するなどして、第２の画像取込みセンサ５１５Ｒ（５１５Ｌ）に向けて送る。表面５４１Ｒ（５４１Ｌ）は、コーティング面または内部全反射面のいずれかとすることができる。
１つの態様では、プリズム・アセンブリ５３０Ｒ（５３０Ｌ）および反射ユニット５４０Ｒ（５４０Ｌ）が、プリズム構造に含まれる。この態様では、このプリズム構造は、以下にさらに完全に述べるように、埋込み多層偏光選択層を有する埋込みコーティング面４３１Ｂを含むプリズム構造４６０（図４Ｂ）と等価である。したがって、プリズム構造４６０に関する記述が、図５Ａの態様で使用されるプリズム構造にも当てはまる。
コーティングされた第１の面５３１Ｒ（５３１Ｌ）は、例えば、埋込み多層偏光ビーム・スプリッタである。これらの層は、当業者には既知であり、偏光ビーム・スプリッタ・キューブとして一般的に使用されている。これらの誘電体膜型コーティングは、通常は埋込み型であり、１つの態様では、このようなコーティングを使用する。あるいは、偏光型ビーム・スプリッタは、米国ユタ州ＯｒｅｍのＭｏｘｔｅｋ（登録商標）社や日本のポラテクノ社製の材料を用いてＰＢＦ０２偏光ビーム・スプリッタとして構成することもできる（ＭＯＸＴＥＫは、米国ユタ州ＯｒｅｍのＭｏｘｔｅｋ（登録商標）社の米国登録商標）。
画像取込みセンサ５１０Ｒ（５１０Ｌ）および５１５Ｒ（５１５Ｌ）は、同一平面にある。１つの態様では、遮蔽体５７０Ｒ（５７０Ｌ）からコーティングされた第１の面５３１Ｒ（５３１Ｌ）および第２の面５３２Ｒ（５３２Ｌ）を経由して画像取込みセンサ５１０Ｒ（５１０Ｌ）に至る第１の光路長は、遮蔽体５７０Ｒ（５７０Ｌ）からコーティングされた第１の面５３１Ｒ（５３１Ｌ）および第３の面５４１Ｒ（５４１Ｌ）を経由して画像取込みセンサ５１５Ｒ（５１５Ｌ）に至る第２の光路長とほぼ等しい。また、遮蔽体５７０Ｒ（５７０Ｌ）から始まる光路長の定義は例示であり、限定を目的としたものではない。光路長は、受光した光がプリズム・アセンブリ５３０Ｒ（５３０Ｌ）に進入するプリズム・アセンブリ５３０Ｒ（５３０Ｌ）の遠位面を基準にする、レンズ・アセンブリ５０１Ｒ（５０１Ｌ）内の最初の要素を基準にする、またはコーティングされた第１の面５３１Ｒ（５３１Ｌ）を基準にするなど、様々に定義することができる。
同一平面の画像取込みセンサ５１０Ｒ（５１０Ｌ）および５１５Ｒ（５１５Ｌ）は、レンズ・アセンブリ５０１Ｒ（５０１Ｌ）内の前端部光学構造を通る光路長は共通であり、センサ・アセンブリ５２０Ｒ（５２０Ｌ）内の各画像取込みセンサまでの光路長はほぼ同じである。一方の画像取込みセンサ５１０Ｒ（５１０Ｌ）は、偏光ビーム・スプリッタ５３１Ｒ（５３１Ｌ）によって反射された光で構成された画像を取り込む。他方の画像取込みセンサ５１５Ｒ（５１５Ｌ）は、偏光ビーム・スプリッタ５３１Ｒ（５３１Ｌ）を透過した光で構成された画像を取り込む。
画像取込みユニット５２５Ｒ（５２５Ｌ）は、２つの偏光状態（直交直線状態、または４分の１波長板５８０Ｒ（５８０Ｌ）を用いた左右の円偏光状態）を撮像する。この場合には、画像取込みユニット５２５Ｒ（５２５Ｌ）が取得する画像は、組織自体の構造によって与えられる優先偏光に基づいて情報を提供する。画像取込みユニット５２５Ｒ（５２５Ｌ）は、受光した光の偏光状態の２つの直交成分の相対強度を取り込むことしかできない（光の偏光の性質全てではない）。しかし、有用な情報を得るには、これで十分である。
例えば、光は、表面によって鏡面反射されるときに優先的に偏光される。偏光の程度（および偏向の状態）は、照明の角度および表面の反射特性によって決まる。
臨床の状況では、これにより、一部の鏡面反射を減少させることができる。画像取込みユニット５２５Ｒ（５２５Ｌ）に進入する反射光は、直線偏光に基づいて分離され、２つの画像が取り込まれる。取り込んだ画像内における光る器具による反射は、一方の取込み画像には出現するが、他方の取込み画像には出現しないので、ソフトウェアを実行することによって識別して減少させることができる。このプロセスは、光る器具によって反射された光が部分偏光であるためにうまくいく。このプロセスにより、立体視ディスプレイ２５１上で執刀医に対して提示される画像では、鏡面反射が減少する。
１つの態様では、デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）（図２）が、画像取込みセンサ５１０Ｒ（５１０Ｌ）および５１５Ｒ（５１５Ｌ）（図５Ａ）が取り込んだ画像を処理して、外科手術器具による反射を減少させる。例えば第２の画像内の画素値の何割かを第１の画像内の対応する画素値から減算するなど、画像取込みセンサ５１５Ｒ（５１５Ｌ）によって取り込まれた第２の画像内の画素からの情報を使用して画像取込みセンサ５１０Ｒ（５１０Ｌ）によって取り込まれた第１の画像内の画素を修正して、外科手術器具を表す画素の輝度をさらに低下させる。１つの態様では、この割合は、経験的に決定される。これは、２つの画像が同じ前端部光学構造を有し、空間的および時間的に互いに対して位置合わせされているために行うことができる。
さらに、一部の組織は、その組織が反射した光にある程度の偏光を与える。例えば、長い繊維質の組織は、反射光に偏光を与えることがある。この態様では、デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）（図２）は、画像取込みセンサ５１５Ｒ（５１５Ｌ）が、受光した偏光光から取り込んだ第２の画像の画素を処理し、例えば画素に着色することができる。次いで、着色された画像を、画像取込みセンサ５１０Ｒ（５１０Ｌ）からの第１の画像と結合し、この結合した画像を、立体視ディスプレイ２５１に送信して、執刀医が見られるようにする。この状況では、「着色」は、それにより関心のある特定の画素を背景より視覚的に顕著にすることができるので、好ましいことである。
これに加えて、またはその別法として、デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）（図２）は、画像取込みセンサ５１５Ｒ（５１５Ｌ）が、受光した偏光光から取り込んだ第２の画像の画素を処理し、その後、画像取込みセンサ５１０Ｒ（５１０Ｌ）が取り込んだ第１の画像の対応する画素を決定する。デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）は、例えば透明度を上げるなど、第１の画像の対応する画素の性質を変化させ、その後、第１の画像と第２の画像とを結合する。結合した画像は、立体視ディスプレイ２５１に送信され、執刀医が見られるようにする。入射光を偏光させない組織の方が透明度が高いので、これにより、執刀医は、入射光を偏光させた組織をより明確に識別することができるようになるので、組織を識別するための追加の手掛かりが得られる。このように、デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）によって生成された結合画像では、受光した光の偏光の違いに基づいて画像のフィーチャの顕著性が高められており、例えば上に重なる組織の透明度を上げ、その他の鏡面反射を減少させることによって、そのフィーチャを見えやすくしている。
画像取込みユニットの画像取込みセンサは同一平面であるので、２つの画像取込みユニット内の画像取込みセンサのセットは、互いに固定された一定の関係にある。また、各画像取込みユニットのレンズ・アセンブリは同じである。したがって、様々な画像を処理して、執刀医の見ている画像が整列されて適切な立体視画像を形成するようにするときに、積極的な位置合わせを行う必要がない。このため、これらの特徴を用いずに取り込まれた画像より、画像に必要な処理が減少する。
フィーチャ識別のエンハンス（偏光照明）
図５Ｂは、画像取込みユニット５２５Ｒおよび５２５Ｌならびに照明器からの光を供給する照明チャネル５０５を備える立体視内視鏡５０２Ｂの遠位端部を示す概略図である。矢印５３５が示すように、遠位方向は、組織５０３に向かう方向であり、近位方向は、組織５０３から離れる方向である。
各画像取込みユニット５２５Ｒ、５２５Ｌは、レンズ・アセンブリ５０１Ｒ、５０１Ｌ、およびセンサ・アセンブリ５２０Ｒ、５２０Ｌを含む。センサ・アセンブリ５２０Ｒ、５２０Ｌは、レンズ・アセンブリ５０１Ｒ、５０１Ｌを通過した光を受光するように位置決めされる。各センサ・アセンブリ５２０Ｒ、５２０Ｌは、１つの態様では、プリズム・アセンブリ５３０Ｒ、５３０Ｌ、反射ユニット５４０Ｒ、５４０Ｌ、および同一平面画像取込みセンサ（５１０Ｒ、５１５Ｒ）、（５１０Ｌ、５１５Ｌ）を含む。また、立体視内視鏡５０２Ａは、内視鏡５０２Ａと呼ばれることもある。
照明を偏光させる偏光器５８１は、照明光路長の中に設けられる。図５Ｂでは、偏光器５８１は、立体視内視鏡５０２Ａの遠位端部に示してあるが、これは単なる例示であり、この位置に限定するものではない。偏光器５８１は、照明の経路中の偏光器を代表して表すものであり、その経路中の適当な位置に配置することができる。あるいは、照明チャネル５０５は、偏光源からの光を送ることもできるし、あるいは偏光光源を位置５８１に配置してもよい。
以下の記述では、立体視内視鏡５０２Ｂの右チャネルの光路について述べる。立体視内視鏡５０２Ｂの左チャネルの光路は、右チャネルの光路と同じであるので、以下の記述では、左チャネルの参照番号を、右チャネルの要素の説明の後の括弧内に記載する。これは、その記述が左チャネルの対応する要素にも当てはまることを示している。
組織５０３からの偏光および非偏光の光は、レンズ素子５０４Ｒ（５０４Ｌ）および遮蔽体５７０Ｒ（５７０Ｌ）を通過する。この場合も、レンズ・アセンブリ４０１Ｂ（図４Ｂ）内の要素は、レンズ素子５０４Ｒ（５０４Ｌ）の例である。この例では、遮蔽体５７０Ｒ（５７０Ｌ）とセンサ・アセンブリ５２０Ｒ（５２０Ｌ）の遠位端部面との間の任意選択の４分の１波長板５８０Ｒ（５８０Ｌ）（図５Ａ）が、取り外されている。しかし、以下に述べるその他の態様では、４分の１波長板がレンズ・アセンブリに含まれている。
遮蔽体５７０Ｒ（５７０Ｌ）を通過する光は、センサ・アセンブリ５２０Ｌ（５２０Ｒ）によって受光され、遠位面を通ってプリズム・アセンブリ５３０Ｒ（５３０Ｌ）に進入する。上述のように、プリズム・アセンブリ５３０Ｒ（５３０Ｌ）の偏光ビーム・スプリッタ５３１Ｒ（５３１Ｌ）は、受光した光の偏光状態に基づいて受光した光の第１の部分を反射するように構成され、受光した光の偏光状態に基づいて受光した光の第２の部分を透過させるように構成される。
この例では、偏光ビーム・スプリッタ５３１Ｒ（５３１Ｌ）は、１つの偏光状態で第１の画像取込みセンサ５１０Ｒ（５１０Ｌ）に向けるように構成され、残りの光を、例えば反射ユニット５４０Ｒ（５４０Ｌ）に送るなどして、反射ユニット５４０Ｒ（５４０Ｌ）まで透過させるように構成され、この反射ユニット５４０Ｒ（５４０Ｌ）が、その透過光を画像取込みセンサ５１５Ｒ（５１５Ｌ）に向けて送る。したがって、プリズム・アセンブリ５３０Ｒ（５３０Ｌ）、偏光ビーム・スプリッタ５３１Ｒ（５３１Ｌ）、反射ユニット５４０Ｒ（５４０Ｌ）ならびに画像取込みセンサ５１５Ｒ（５１０Ｌ）および５１５Ｒ（５１５Ｌ）について繰り返し説明することはせず、図５Ａに関する上記の説明を、参照により本明細書に組み込む。
偏光器５８１からの偏光照明の一部は、組織５０３の表面で反射される。この表面で反射された光は、偏光照明とほぼ同じ偏光を有する。例えば、上面反射は、依然として、組織５０３に入射する光の元の偏光状態の大部分を占めている。
この表面で反射されない光は組織５０３に進入し、組織５０３の表面より下にある入射光の偏光を修正するフィーチャ５０３−１から５０３−４と相互作用する。組織５０３に進入する光は、散乱または吸収される。散乱光の一部は、組織５０３の表面から出て、レンズ素子５０４Ｒ（５０４Ｌ）において反射光のように見える。したがって、組織５０３から出る光の一部は、偏光の変化により、取り込んだ画像に追加の情報を与える。したがって、偏光光によって照明して、偏光感知検出器を用いて撮像するときには、例えば偏光解消された光など、照明の偏光と異なる偏光を有する光は、組織５０３の表面下のものと相互作用しているに違いないということになる。
例えば、照明が直線偏光である場合には、その光は、組織５０３の表面下フィーチャ５０３−１から５０３−４に進入してそこから反射されるときに次第に偏光解消される。表面下フィーチャ５０３−１から５０３−４からの反射光は、基本的に偏光解消される。
したがって、偏光器５８１およびコーティングされた第１の面５３１Ｒ（５３１Ｌ）を適切に配向すれば、画像取込みセンサ５１５Ｒ（５１５Ｌ）は、主に組織５０３の表面によって反射された光および表面下フィーチャ５０３−１から５０３−４からの光の約５０パーセントから、画像を取り込む。画像取込みセンサ５１５Ｒ（５１５Ｌ）は、表面下フィーチャ５０３−１から５０３−４によって主として反射された光から画像を取り込み、表面５０３からの光はそれほど取り込まない。センサ・アセンブリ５２０Ｒ（５２０Ｌ）は、受光した光の偏光状態の２つの直交成分の相対強度を取り込むことしかできない（光の偏光の性質全てではない）。しかし、有用な情報を得るには、これで十分である。
特に、偏光照明を偏光感知撮像と併用すると、撮像プロセス中に組織の表面層を選択的に弱めることができる。この態様では、デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）（図２）は、画像取込みセンサ５１０Ｒ（５１０Ｌ）が、受光した光から取り込んだ第１の画像の画素を処理し、その後、画像取込みセンサ５１５Ｒ（５１５Ｌ）が取り込んだ第２の画像の対応する画素を決定する。デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）は、ユーザ・インタフェース２６２からの入力の制御下で、立体視ディスプレイ２５１に表示されるものを調節することができる。例えば、表面５０３だけを見るには、画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）は、画像取込みセンサ５１５Ｒ（５１５Ｌ）が取り込んだ画像から画像取込みセンサ５１０Ｒ（５１０Ｌ）が取り込んだ画像を減算する。その結果得られた画像を立体視ディスプレイ２５１に送信して、執刀医が見られるようにする。あるいは、ユーザ・インタフェース２６２からの入力に応答して表面下フィーチャ５０３−１から５０３−４を示すには、画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）は、画像取込みセンサ５１０Ｒ（５１０Ｌ）が取り込んだ画像をスケーリングして、立体視ディスプレイ２５１に表示されている画像と同様の輝度を実現する。その結果得られた画像を立体視ディスプレイ２５１に送信して、執刀医が見られるようにする。
入射光の偏光を変化させない表面組織の透明度が上がっているので、これにより、執刀医は、入射光の偏光を変化させた表面下フィーチャをより明確に識別することができるようになり、組織を識別するための追加の手掛かりが得られる。このように、デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）によって生成されたエンハンス画像では、受光した光の偏光の違いに基づいて画像のフィーチャの顕著性が高められている。
さらに、照明が円偏光の場合には、組織５０３の上面からの反射が、偏光の左右像が反転した状態で起こる。センサ・アセンブリ５２０Ｒ（５２０Ｌ）において、反射光が４分の１波長板（図５Ａの４分の１波長板５８０Ｒ参照）に進入した後に直線偏光に基づいて分離された場合には、上面反射は大幅に減少し、光る道具からの反射も減少する。表面下組織層は依然として次第に光を偏光解消するので、表面層は以前より透明に見えるように執刀医に対して提示することができる。これにより、組織の層、組織の種類、または組織５０３の表面下に現れる病気の状態をより良好に識別することができるようになる。このようにして、執刀医は、上述のように、最上層の透明度を上げ、鏡面反射を減少させることによって、最上層からの反射を抑制することができるので、組織５０３の上面を選択的に「透かして」見ることができる。さらに、上述のように、組織５０３の上面だけを見ることもできる。
この技術によって強調することができる組織フィーチャの例としては、子宮内膜症などが挙げられる。また、この技術は、偏光サインを有する神経を識別する機能を強化することもできる。このように、様々な臨床の状況で、デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）によって生成した結合画像では、受光した光の偏光の違いに基づいて画像のフィーチャの顕著性が高められている。
解像度およびダイナミック・レンジのエンハンス
内視鏡の遠位端部に従来技術のカメラを配置しても立体視カラー画像は得られるが、これらのカメラは、各立体視チャネルで画像をとらえる１つのＣＣＤが提供する解像度およびダイナミック・レンジに制限される。立体視内視鏡の従来のカメラと同様に、解像度は、ＣＣＤの画素数およびカラー・フィルタ・アレイによって制限される。立体視内視鏡の遠位端部では利用できる空間が制限されていることを考えると、ＣＣＤの画素数を増やすことは実用的ではないので、解像度をさらに上げることは実用的ではなかった。
同様に、外科手術部位のシーンの中心は、通常はそのシーンの周辺部よりはるかに明るい。これにより、取り込まれた画像の輝度の範囲がＣＣＤのダイナミック・レンジを超えると、取り込まれた画像（の強度）がクリッピングされる可能性がある。画像取込みユニット６２５Ｒおよび６２５Ｌ（図６Ａ）は、以下でさらに完全に述べるように、さらに高い見かけの解像度およびさらに高いダイナミック・レンジの両方を提供することにより、これらの従来技術の問題を解消する。
図６Ａは、画像取込みユニット６２５Ｌおよび６２５Ｒならびに照明器からの光を供給する照明チャネル５０５を備える立体視内視鏡６０２の遠位端部を示す概略図である。矢印６３５が示すように、遠位方向は、組織６０３に向かう方向であり、近位方向は、組織６０３から離れる方向である。
各画像取込みユニット６２５Ｒ、６２５Ｌは、レンズ・アセンブリ６０１Ｒ、６０１Ｌ、およびセンサ・アセンブリ６２０Ｒ、６２０Ｌを含む。センサ・アセンブリ６２０Ｒ、６２０Ｌは、レンズ・アセンブリ６０１Ｒ、６０１Ｌを通過した光を受光するように位置決めされる。各センサ・アセンブリ６２０Ｒ、６２０Ｌは、１つの態様では、プリズム・アセンブリ６３０Ｒ、６３０Ｌ、反射ユニット６４０Ｒ、６４０Ｌ、および同一平面画像取込みセンサ（６１０Ｒ、６１５Ｒ）、（６１０Ｌ、６１５Ｌ）を含む。立体視内視鏡６０２は、内視鏡６０２と呼ばれることもある。
以下の記述では、立体視内視鏡６０２の右チャネルの光路について述べる。内視鏡６０２の対称性により、立体視内視鏡６０２の左チャネルの光路は、右チャネルの光路と同じであるので、以下の記述では、左チャネルの参照番号を、右チャネルの要素の説明の後の括弧内に記載する。これは、その記述が左チャネルの対応する要素にも当てはまることを示している。また、図６Ａでは、図５Ａおよび図５Ｂに示す要素と同じ参照番号を有する要素は、図５Ａおよび図５Ｂに関連して上述した要素と同じまたは等価な要素である。繰り返しを避けるために、同じ参照番号を有する要素について、図６Ａで再度述べることはしない。
組織５０３からの光は、レンズ・アセンブリ５０１Ｒ（５０１Ｌ）内のレンズ素子５０４Ｒ（５０４Ｌ）および遮蔽体５７０Ｒ（５７０Ｌ）を通過する。レンズ・アセンブリ４０１Ｂ（図４Ｂ）内の要素は、レンズ素子５０４Ｒ（５０４Ｌ）の例である。センサ・アセンブリ６２０Ｌ（６２０Ｒ）によって受光された光は、プリズム・アセンブリ６３０に進入する。プリズム・アセンブリ６３０Ｒ（６３０Ｌ）は、プリズム・アセンブリ６３０Ｒ（６３０Ｌ）が受光した光の第１の割合を反射し、受光した光の第２の割合を反射ユニット５４０Ｒ（５４０Ｌ）まで通過させる、例えばコーティングされた第１の面などのビーム・スプリッタ６３１Ｒ（６３１Ｌ）を含む。
コーティングされた第１の面６３１Ｒ（６３１Ｌ）によって反射された光は、第２の面６３２Ｒ（６３２Ｌ）によって受光され、第２の面６３２Ｒ（６３２Ｌ）は、この光を、例えば反射するなどして、第１の画像取込みセンサ６１０Ｒ（６１０Ｌ）に向けて送る。第２の面６３２Ｒ（６３２Ｌ）は、例えば、コーティング面および内部全反射面のうちの１つである。コーティングされた第１の面６３１Ｒ（６３１Ｌ）を透過した光は、反射ユニット５４０Ｒ（５４０Ｌ）の第３の面５４１Ｒ（５４１Ｌ）によって受光され、第３の面５４１Ｒ（５４１Ｌ）は、この光を反射するなどして、第２の画像取込みセンサ６１５Ｒ（６１５Ｌ）に向けて送る。
第２の面６３２Ｒ（６３２Ｌ）は、コーティングされた第１の面６３１Ｒ（６３１Ｌ）によって反射された光以外の光が第２の面６３２Ｒ（６３２Ｌ）に入射しないように位置決めされる。１つの態様では、コーティング面６３１Ｒ（６３１Ｌ）に対する光の入射角は、４５度未満である。
１つの態様では、プリズム・アセンブリ６３０Ｒ（６３０Ｌ）および反射ユニット５４０Ｒ（５４０Ｌ）は、プリズム・アセンブリ６３０Ｒ（６３０Ｌ）を含むペンタプリズムを有するプリズム構造に含まれる。この態様のプリズム構造は、受光した光の第１の割合を反射し、受光した光の第２の割合はコーティング面を通過させるように構成された埋込みコーティング面４３１Ｂを有するプリズム構造４６０（図４Ｂ）と等価である。したがって、プリズム構造４６０の説明が、図６Ａの態様で使用されるプリズム構造にも当てはまる。
１つの態様では、第１の割合と第２の割合はほぼ等しい。別の態様では、第１の割合と第２の割合は異なる。したがって、プリズム・アセンブリ６３０Ｒ（６３０Ｌ）は、受光した光を２つの部分、すなわち（ｉ）第１の部分と呼ばれることもある受光した光の第１の割合と、（ｉｉ）第２の部分と呼ばれることもある受光した光の第２の割合とに分離するコーティングされた第１の面５３１Ｒ（５３１Ｌ）として実装されるビーム・スプリッタを含む。
画像取込みセンサ６１０Ｒ（６１０Ｌ）および６１５Ｒ（６１５Ｌ）は、同一平面である。１つの態様では、遮蔽体５７０Ｒ（５７０Ｌ）からコーティングされた第１の面５３１Ｒ（５３１Ｌ）および第２の面６３２Ｒ（６３２Ｌ）を経由して画像取込みセンサ６１０Ｒ（６１０Ｌ）に至る第１の光路長は、遮蔽体５７０Ｒ（５７０Ｌ）からコーティングされた第１の面６３１Ｒ（６３１Ｌ）および第３の面５４１Ｒ（５４１Ｌ）を経由して画像取込みセンサ６１５Ｒ（６１５Ｌ）に至る第２の光路長とほぼ等しい。この場合も、遮蔽体５７０Ｒ（５７０Ｌ）から開始する光路長の定義は例示であり、限定を目的としたものではない。光路長は、受光した光がプリズム・アセンブリ６３０Ｒ（６３０Ｌ）に進入するプリズム・アセンブリ６３０Ｒ（６３０Ｌ）の遠位面を基準にする、レンズ・アセンブリ６０１Ｒ（６０１Ｌ）内の最初の要素を基準にする、またはコーティングされた第１の面６３１Ｒ（６３１Ｌ）を基準にするなど、様々に定義することができる。
このように、同一平面の画像取込みセンサ６１０Ｒ（６１０Ｌ）および６１５Ｒ（６１５Ｌ）は、レンズ・アセンブリ６０１Ｒ（６０１Ｌ）内の前端部光学構造を通る共通の光路長を有しており、センサ・アセンブリ６２０Ｒ（６２０Ｌ）内の各画像取込みセンサまでの光路長はほぼ同じである。一方の画像取込みセンサ６１０Ｒ（６１０Ｌ）は、センサ・アセンブリ６２０Ｒ（６２０Ｌ）が受光した光の第１の部分から画像を取り込む。他方の画像取込みセンサ６１５Ｒ（６１５Ｌ）は、センサ・アセンブリ６２０Ｒ（６２０Ｌ）が受光した光の第２の部分から画像を取り込む。以下でさらに完全に述べるように、１つの態様では、画像取込みセンサ６１０Ｒ（６１０Ｌ）６１５Ｒ（６１５Ｌ）はそれぞれ、カラー・フィルタ・アレイを有するカラー・センサである。別の態様では、これらのカラー・センサの１つからカラー・フィルタ・アレイが取り外され、そのセンサはモノクロ・センサとして機能する。もう一方のカラー・センサのカラー・フィルタ・アレイは、そのセンサが受け取る色成分の数に合わせて修正される。
解像度のエンハンス（例１）
１つの態様では、プリズム・アセンブリ６３０Ｒ（６３０Ｌ）のコーティングされた第１の面６３１Ｒ（６３１Ｌ）は、プリズム・アセンブリ６３０Ｒ（６３０Ｌ）がレンズ・アセンブリ６０１Ｒ（６０１Ｌ）から受光した光の反射させる部分と透過させる部分がほぼ等しくなるように、すなわち第１の割合と第２の割合がほぼ等しくなるように構成される。ビーム・スプリッタ６３１Ｒ（６３１Ｌ）が反射させる光と透過させる光がほぼ等しいとき、そのビーム・スプリッタは、バランス・ビーム・スプリッタと呼ばれる。画像取込みセンサ６１０Ｒ（６１０Ｌ）および６１５Ｒ（６１５Ｌ）はそれぞれ、この態様では、カラー・フィルタ・アレイを有するカラー・センサである。このカラー・フィルタ・アレイは、ベイヤー・カラー・フィルタ・アレイである。したがって、２つのベイヤー・パターン画像取込みセンサが、同じシーンで同じ光学素子を透かし見ている。ここで、ベイヤー・パターン画像取込みセンサは、ベイヤー・カラー・フィルタ・アレイを含む単一のチップ・センサ、または単一のチップの一部である。上述のように、同一平面の画像取込みセンサ６１０Ｒ（６１０Ｌ）および６１５Ｒ（６１５Ｌ）は、共通の前端部光学構造を有し、各センサまでの光路長がほぼ同じである。
プリズム・アセンブリ６３０Ｒ（６３０Ｌ）および反射ユニット５４０Ｒ（５４０Ｌ）が、両ベイヤー・パターン画像取込みセンサ６１０Ｒ（６１０Ｌ）および６１５Ｒ（６１５Ｌ）によって取り込まれたカラー画像が同じになるように構成されるときに、画像取込みセンサ６１０Ｒ（６１０Ｌ）が取り込むカラー画像は、画像取込みセンサ６１５Ｒ（６１５Ｌ）が取り込むカラー画像と同じシーンである。したがって、ある程度の静的較正を行えば、そのシーン内の空間中の各点が、２つの画素で表される。この２つの画素とは、画像取込みセンサ６１０Ｒ（６１０Ｌ）が取り込むカラー画像中の１つの画素と、画像取込みセンサ６１５Ｒ（６１５Ｌ）が取り込むカラー画像中の１つの画素とである。
シーン内の空間中の各点ごとに２つの画素を取り込むことには、シーン内の空間中の各点ごとに１つの画素を有する通常のカラー画像に優る利点がいくつかある。例えば、ディスプレイ２５１では、画素がそれぞれ空間中の１つのポイントの２つの画素に基づいているので、ノイズ・レベルが低下し、見かけの解像度が高い。中央制御装置２６０内のデュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）から立体視ディスプレイ２５１に送信される各出力画素は、ベイヤー・パターン画像取込みセンサ６１０Ｒ（６１０Ｌ）および６１５Ｒ（６１５Ｌ）が取り込んだそれぞれの画像から１つずつ取った、２つの画素のサンプリングに基づいている。
デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）が２つの入力画素をサンプリングすることにより、１つの画像取込みセンサからの画像のみを中央制御装置２６０が処理する場合にはより小さなフィーチャの撮像が可能になる。したがって、立体視ディスプレイ２５１に表示される画像の見かけの解像度は、単一の画像取込みセンサが取り込んだ画像に基づいて立体視ディスプレイ２５１上に表示される画像の解像度より高い。ここで、立体視ディスプレイ２５１に送信される画像の解像度は、単一の画像取込みセンサからの画像の解像度より高くすることができるので、より高い見かけの解像度を有すると言える。
解像度のエンハンス（例２）
別の態様では、プリズム・アセンブリ６３０Ｒ（６３０Ｌ）のコーティングされた第１の面６３１Ｒ（６３１Ｌ）は、依然として、プリズム・アセンブリ６３０Ｒ（６３０Ｌ）が受光した光の反射させる部分と透過させる部分がほぼ等しくなるように、すなわち第１の割合と第２の割合がほぼ等しくなるように構成される。画像取込みセンサ６１０Ｒ（６１０Ｌ）および６１５Ｒ（６１５Ｌ）はそれぞれ、ベイヤー・カラー・フィルタ・アレイを有するカラー・センサである。この場合も、同一平面の画像取込みセンサ６１０Ｒ（６１０Ｌ）および６１５Ｒ（６１５Ｌ）は、共通の前端部光学構造を有し、各センサまでの光路長がほぼ同じである。ただし、総光路長は変化しないが、プリズム・アセンブリ６３０Ｒ（６３０Ｌ）の面６３１Ｒ（６３１Ｌ）および６３２Ｒ（６３２Ｌ）が若干傾斜しており、画像取込みセンサ６１０Ｒ（６１０Ｌ）が取り込んだ画像が、画像取込みセンサ６１５Ｒ（６１５Ｌ）が取り込んだ画像から半画素分だけオフセットしている。
この場合には、２つのベイヤー・パターン画像取込みセンサが、同じシーンで同じ光学素子を透かし「見て」いる。しかし、２つの取り込まれた画像は、互いに半画素分だけオフセットしている。図６Ｂは、第１の画像中の画素ブロック６９１と、これに対応する第２の画像中の画素ブロック６９５のオフセットを示す概略図である。画素ブロック６９１の各画素は、周囲を破線で囲んだ正方形で表し、画素の色は、正方形の中心の数字「２」の前の頭文字で色を表してある。画素ブロック６９５の各画素は、周囲を実線で囲んだ正方形で表し、画素の色は、正方形の中心の数字「１」の前の頭文字で色を表してある。この例では、ベイヤー・カラー・フィルタ・アレイは、赤／緑／青／緑（ＲＧＢＧ）アレイである。
１つの態様では、中央制御装置２６０内のデュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）は、２つの画像の画素を補間して、立体視ディスプレイ２５１に送信する画像のより高い空間解像度を有するカラー画像を作成する。この補間は、３つのＣＣＤカラー・カメラで行われるものと同様であるが、２つのカラー画像を使用する点が異なる。サンプリングに利用できる画素の数が多いことにより、見かけの解像度が高くなり、信号対雑音比の性能が向上する。
解像度のエンハンス（例３）
さらに別の態様では、プリズム・アセンブリ６３０Ｒ（６３０Ｌ）のコーティングされた第１の面６３１Ｒ（６３１Ｌ）は、プリズム・アセンブリ６３０Ｒがレンズ・アセンブリ６０１Ｒ（６０１Ｌ）から受光した光の第１の色成分を反射し、受光した光の他の色成分を透過させるように構成される。この態様では、画像取込みセンサ６１０Ｒ（６１０Ｌ）および６１５Ｒ（６１５Ｌ）は、それぞれベイヤー・カラー・フィルタ・アレイを有するカラー・センサではない。
画像取込みセンサ６１０Ｒ（６１０Ｌ）は、例えばカラー・フィルタ・アレイが取り外されたカラー・センサなどのモノクロ・センサである。説明のために、センサ・アセンブリ６２０Ｒ（６２０Ｌ）が受光する光を、複数の可視色成分、すなわち第１の可視色成分、第２の可視色成分および第３の可視色成分を有するものと捉える。画像取込みセンサ６１５Ｒ（６１５Ｌ）は、この３つの可視色成分のうちの２つ、例えば複数の可視色成分に含まれる可視色成分の数から１を引いた数の可視色成分に対するカラー・フィルタ・アレイを有するカラー・センサである。上述のように、同一平面の画像取込みセンサ６１０Ｒ（６１０Ｌ）および６１５Ｒ（６１５Ｌ）は、共通の前端部光学構造を有し、各センサまでの光路長がほぼ同じである。
この態様では、プリズム・アセンブリ６３０Ｒ（６３０Ｌ）および反射ユニット５４０Ｒ（５４０Ｌ）は、両画像取込みセンサ６１０Ｒ（６１０Ｌ）および６１５Ｒ（６１５Ｌ）が取り込んだ画像が同じシーンとなるように配列されるが、第１の画像はモノクロであり、第２の画像はマルチカラーである。例えば、モノクロ画像は、緑の色成分画像を表し、マルチカラー画像は、赤の色成分および青の色成分の画像である。この場合には、画像取込みセンサ６１５Ｒ（６１５Ｌ）のカラー・フィルタ・アレイは、赤および青のチェッカボード・パターンである。
赤および青の画素に対する緑の画素の比率は、ベイヤー・カラー・フィルタ・アレイの場合と同じであるが、従来技術の単色センサと比較すると各色の画素の数は２倍である。したがって、緑の画素の解像度は、中央制御装置２６０内のデュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）による完全空間サンプリングを用いて生成されるが、赤および青の画素の解像度は、デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）による緑の画素より少ない空間サンプリングを用いて生成される。それにも関わらず、この態様の赤および青の画素の空間サンプリングは、従来技術の単色センサの緑の画素の空間サンプリングと同じである。このエンハンスされた空間サンプリングも、見かけの解像度の向上および信号対雑音比の改善をもたらす。
ダイナミック・レンジのエンハンス
通常、外科手術部位画像は類似しており、明るい中央領域と、それより暗い周辺領域とを有する。また、一部の外科手術器具からの反射は、組織からの反射よりはるかに明るい。これにより、従来技術の内視鏡の画像取込みセンサが取り込む輝度値の範囲に差が生じる。輝度値が画像取込みセンサのダイナミック・レンジを超えた場合には、それらの画素の値はクリッピングされる、すなわち、その画像取込みセンサの最高値に設定される。
あるシーンが０から４００の輝度範囲を有するものと仮定する。このシーンを、０から１００のダイナミック・レンジを有するセンサが撮像した場合には、１００を超える値がクリッピングされる。例えば、ある画素の輝度値が４００であっても、その画素の取り込まれる輝度値は１００である。１００を超える全ての輝度値がクリッピングされて１００に設定されるので、１００を超える輝度を有するシーンの部分については、輝度情報が失われる。画像取込みセンサの利得を０．２５に調節すれば、これらの高い輝度値はクリッピングされないが、４未満の全てのシーン輝度値がゼロにマッピングされる。この場合には、高い輝度値はクリッピングされないが、シーンのより暗い部分の情報が失われる。画像取込みユニット６２５Ｒ（６２５Ｌ）は、高輝度情報を保存し、かつ従来技術のシステムより多くの低輝度情報も保存することにより、この問題の解決策を与える。０から４００の輝度範囲は、単なる例示である。実際の外科手術シーンでは、輝度の変動が何桁にもなることがある。したがって、外科手術シーンのダイナミック・レンジは、画像取込みセンサのダイナミック・レンジより大きい。したがって、単一の画像取込みセンサでは、外科手術シーンのダイナミック・レンジを取り込むことができない。
センサ・アセンブリ６２０Ｒ（６２０Ｌ）内のプリズム・アセンブリ６３０Ｒ（６３０Ｌ）の例えばビーム・スプリッタなどのコーティングされた第１の面６３１Ｒ（６３１Ｌ）は、プリズム・アセンブリ６３０Ｒ（６３０Ｌ）が受光した光の反射する部分と透過させる部分が異なるように、すなわち上記で定義した第１の割合と第２の割合が異なるように構成される。ビーム・スプリッタ６３１Ｒ（６３１Ｌ）は、この態様では、ダイナミック・レンジが調節されたビーム・スプリッタである。ダイナミック・レンジが調節されたビーム・スプリッタは、受光した光のＭ％を反射し、受光した光のＮ％を通過させる。ここで、Ｍ％はＮ％と異なる。ここで、ＭおよびＮは、正の数である。１つの態様では、Ｍ％とＮ％を足すと、ほぼ１００パーセントに等しくなる。この同等性は、光の損失およびセンサ・アセンブリ６２０Ｒ（６２０Ｌ）の様々な部品の許容差により、厳密なものではないこともある。
この態様では、画像取込みセンサ６１０Ｒ（６１０Ｌ）および６１５Ｒ（６１５Ｌ）はそれぞれ、カラー・フィルタ・アレイを有するカラー・センサである。カラー・フィルタ・アレイは、１つの態様では、ベイヤー・カラー・フィルタ・アレイである。したがって、２つのベイヤー・パターン画像取込みセンサ６１０Ｒ（６１０Ｌ）および６１５Ｒ（６１５Ｌ）は、同じシーンで同じ光学素子を透かし見ている。ここで、ベイヤー・パターン画像取込みセンサは、ベイヤー・カラー・フィルタ・アレイを含む単一のチップ・センサ、または単一のチップの一部である。上述のように、同一平面の画像取込みセンサ６１０Ｒ（６１０Ｌ）および６１５Ｒ（６１５Ｌ）は、共通の前端部光学構造を有し、各センサまでの光路長がほぼ同じである。既知のダイナミック・レンジを有する１対の同一平面の画像取込みセンサ６１０Ｒ（６１０Ｌ）および６１５Ｒ（６１５Ｌ）では、例えば、画像取込みセンサ６１０Ｒ（６１０Ｌ）および６１５Ｒ（６１５Ｌ）の利得を、ビーム・スプリッタ６３１Ｒ（６３１Ｌ）の構成に対応するように調節する。
通常は、第１の面６３１Ｒ（６３１Ｌ）のコーティングの特性の選択では、取り込んだ画像の輝度および／または取り込んだ画像の一部の輝度、画像取込みセンサ６１０Ｒ（６１０Ｌ）および６１５Ｒ（６１５Ｌ）の可能なダイナミック・レンジ、ならびに撮像パイプラインの能力を考慮する。本明細書で用いる撮像パイプラインとは、中央制御システム２６０（図２）の、取り込んだ画像を処理して立体視ディスプレイ２５１用の出力画像を生成する部分である。撮像パイプラインは、選択した実施態様に応じて、ＣＣＵ２３０Ｒ（２３０Ｌ）の一部であってもよいし、デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）の一部であってもよい。
通常の外科手術シーンの重要な領域において情報がクリッピングされないようにするために、この領域の最大輝度Ｂｍａｘを経験的に決定する。重要な領域は、シーン全体であっても、シーン全体の一部であってもよい。次いで、画像取込みセンサ６１０Ｒ（６１０Ｌ）のダイナミック・レンジを、例えば０からＳ１ｍａｘなどに決定する。表面６３１Ｒ（６３１Ｌ）上のコーティングによって反射される受光した光の一部Ｍは、以下のように選択される。
Ｍ≒（Ｓ１ｍａｘ／Ｂｍａｘ）
第１の面６３１Ｒ（６３１Ｌ）のコーティングによって反射される受光した光の割合Ｍ％は、第１の画像取込みセンサ６１０Ｒ（６１０Ｌ）に入射する光のダイナミック・レンジがクリッピングされないように選択される。したがって、この態様では、第１の画像取込みセンサ６１０Ｒ（６１０Ｌ）が取り込んだ画像の高輝度領域の画素の輝度がクリッピングされない。面６３１Ｒ（６３１Ｌ）のコーティングを透過する受光した光の割合はＮ％であり、ここで、Ｎ％は、１００からＭ％を引いた値にほぼ等しい。第２の画像取込みセンサ６１５Ｒ（６１５Ｌ）の利得を、センサ６１５Ｒ（６１５Ｌ）のダイナミック・レンジがゼロから最大輝度Ｂｍａｘの約Ｎ％倍になるように調節する。
一例として、最大輝度Ｂｍａｘが４００であるシーンを考慮する。画像取込みセンサ６１０Ｒ（６１０Ｌ）は、０から１００のダイナミック・レンジを有する。したがって、以下のようになる。
Ｍ＝１００／４００＝１／４
Ｍ％＝２５％
Ｎ％＝７５％
したがって、第１の面６３１Ｒ（６３１Ｌ）のコーティングは、受光した光の約２５％を反射し、受光した光の約７５％を透過させるように選択される。画像取込みセンサ６１５Ｒ（６１５Ｌ）の利得は、０から３００のダイナミック・レンジを有するように調節する。
センサ６１０Ｒ（６１０Ｌ）および６１５Ｒ（６１５Ｌ）によって取り込まれる２つの画像は、基本的に同時に得られる。センサ・アセンブリ６２０Ｒ（６２０Ｌ）が受光した光は、センサ６１０Ｒ（６１０Ｌ）上の輝度範囲が０から１００（１／４×４００）である画像と、センサ６１５Ｒ（６１５Ｌ）上の輝度範囲が０から３００（３／４×４００）である画像の２つの画像に分割される。シーンの高輝度領域の画素は、センサ６１５Ｒ（６１５Ｌ）が取り込んだ画像では飽和しない。同時に、センサ６１０Ｒ（６１０Ｌ）が取り込んだ画像は、シーンの暗い部分を保存して、正確に撮像する。なお、この例では、輝度が１であるシーン領域は、画像取込みセンサが１未満の値を保存しない場合には失われることがあることに留意されたい。ただし、これは４００のうちのわずかであるので、立体視ディスプレイ２５１上で画像を見ている執刀医が気が付く可能性は低い。
状況によっては、大部分の光を受光するセンサを上限値で意図的に飽和させることによって、さらに良好な結果を得ることもできる。この場合、もう一方のセンサが暗すぎて値を記録できない下限値のレンジを拡大する。
プリズム・アセンブリ６３０Ｒ（６３０Ｌ）および反射ユニット５４０Ｒ（５４０Ｌ）は、両方のベイヤー・パターン画像取込みセンサ６１０Ｒ（６１０Ｌ）および６１５Ｒ（６１５Ｌ）が取り込んだカラー画像が異なる輝度範囲を有する同じシーンになるように配列されるときには、そのシーン内の空間中の各ポイントが、２つの画素で表される。この２つの画素とは、画像取込みセンサ６１０Ｒ（６１０Ｌ）が取り込むカラー画像中の１つの画素と、画像取込みセンサ６１５Ｒ（６１５Ｌ）が取り込むカラー画像中の１つの画素である。ただし、この２つの画素は、どちらの画素の輝度値もクリッピングされなければ互いにリニアスケールである異なる輝度値を有する。
この例では、最大輝度は、既知であるものと仮定した。ただし、臨床の状況では、立体視内視鏡の構造が固定され、全てのシーンが同じ最大輝度を有しているわけではない。したがって、最大輝度が５００であるシーンで上述の構成を使用する場合には、このシーンの最も明るい部分の画素がクリッピングされる。それでも、ダイナミック・レンジは、従来技術の解決策よりは拡大されている。
シーン内の空間中の各ポイントごとに異なる輝度値を有する２つの画素を取り込むことには、空間中の各ポイントごとに１つの輝度値を有するような通常のカラー画像に優る利点がある。例えば、ディスプレイ２５１では、画素がそれぞれ空間中の１つのポイントの２つの画素に基づいているので、中間輝度領域のノイズ・レベルが低下し、ダイナミック・レンジが従来技術より拡大する。上述した空間解像度の利点に加えて、これらの利点がある。
中央制御装置２６０内のデュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）から立体視ディスプレイ２５１への各出力画素は、ベイヤー・パターン画像取込みセンサ６１０Ｒ（６１０Ｌ）および６１５Ｒ（６１５Ｌ）が取り込んだそれぞれの画像から１つずつ取った、２つの画素のサンプリングに基づいている。上述のように、デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）が入力の２つの画素をサンプリングすることにより、１つの画像取込みセンサからの画像のみを中央制御装置２６０が処理する場合には撮像できない小さなフィーチャの撮像が可能になる。さらに、１つの態様では、デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）のトーン・マッピング・プロセスにより、取得した画像の領域をマッピングして、コントラストを保存し、立体視ディスプレイ２５１の出力ダイナミック・レンジに合わせる。トーン・マッピングでは、元のシーンの内容を最もよく表現するために重要な、画像のコントラストおよび色の見た目を保存しながら、取り込んだ画像の輝度を表示可能な範囲にマッピングする。トーン・マッピングは、従来技術の技術と同様であるが、画素値を１つずつ順にサンプリングするのではなく、空間および時間の同一点について２つの画素値をサンプリングすることによってエンハンスされている点が異なる。
上記の例では、０から４００の輝度値が、トーン・マッピングによって立体視ディスプレイ２５１の出力ダイナミック・レンジ（コントラスト比）にマッピングされる。飽和していない画素については、センサ６１５Ｒ（６１５Ｌ）が取り込んだ画像の輝度値は、空間中の同じポイントについてセンサ６１０Ｒ（６１０Ｌ）が取り込んだ画像の輝度値の３倍である。トーン・マッピング・プロセスでは、この関係を利用して、立体視ディスプレイ２５１に出力される画像の画素の輝度を決定する。周囲の画素についての情報に基づいて、トーン・マッピングは、コントラストを維持するように個々の画素のグループ／領域を処理し、それによりノイズ・レベルおよびダイナミック・レンジを低下させる。
従来技術の０から１００の輝度範囲を、１から４００の輝度範囲に拡大して、全体的なダイナミック・レンジの利得を向上させている。２つの画像を結合し、二重サンプリングを利用することにより、中間輝度領域のノイズを低下させると同時に、ダイナミック・レンジ全体を増大させることができる。
図６Ａの態様および図６Ａに関連して上述した各例では、立体視チャネルの画像取込みセンサは、同一平面である。これは単なる例示であり、限定を目的としたものではない。例えば、これらの画像取込みセンサのうちの第１の画像取込みセンサが、第１の平面内にセンサ上面を有し、これらの画像取込みセンサのうちの第２の画像取込みセンサが、第２の平面内にセンサ上面を有していてもよい（図９参照）。第１の平面と第２の平面は互いに平行であり、既知の距離だけ離間している。ビーム・スプリッタと反射ユニット内の反射面との間の間隔を調節して、第１の画像取込みセンサまでの第１の光路長が第２の画像取込みセンサまでの第２の光路長とほぼ等しくなるように、上記の既知の距離を補償する。したがって、２つの光路長はほぼ等しいままであるので、上述の図６Ａの各態様は、そのままこの構成に適用可能である。
色性能のエンハンス
現在では、ほとんどの撮像システムで、３つの可視色成分、すなわち赤、緑および青（ＲＧＢ）を使用しており、これは３原色モデルと呼ばれる。ほとんどのカメラでは、ＲＧＢ型カラー・フィルタ・アレイを有するベイヤー・カラー・フィルタ・アレイ型画像取込みセンサを使用している。３原色モデルは、ほとんどの液晶ディスプレイ（ＬＣＤ）およびプラズマ・ディスプレイでも使用されている。
３原色モデルは、実際には、カメラが取り込み、ディスプレイに提示することができる色相の範囲を制限する。追加の原色を使用することにより、さらに知覚的に正確な画像の取込みおよび表示が可能になる。Ｓｈａｒｐ Ｅｌｅｃｔｒｏｎｉｃｓ社（Ｓｈａｒｐ）は、４色画素技術を用いた発光ダイオード（ＬＥＤ）背面照明ＬＣＤテレビジョンを販売している。Ｓｈａｒｐは、従来の赤、緑および青のカラー・フィルタ・アレイに黄色を追加することで、より豊かな色の表示を可能にしている。
カメラによって１つの画像中で追加の色成分を取り込むことにより、より忠実な色表現が可能になる。ただし、取り込む色成分が増えれば、黄色や橙などの新たな色を含むように従来の赤／緑／緑／青（ＲＧＧＢ）のベイヤー・カラー・フィルタ・アレイを変更する必要がある。すなわち、カラー・フィルタ・アレイを赤／橙／緑／黄／緑／青（ＲＯＧＹＧＢ）に変更する必要がある。しかし、所与の数の画素を有する画像取込みセンサでは、この６成分カラー・フィルタ・アレイでは、カメラの空間解像度が低下し、画像センサ上でのプリンティングに適した新たなマスクおよび色素を開発する必要がある。黄色または橙色の選択は、ディスプレイに合わせて最適化されることになる。
画像取込みユニット７２５Ｒ（７２５Ｌ）と組み合わせて適当な照明器を使用することにより、例えば、空間解像度を低下させることなく、また画像センサ上でのプリンティングに適した新たなマスクおよび色素の開発を必要とすることなく、画素あたり最大６色の色成分ベクトルが得られる。この特性は、以下でさらに完全に述べるように、いくつかの方法で実現される。この特性は、モザイク解除処理後に画素あたり３色から６色の色成分ベクトルを提供するだけでなく、被写界深度が拡大した画像も提供し、さらにエンハンスされた蛍光撮像能も提供する。
図７Ａは、画像取込みユニット７２５Ｒ（７２５Ｌ）と、照明器７１０Ｂ（図７Ｂ）、照明器７１０Ｃ（図７Ｃ）、照明器７１０Ｄ（図７Ｄ）および照明器７１０Ｅ（図７Ｅ）のうちの１つから光を供給する照明チャネル７０５とを備える、立体視内視鏡７０２の遠位端部を示す概略図である。照明器がどのようにして照明チャネルに結合されるかについては、図２を参照されたい。矢印７３５が示すように、遠位方向は、組織７０３に向かう方向であり、近位方向は、組織７０３から離れる方向である。
各画像取込みユニット７２５Ｒ、７２５Ｌは、レンズ・アセンブリ７０１Ｒ、７０１Ｌ、およびセンサ・アセンブリ７２０Ｒ、７２０Ｌを含む。センサ・アセンブリ７２０Ｒ、７２０Ｌは、レンズ・アセンブリ７０１Ｒ、７０１Ｌを通過した光を受光するように位置決めされる。各センサ・アセンブリ７２０Ｒ、７２０Ｌは、１つの態様では、プリズム・アセンブリ７３０Ｒ、７３０Ｌ、反射ユニット７４０Ｒ、７４０Ｌ、および同一平面画像取込みセンサ（７１０Ｒ、７１５Ｒ）、（７１０Ｌ、７１５Ｌ）を含む。立体視内視鏡７０２は、内視鏡７０２と呼ばれることもある。
以下の記述では、立体視内視鏡７０２の右チャネルの光路について述べる。立体視内視鏡７０２の左チャネルの光路は、内視鏡７０２の対称性により右チャネルの光路と同じであるので、以下の記述では、左チャネルの参照番号を、右チャネルの要素の説明の後の括弧内に記載する。これは、その記述が左チャネルの対応する要素にも当てはまることを示している。また、図７Ａでは、図５Ａおよび図５Ｂの要素と同じ参照番号を有する要素は、図５Ａおよび図５Ｂに関連して上述した要素と同じまたは等価な要素である。繰り返しを避けるために、同じ参照番号を有する要素について、図７Ａで再度詳細に述べることはしない。
以下に述べる様々な態様それぞれの画像取込みユニット７２５Ｌ、７２５Ｒの基本構造を、図７Ａに示す。プリズム・アセンブリ７３０Ｒ（７３０Ｌ）、反射ユニット５４０Ｒ（５４０Ｌ）、画像取込みセンサ７１０Ｒ（７１０Ｌ）、および画像取込みセンサ７１５Ｒ（７１５Ｌ）の間の空間的関係および位置合わせは、図７Ａに関連して考慮する様々な各態様で同じである。ただし、プリズム・アセンブリ７３０Ｒ（７３０Ｌ）のコーティングされた第１の面７３１Ｒ（７３１Ｌ）のコーティング、画像取込みセンサのタイプ、および画像取込みセンサで使用されるフィルタは、以下でさらに完全に述べるように、態様ごとに変わる可能性がある。
組織７０３からの反射光は、レンズ・アセンブリ７０１Ｒ（７０１Ｌ）内のレンズ素子７０４Ｒ（７０４Ｌ）および遮蔽体５７０Ｒ（５７０Ｌ）を通過する。レンズ・アセンブリ４０１Ｂ（図４Ｂ）内の要素は、レンズ素子７０４Ｒ（７０４Ｌ）の例である。レンズ・アセンブリ７０１Ｒ（７０１Ｌ）を通過する光は、プリズム・アセンブリ７３０Ｒ（７３０Ｌ）によって受光され、ビーム・スプリッタ７３１Ｒ（７３１Ｌ）に進入する。ビーム・スプリッタ７３１Ｒ（７３１Ｌ）は、この態様では、受光した光の第１の部分を反射し、受光した光の第２の部分を反射ユニット５４０Ｒ（５４０Ｌ）まで通過させるようなコーティングされた第１の面として実装される。
コーティングされた第１の面７３１Ｒ（７３１Ｌ）によって反射された光は、プリズム・アセンブリ７３０Ｒ（７３０Ｌ）内の第２の面７３２Ｒ（７３２Ｌ）によって受光され、第２の面７３２Ｒ（７３２Ｌ）は、この光を、例えば反射するなどして、第１の画像取込みセンサ７１０Ｒ（７１０Ｌ）に向けて送る。表面７３２Ｒ（７３２Ｌ）は、コーティング面または内部全反射面のいずれかとすることができる。コーティングされた第１の面７３１Ｒ（７３１Ｌ）を透過した光は、反射ユニット５４０Ｒ（５４０Ｌ）の第３の面５４１Ｒ（５４１Ｌ）によって受光され、第３の面５４１Ｒ（５４１Ｌ）は、この光を、例えば反射するなどして、第２の画像取込みセンサ７１５Ｒ（７１５Ｌ）に向けて送る。
第２の面７３２Ｒ（７３２Ｌ）は、コーティングされた第１の面７３１Ｒ（７３１Ｌ）によって反射された光以外の光が第２の面７３２Ｒ（７３２Ｌ）に入射しないように位置決めされる。１つの態様では、コーティングされた第１の面７３１Ｒ（７３１Ｌ）への光の入射角は、４５度未満である。
１つの態様では、プリズム・アセンブリ７３０Ｒ（７３０Ｌ）および反射ユニット７４０Ｒ（７４０Ｌ）は、プリズム・アセンブリ７３０Ｒ（７３０Ｌ）を含むペンタプリズムを有するプリズム構造に含まれる。この態様では、このプリズム構造は、以下にさらに完全に述べるように、複数のノッチ・フィルタを含む埋込みコーティング面４３１Ｂを有するプリズム構造４６０（図４Ｂ）と等価である。したがって、プリズム構造４６０に関する記述が、この態様で使用されるプリズム構造にも当てはまる。
１つの態様では、コーティングされた第１の面７３１Ｒ（７３１Ｌ）によって反射される第１の部分は、受光した光に含まれる複数の色成分のうちの第１の選択された波長を含み、コーティングされた第１の面７３１Ｒ（７３１Ｌ）を透過する第２の部分は、受光した光に含まれる複数の色成分のうちの第２の選択された波長を含む。受光した光に含まれる複数の色成分のうちの第１の選択された波長は、受光した光に含まれる複数の色成分のうちの第２の選択された波長とは異なる。１つの態様では、コーティングされた第１の面７３１Ｒ（７３１Ｌ）は、複数のノッチ・フィルタを含む。これらのノッチ・フィルタが、受光した光を第１の部分と第２の部分とに分離する。
画像取込みセンサ７１０Ｒ（７１０Ｌ）および７１５Ｒ（７１５Ｌ）は、同一平面にある。１つの態様では、遮蔽体５７０Ｒ（５７０Ｌ）からコーティングされた第１の面７３１Ｒ（７３１Ｌ）および第２の面７３２Ｒ（７３２Ｌ）を経由して画像取込みセンサ７１０Ｒ（７１０Ｌ）に至る第１の光路長は、遮蔽体５７０Ｒ（５７０Ｌ）からコーティングされた第１の面７３１Ｒ（７３１Ｌ）および第３の面７４１Ｒ（７４１Ｌ）を経由して画像取込みセンサ７１５Ｒ（７１５Ｌ）に至る第２の光路長とほぼ等しい。この場合も、遮蔽体５７０Ｒ（５７０Ｌ）から始まる光路長の定義は例示であり、限定を目的としたものではない。光路長は、受光した光がプリズム・アセンブリ６３０Ｒ（６３０Ｌ）に進入するプリズム・アセンブリ７３０Ｒ（７３０Ｌ）の遠位面を基準にする、レンズ・アセンブリ７０１Ｒ（７０１Ｌ）内の最初の要素を基準にする、またはコーティングされた第１の面７３１Ｒ（７３１Ｌ）を基準にするなど、様々に定義することができる。
したがって、同一平面の画像取込みセンサ７１０Ｒ（７１０Ｌ）および７１５Ｒ（７１５Ｌ）は、共通の前端部光学構造を有し、各センサまでの光路長はほぼ同じである。第１の画像取込みセンサ７１０Ｒ（７１０Ｌ）は、センサ・アセンブリ７２０Ｒ（７２０Ｌ）が受光した光の第１の部分から画像を取り込む。第２の画像取込みセンサ７１５Ｒ（７１５Ｌ）は、受光した光の第２の部分から画像を取り込む。以下でさらに完全に述べるように、１つの態様では、画像取込みセンサ７１０Ｒ（７１０Ｌ）および７１５Ｒ（７１５Ｌ）はそれぞれ、標準的なカラー・フィルタ・アレイを有するカラー・センサである。別の態様では、これらのカラー・センサのうちの一方のカラー・フィルタ・アレイおよびセンサ機能は、内視鏡７０２が受光した光に基づいて選択される。
制御装置２６０は、画像取込みセンサ７１０Ｒ（７１０Ｌ）が取り込んだ第１の画像および画像取込みセンサ７１５Ｒ（７１５Ｌ）が取り込んだ第２の画像を処理し、立体視ディスプレイ２５１用の出力画像を生成する。制御装置２６０は、出力画像の各画素ごとにＮ色成分ベクトルを生成する。ここで、Ｎは３から６の範囲である。出力画像の画素の色成分ベクトルは、第１の画像中の対応する画素（または複数の画素の何らかの組合せ）の色成分ベクトル、および第２の画像中の対応する画素の色成分ベクトルから生成される。なお、出力画像の各画素は、画像取込みセンサが取り込んだシーン内の空間中のポイントを表していることに留意されたい。出力画像中の画素に対応する両取込み画像中の画素は、空間中の同じポイントを表す画素である。
色性能のエンハンス（６色成分照明）
第１の態様では、６色成分照明器７１０Ｂ（図７Ｂ）は、照明チャネル７０５（図７Ａ）に結合される。照明器７１０Ｂは、赤色成分Ｒ１、赤色成分Ｒ２、緑色成分Ｇ１、緑色成分Ｇ２、青色成分Ｂ１、および青色成分Ｂ２をそれぞれ生成する、６個のレーザ照明源７１０Ｂ１から７１０Ｂ６を含む。これらのレーザ照明源では、赤色成分Ｒ１およびＲ２、緑色成分Ｇ１およびＧ２、ならびに青色成分Ｂ１およびＢ２の波長は、従来の発光ダイオード型照明器では色成分ごとに約６０ナノメートル（ｎｍ）であるのに対して、通常２から５ｎｍの幅を有する。照明源７１０Ｂ１用のミラーおよび照明源７１０Ｂ２から７１０Ｂ６用のダイクロイック・ミラーを有する複数の照明源を備えた照明器の構成は既知であるので、本明細書ではこれ以上詳細に考慮しない。例えば、参照により本明細書に組み込む米国特許出願第１２／８５５９０５号（「デュアル・スペクトル蛍光を用いる外科手術用照明器」、２０１０年８月１３日出願）を参照されたい。
この態様では、プリズム・アセンブリ７３０Ｒ（７３０Ｌ）のコーティングされた第１の面７３１Ｒ（７３１Ｌ）は、複数のノッチ・フィルタを含む。第１のノッチ・フィルタは、受光した光の赤色成分Ｒ１を反射し、受光した光の赤色成分Ｒ２を透過させる。第２のノッチ・フィルタは、受光した光の緑色成分Ｇ１を反射し、受光した光の緑色成分Ｇ２を透過させる。第３のノッチ・フィルタは、受光した光の青色成分Ｂ１を反射し、受光した光の青色成分Ｂ２を透過させる。３つのノッチ・フィルタを使用するというのは、説明を容易にするためのものであり、３つの別個のフィルタに限定することを意図しているわけではない。この記述に鑑みて、当業者なら、ここで述べる反射特性および透過特性を有するノッチ・フィルタを実装することができる。コーティング設計でもノッチは実装される。例えば、米国ニューヨーク州ＲｏｃｈｅｓｔｅｒのＳｅｍｒｏｃｋ Ｐｒｏｄｕｃｔｓ社の「Ｓｔｏｐｌｉｎｅ」および「Ｑｕａｄ−Ｎｏｔｃｈ」の系列の製品を参照されたい。
したがって、コーティングされた第１の面７３１Ｒ（７３１Ｌ）は、受光した光の赤色成分Ｒ１、受光した光の緑色成分Ｇ１、および受光した光の青色成分Ｂ１を、第２の面７３２Ｒ（７３２Ｌ）に反射する。第２の面７３２Ｒ（７３２Ｌ）は、コーティングされた第１の面７３１Ｒ（７３１Ｌ）から受光した赤色成分Ｒ１、緑色成分Ｇ１および青色成分Ｂ１を、画像取込みセンサ７１０Ｒ（７１０Ｌ）に反射する。
コーティングされた第１の面７３１Ｒ（７３１Ｌ）は、受光した光の赤色成分Ｒ２、受光した光の緑色成分Ｇ２、および受光した光の青色成分Ｂ２を、反射ユニット５４０Ｒ（５４０Ｌ）内の第３の面５４１Ｒ（５４１Ｌ）まで透過させる。第３の面５４１Ｒ（５４１Ｌ）は、コーティングされた第１の面７３１Ｒ（７３１Ｌ）から受光した赤色成分Ｒ２、緑色成分Ｇ２および青色成分Ｂ２を、画像取込みセンサ７１５Ｒ（７１５Ｌ）に反射する。
画像取込みセンサ７１０Ｒ（７１０Ｌ）および７１５Ｒ（７１５Ｌ）はそれぞれ、この態様では、カラー・フィルタ・アレイを有するカラー・センサである。カラー・フィルタ・アレイは、赤／緑／緑／青（ＲＧＧＢ）のベイヤー・カラー・フィルタ・アレイである。したがって、２つのベイヤー・パターン画像取込みセンサが、同じシーンで同じ光学素子を透かし見ている。ここで、ベイヤー・パターン画像取込みセンサは、ベイヤー・カラー・フィルタ・アレイを含む単一のチップ・センサ、または単一のチップの一部である。上述のように、同一平面の画像取込みセンサ７１０Ｒ（７１０Ｌ）および７１５Ｒ（７１５Ｌ）は、共通の前端部光学構造を有し、各センサまでの光路長がほぼ同じである。
プリズム・アセンブリ７３０Ｒ（７３０Ｌ）および反射ユニット５４０Ｒ（５４０Ｌ）が、両ベイヤー・パターン画像取込みセンサ７１０Ｒ（７１０Ｌ）および７１５Ｒ（７１５Ｌ）によって取り込まれたカラー画像が同じシーンになるように構成されるときには、画像取込みセンサ７１０Ｒ（７１０Ｌ）が取り込むカラー画像は、画像取込みセンサ７１５Ｒ（７１５Ｌ）が取り込むカラー画像と同じフル解像度を有する。したがって、そのシーン内の空間中の各ポイントは、異なる３色成分ベクトルをそれぞれ有する２つの画素で表される。センサ・アセンブリ７２０Ｒ（７２０Ｌ）と、したがって画像取込みユニット７２５Ｒ（７２５Ｌ）とは、光または空間解像度の損失を生じることなく、６つの原色成分を有するフル解像度画像を取得している。
中央制御装置２６０内のデュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）から立体視ディスプレイ２５１に出力される各画素の色成分ベクトルは、その画素の６つの原色成分から導出される。これにより、解像度の損失を生じることなく、例えば各画素について４要素ベクトルで立体視ディスプレイを駆動することが可能になる。デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）は、２つの取り込まれた画像をサンプリングし、色補正行列を適用して、立体視ディスプレイ２５１が必要とする画素ベクトルを生成する。
立体視ディスプレイ２５１に送信される色成分ベクトルは、シーンのスペクトルの内容をより正確に表現するために、４つ以上の色成分を有することもできる。実際の使用に際しては、色ベクトルと呼ばれることもある色成分ベクトルで使用される色成分の数は、ディスプレイで使用される色成分の数と一致する。Ｓｈａｒｐ社は、５色成分のディスプレイも発表している。
別の態様では、例えば、蛍光を励起したときに、その蛍光が可視スペクトル内にあることもあることに留意されたい。例えば、フルオレセインは、４９０ｎｍの青い光で励起して、主に５２０ｎｍから５３０ｎｍの範囲で蛍光を発することができる。したがって、この態様では、例えば４９０ｎｍの励起レーザ・モジュールからの反射照明の透過を阻止する色フィルタが、コーティングされた第１の面７３１Ｒ（７３１Ｌ）に含まれる。青色波長のノッチ・フィルタは、フルオレセインによる蛍光が画像取込みセンサ７１５Ｒ（７１５Ｌ）まで通過するように、色成分Ｂ１を反射し、その他の青色波長は通過させるように構成される。赤および緑の色成分のノッチ・フィルタおよび照明器の照明構成要素は、反射された色成分Ｒ１、Ｂ１およびＧ１が第１の画像取込みセンサ７１０Ｒ（７１０Ｌ）によって取り込まれるように選択される。残りの色は、第２の画像取込みセンサ７１５Ｒ（７１５Ｌ）に送られる。なお、励起レーザ成分Ｂ１は、第１の画像取込みセンサ７１０Ｒ（７１０Ｌ）の青画素を飽和させることがあるが、これは、フルオレセインによる蛍光が第２の画像取込みセンサ７１５Ｒ（７１５Ｌ）によって取り込まれるので許容可能であることに留意されたい。
別の態様では、制御装置２６０内のデュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）の色補正モジュール２４１Ｒ（２４１Ｌ）は、第１の画像の３つの色画素と、第２の画像の３つの色画素とを使用して、Ｓｈａｒｐ製５色ディスプレイの５色成分出力ベクトル、例えば赤／赤の補色／黄／緑／青（ＲＲ’ＹＧＢ）色成分を生成する。色補正行列は、６要素の取得色空間からディスプレイの５要素の色空間への所望のマッピングを行うように設定される。
さらに詳細には、中央制御装置２６０内のデュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）の色補正モジュール２４１Ｒ（２４１Ｌ）は、第１および第２の画像取込みセンサ７１０Ｒ（７１０Ｌ）および７１５Ｒ（７１５Ｌ）に結合される。カメラ制御ユニット２３０Ｒ（２３０Ｌ）は、第１の画像取込みセンサ７１０Ｒ（７１０Ｌ）が取り込んだ第１の画像をモザイク解除処理し、第２の画像取込みセンサ７１５Ｒ（７１５Ｌ）が取り込んだ第２の画像をモザイク解除処理する。モザイク解除処理された画像の各画素は、３要素色ベクトルを有する。色補正モジュール２４１Ｒ（２４１Ｌ）は、この２つのモザイク解除処理された画像を受け取る。２つのモザイク解除処理された画像からの３要素色ベクトルを結合して、各画素ごとにＮ要素色成分ベクトルを生成する。ここで、Ｎは３以上であり、この例では６である。次いで、色補正モジュール２４１Ｒ（２４１Ｌ）の色補正行列が、出力画像の画素のＭ要素色成分ベクトルを、それに対応する画素のＮ要素色成分ベクトルから生成する。なお、Ｍが３であるときには、２つの取り込んだ画像を利用して解像度などを高める上述のプロセスも適用することができることに留意されたい。
色性能のエンハンス（白色広帯域照明）
第２の態様では、白色広帯域照明器７１０Ｃ（図７Ｃ）は、照明チャネル７０５（図７Ａ）に結合される。１つの例では、照明器７１０Ｃは、楕円形の背面反射器および帯域フィルタ・コーティングを有するキセノン・ランプ７１０Ｃ１を使用して、赤外線成分をほとんど含まない広帯域の白色照明光を生成する。キセノン・ランプを使用することは単なる例示であり、限定を目的としたものではない。例えば、高圧水銀アーク・ランプ、その他のアーク・ランプ、またはその他の広帯域光源を使用することができる。
この態様では、プリズム・アセンブリ７３０Ｒ（７３０Ｌ）のコーティングされた第１の面７３１Ｒ（７３１Ｌ）は、複数のノッチ・フィルタを含むフィルタ７９０Ｆ（図７Ｆ）を有する。第１のノッチ・フィルタ７９１Ｆは、受光した光の赤色成分Ｒの第１の部分Ｒ１を反射し、受光した光の赤色成分Ｒの第１の部分Ｒ１の補色Ｒ１’を透過させる。第２のノッチ・フィルタ７９２Ｆは、受光した光の緑色成分Ｇの第１の部分Ｇ１を反射し、受光した光の緑色成分Ｇの第１の部分Ｇ１の補色Ｇ１’を透過させる。第３のノッチ・フィルタ７９３Ｆは、受光した光の青色成分Ｂの第１の部分Ｂ１を反射し、受光した光の青色成分Ｂの第１の部分Ｂ１の補色Ｂ１’を透過させる。３つのノッチ・フィルタを使用するというのは、説明を容易にするためのものであり、３つの別個のフィルタに限定することを意図しているわけではない。３つの別個のノッチ・フィルタは、本明細書に記載する反射特性および透過特性を有する１つのマルチ・ノッチ・フィルタとみなすこともできる。
したがって、コーティングされた第１の面７３１Ｒ（７３１Ｌ）は、受光した光の赤色成分Ｒ１、受光した光の緑色成分Ｇ１、および受光した光の青色成分Ｂ１を、第２の面７３２Ｒ（７３２Ｌ）に反射する。第２の表面７３２Ｒ（７３２Ｌ）のコーティング表面は、コーティングされた第１の面７３１Ｒ（７３１Ｌ）から受光した全ての波長を、画像取込みセンサ７１０Ｒ（７１０Ｌ）に反射する。
コーティングされた第１の面７３１Ｒ（７３１Ｌ）は、受光した光の赤色成分Ｒ１’、受光した光の緑色成分Ｇ１’、および受光した光の青色成分Ｂ１’を、反射ユニット５４０Ｒ（５４０Ｌ）内の第３の面５４１Ｒ（５４１Ｌ）まで透過させる。第３の面５４１Ｒ（５４１Ｌ）のコーティング面は、コーティングされた第１の面７３１Ｒ（７３１Ｌ）から受光した全ての波長を、画像取込みセンサ７１５Ｒ（７１５Ｌ）に反射する。
画像取込みセンサ７１０Ｒ（７１０Ｌ）および７１５Ｒ（７１５Ｌ）はそれぞれ、この態様では、カラー・フィルタ・アレイを有するカラー・センサである。カラー・フィルタ・アレイは、ＲＧＧＢのベイヤー・カラー・フィルタ・アレイである。したがって、２つのベイヤー・パターン画像取込みセンサが、同じシーンで同じ光学素子を透かし見ている。ここで、ベイヤー・パターン画像取込みセンサは、ベイヤー・カラー・フィルタ・アレイを含む単一のチップ・センサ、または単一のチップの一部である。上述のように、同一平面の画像取込みセンサ７１０Ｒ（７１０Ｌ）および７１５Ｒ（７１５Ｌ）は、共通の前端部光学構造を有し、各センサまでの光路長がほぼ同じである。
プリズム・アセンブリ７３０Ｒ（７３０Ｌ）および反射ユニット５４０Ｒ（５４０Ｌ）が、両ベイヤー・パターン画像取込みセンサ７１０Ｒ（７１０Ｌ）および７１５Ｒ（７１５Ｌ）によって取り込まれたカラー画像が同じシーンになるように構成されるときには、画像取込みセンサ７１０Ｒ（７１０Ｌ）が取り込むカラー画像は、画像取込みセンサ７１５Ｒ（７１５Ｌ）が取り込むカラー画像と同じフル解像度を有する。したがって、そのシーン内の空間中の各ポイントは、異なる３色成分ベクトルをそれぞれ有する２つの画素で表される。したがって、センサ・アセンブリ７２０Ｒ（７２０Ｌ）は、ノッチ・フィルタによる光の損失を生じることなく、画素あたり６つの原色成分（第１の取り込まれた画像から３つ、第２の取り込まれた画像から３つ）を有するフル解像度画像を取得している。
中央制御装置２６０内のデュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）から立体視ディスプレイ２５１への各出力画素の色成分ベクトルは、その画素の６つの原色成分から導出される。これにより、解像度の損失を生じることなく、例えば各画素ごとに４要素色ベクトルを用いて立体視ディスプレイを駆動することが可能になる。デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）は、２つの画像をサンプリングし、色補正行列を適用して、立体視ディスプレイ２５１が必要とする画素ベクトルを生成する。
この態様では、コーティングされた第１の面７３１Ｒ（７３１Ｌ）のコーティング（ノッチ・フィルタ）は、色分離を選択する柔軟性を提供する。コーティングされた第１の面７３１Ｒ（７３１Ｌ）の色分離は、当然のことながら、画素のＲＧＧＢパターンによって倍加される。したがって、コーティングされた第１の面７３１Ｒ（７３１Ｌ）が例えば黄色を分離する場合には、これにより緑および赤の画素の両方が励起され、次いでこれが撮像パイプラインの色補正行列プロセスで回復されることが予想される。同様に、コーティングされた第１の面は、例えば、蛍光スペクトルの青色波長は通過させるが、その他の全ての青色の波長は反射するように構成することができる。
上述のように、色補正行列は、画素ごとに６要素ベクトル（画像取込みセンサ７１０Ｒ（７１０Ｌ）が取り込んだ第１の画像の対応する画素の３色成分ベクトルに、画像取込みセンサ７１５Ｒが取り込んだ第２の画像の対応する画素の３色成分ベクトルを足したもの）に作用して、ディスプレイと同じ数の色成分（「通常の」ＬＣＤでは、赤／緑／青（ＲＧＢ）色成分、Ｓｈａｒｐ製色ディスプレイでは、赤／赤の補色／黄／緑／青（ＲＲ’ＹＧＢ）色成分）を有する出力色成分ベクトルを生成する。
さらに詳細には、中央制御装置２６０内のデュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）の色補正モジュール２４１Ｒ（２４１Ｌ）は、第１および第２の画像取込みセンサ７１０Ｒ（７１０Ｌ）および７１５Ｒ（７１５Ｌ）に結合される。カメラ制御ユニット２３０Ｒ（２３０Ｌ）は、第１の画像取込みセンサ７１０Ｒ（７１０Ｌ）が取り込んだ第１の画像をモザイク解除処理し、各画素ごとにＮ要素色ベクトルを生成する。ここで、Ｎは、通常は３である。カメラ制御ユニット２３０Ｒ（２３０Ｌ）は、同様に、第２の画像取込みセンサ７１５Ｒ（７１５Ｌ）が取り込んだ第２の画像もモザイク解除処理して画素にする。ここで、各画素は、第２のＮ要素色ベクトルによって表される。次いで、デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）が、この２つのＮ要素色ベクトルを、色補正モジュール２４１Ｒ（２４１Ｌ）によって２Ｎ（通常は６）色ベクトルとして処理して、所望の数の色成分を有する出力色ベクトルを各画素ごとに生成する。通常の液晶ディスプレイ用の出力色ベクトルは、３つの色成分を有する。５原色のＳｈａｒｐ製ディスプレイでは、出力色ベクトルは、５要素色ベクトルとなる。個々の色補正行列は、何らかのメトリックによる最良の色性能を達成するための最適化に基づいて選択される。このメトリックは、例えば、何らかの組織の種類の組についてキセノン照明を用いて人間の観察者が見る色と一致することができる。
色性能のエンハンス（白色広帯域照明および被写界深度のエンハンス）
第３の態様では、照明器７１０Ｃ（図７Ｃ）は、照明チャネル７０５（図７Ａ）に結合される。照明器７１０Ｃは、上述したものと同じであるので、ここで同じ説明を繰り返すことはしない。したがって、シーンは、照明器７１０Ｃからの広帯域白色光によって照明される。
上述のように、組織７０３からの反射光は、レンズ素子７０４Ｒ（７０４Ｌ）および遮蔽体５７０Ｒ（５７０Ｌ）を通過する。この態様では、レンズ素子７０４Ｒ（７０４Ｌ）は、図７Ａに関連するその他の態様について上記で考慮したレンズ素子とは異なる。他の態様では、レンズ素子７０４Ｒ（７０４Ｌ）は、様々な色成分がほぼ同じ平面上に合焦するように、縦色収差を補償するように設計される。この態様では、レンズ素子７０４Ｒ（７０４Ｌ）は、縦色収差を補償しない。その代わりに、レンズ素子７０４Ｒ（７０４Ｌ）は、異なる波長の光をレンズから異なる距離のところに合焦させるように設計される、すなわち、有意な制御された量の縦色(longitudinal color)を有するように設計される。例えば、レンズ・アセンブリ４０１Ｂ（図４Ｂ）内のレンズ群４８２および４８４は、有意な制御された量の縦色を有するように設計される。このようなレンズ群は、当業者には既知であるので、ここではこれ以上詳細には考慮しない。
この態様では、プリズム・アセンブリ７３０Ｒ（７３０Ｌ）のコーティングされた第１の面７３１Ｒ（７３１Ｌ）は、上述のフィルタ７９０Ｆ（図７Ｆ）を含む。繰り返しを避けるために、フィルタ７９０Ｆに関する上記の説明をここで繰り返すことはしない。
したがって、コーティングされた第１の面７３１Ｒ（７３１Ｌ）は、受光した光の赤色成分Ｒ１、受光した光の緑色成分Ｇ１、および受光した光の青色成分Ｂ１を、第２の面７３２Ｒ（７３２Ｌ）に反射する。第２の面７３２Ｒ（７３２Ｌ）のコーティング面は、コーティングされた第１の面７３１Ｒ（７３１Ｌ）から受光した全ての波長を、画像取込みセンサ７１０Ｒ（７１０Ｌ）に反射する。
コーティングされた第１の面７３１Ｒ（７３１Ｌ）は、受光した光の赤色成分Ｒ１’、受光した光の緑色成分Ｇ１’、および受光した光の青色成分Ｂ１’を、反射ユニット５４０Ｒ（５４０Ｌ）内の第３の面５４１Ｒ（５４１Ｌ）まで透過させる。第３の面５４１Ｒ（５４１Ｌ）のコーティング面は、コーティングされた第１の面７３１Ｒ（７３１Ｌ）から受光した全ての波長を、画像取込みセンサ７１５Ｒ（７１５Ｌ）に反射する。
この場合も、画像取込みセンサ７１０Ｒ（７１０Ｌ）および７１５Ｒ（７１５Ｌ）はそれぞれ、この態様では、カラー・フィルタ・アレイを有するカラー・センサである。カラー・フィルタ・アレイは、ＲＧＧＢのベイヤー・カラー・フィルタ・アレイである。したがって、２つのベイヤー・パターン画像取込みセンサが、同じシーンで同じ光学素子を透かし見ている。ここで、ベイヤー・パターン画像取込みセンサは、ベイヤー・カラー・フィルタ・アレイを含む単一のチップ・センサ、または単一のチップの一部である。上述のように、同一平面の画像取込みセンサ７１０Ｒ（７１０Ｌ）および７１５Ｒ（７１５Ｌ）は、共通の前端部光学構造を有し、各センサまでの光路長がほぼ同じである。
プリズム・アセンブリ７３０Ｒ（７３０Ｌ）および反射ユニット５４０Ｒ（５４０Ｌ）が、両ベイヤー・パターン画像取込みセンサ７１０Ｒ（７１０Ｌ）および７１５Ｒ（７１５Ｌ）によって取り込まれたカラー画像が同じシーンになるように構成されるときには、画像取込みセンサ７１０Ｒ（７１０Ｌ）が取り込むカラー画像は、画像取込みセンサ７１５Ｒ（７１５Ｌ）が取り込むカラー画像と同じフル解像度を有する。したがって、そのシーン内の空間中の各ポイントは、異なる３要素ベクトルをそれぞれ有する２つの画素で表される。したがって、センサ・アセンブリ７２０Ｒ（７２０Ｌ）は、ノッチ・フィルタによる光の損失を生じることなく、空間中の各ポイントごとに６つの原色成分（第１の取り込まれた画像から３つ、第２の取り込まれた画像から３つ）を有するフル解像度画像を取得している。ただし、縦色により、これらの取り込まれた画像は、取得した６つの原色それぞれが異なる量だけ不鮮明である。
したがって、この態様では、デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）は、第１および第２の画像それぞれについてデジタル・フィルタ・カーネルを有する。デジタル・フィルタ・カーネルは、既知の縦色収差に基づいて取り込んだ画像を処理して、画像の鮮鋭度および焦点をエンハンスする、すなわち第３および第４の画像を生成する。第３および第４の画像を、モザイク解除処理する。その結果得られたモザイク解除処理された第３の画像および第４の画像はそれぞれ、レンズ・アセンブリから一定の距離範囲のところで合焦させ、従来の全ての色成分を合焦させるレンズ設計で得られる被写界深度より大きな被写界深度を有する画像が得ることができる。デジタル・フィルタ・カーネルは、当業者には既知である。この手法は、波長に対して平滑な反射率曲線を有する表面でうまく機能するが、これはほとんどの組織に当てはまる。
中央制御装置２６０内のデュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）から立体視ディスプレイ２５１への各出力画素のベクトルは、モザイク解除処理された第３および第４の画像の画素の６つの原色成分から導出される。デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）は、デジタル・フィルタ・カーネルによって作成された第３の画像および第４の画像をサンプリングし、色補正行列を適用して、立体視ディスプレイ２５１が必要とする画素ベクトルを生成する。その結果得られた結合画像は、従来のレンズ系で得られる画像より場合によっては３倍大きい被写界深度を有する。
色性能のエンハンス（３色成分照明および蛍光）
第４の態様では、照明器７１０Ｄ（図７Ｄ）は、照明チャネル７０５（図７Ａ）に結合される。照明器７１０Ｄは、赤色成分Ｒ１、緑色成分Ｇ１および青色成分Ｂ１をそれぞれ生成する、３つのレーザ照明源７１０Ｄ１から７１０Ｄ３を含む。本明細書では、３つのレーザ照明源７１０Ｄ１から７１０Ｄ３を３つのレーザ照明モジュールと呼ぶこともある。複数の異なる照明源、照明源７１０Ｄ１用のミラーならびに照明源７１０Ｄ２および７１０Ｄ３用のダイクロイック・ミラーを有する照明器の構成は、既知である。これらのレーザ照明源では、赤色成分Ｒ１、緑色成分Ｇ１および青色成分Ｂ１の波長は、従来の発光ダイオード型照明器では色成分ごとに約６０ｎｍであるのに対して、通常２から５ナノメートル（ｎｍ）の幅を有する。
赤色レーザ、緑色レーザおよび青色レーザからの光は、組織７０３で反射される。反射された色成分Ｒ１、Ｇ１およびＢ１の強度は、組織の反射率関数によって変調される。照明器７１０Ｄからの３つの反射色成分に加えて、組織７０３が他の光を発することもある。例えば、これらのレーザのうちの１つの光が、蛍光を励起することがある。例えば、スペクトル７９５Ｇ（図７Ｇ）を参照されたい。３つのピークは、組織７０３で反射された、照明器７１０Ｄの赤色レーザ、緑色レーザおよび青色レーザからの光である。このスペクトルの赤領域の比較的小さい幅広のピークが、蛍光である。スペクトル７９５Ｇは、内視鏡７０２に進入する光の視覚化を補助するために示されるものであり、いかなる実際のデータも表してはいない。
センサ・アセンブリ７２０Ｒ（７２０Ｌ）は、第１の画像取込みセンサ７１０Ｒ（７１０Ｌ）によるカラー画像の取込みを可能にし、そのカラー画像と関連のない全ての光を第２の画像取込みセンサ７１５Ｒ（７１５Ｌ）に転送できるようにする。したがって、以下でさらに完全に説明するように、センサ・アセンブリ７２０Ｒ（７２０Ｌ）は、可視または近赤外線領域のほぼ全ての波長で蛍光を実時間で撮像することも可能にし、組織の自然蛍光の撮像も可能にする。
蛍光マーカを、近赤外線スペクトルの波長を発するような照明器７１０Ｅ内のレーザ７１０Ｅ４などの狭帯域源で刺激することもできる。ただし、この蛍光発光スペクトルは、ある範囲の波長である。蛍光発光スペクトルの形状は、蛍光の励起波長の範囲内の励起波長にそれほど依存しない。
したがって、１つの態様では、蛍光は、照明器７１０Ｅ内のレーザ・モジュール７１０Ｅ４からの光によってトリガされる。一例として、Ｍｅｄａｒｅｘ社製の抗体剤を、５２５ｎｍレーザを用いて励起した。別の態様では、照明器７１０Ｄは、赤色成分Ｒ１、緑色成分Ｇ１および青色成分Ｂ１を生成する３つのレーザ・モジュールに加えて、１つまたは複数の光モジュールを含む。追加の光モジュールの数およびタイプは、関心のある１つまたは複数の蛍光の蛍光励起波長に基づいて選択される。
複合光源２１０用に選択される特定の蛍光励起源は、使用する１つまたは複数の蛍光物質によって決まる。生体内で使用される様々なＦＤＡ承認蛍光色素の励起極大および発光極大を、表１に示す。
Figure 2017148657
表２は、生物系で使用される一般的な蛍光蛋白質の例を示す表である。
Figure 2017148657
当業者なら、蛍光物質が、患者の特定の組織と結び付く作用物質と結合することができることは分かる。特定の蛍光物質を選択したとき、照明器７１０Ｄ内の３つの可視色成分レーザ・モジュールのうちの１つが必要な励起波長を供給しない場合には、別のレーザ・モジュール７１０Ｅ４を照明器７１０Ｄに追加して、その蛍光物質の励起極大波長を有する光を供給する照明器７１０Ｅを得ることができる。したがって、関心のある１つまたは複数の蛍光物質および使用する異なる蛍光物質の数が与えられれば、適当な光源を照明器７１０Ｄに含めて、そのシーンのカラー画像の照明を行い、蛍光を励起することができる。
上記の表１および２の例は、単なる例示であり、記載した具体的な例にこの態様を限定することを意図したものではない。本開示に鑑みて、組織の代替の撮像特性を選択して、利用する蛍光に基づいて適当な光源を選択することができる。
この態様では、プリズム・アセンブリ７３０Ｒ（７３０Ｌ）のコーティングされた第１の面７３１Ｒ（７３１Ｌ）、すなわちビーム・スプリッタは、複数のノッチ・フィルタを含むフィルタ７９０Ｈ（図７Ｈ）を有する。第１のノッチ・フィルタ７９１Ｈは、受光した光の赤色成分Ｒ１を反射し、受光した光の赤色成分Ｒの他の波長を透過させる。第２のノッチ・フィルタ７９２Ｈは、受光した光の緑色成分Ｇ１を反射し、受光した光の緑色成分Ｇの他の波長を透過させる。第３のノッチ・フィルタ７９３Ｈは、受光した光の青色成分Ｂ１を反射し、受光した光の青色成分Ｂの他の波長を透過させる。３つのノッチ・フィルタを使用するというのは、説明を容易にするためのものであり、３つの別個のフィルタに限定することを意図しているわけではない。３つの別個のノッチ・フィルタは、本明細書に記載する反射特性および透過特性を有する１つのマルチ・ノッチ・フィルタとみなすこともできる。
したがって、コーティングされた第１の面７３１Ｒ（７３１Ｌ）は、受光した光の赤色成分Ｒ１、受光した光の緑色成分Ｇ１、および受光した光の青色成分Ｂ１を、第２の面７３２Ｒ（７３２Ｌ）に反射する。第２の面７３２Ｒ（７３２Ｌ）は、コーティング面７３１Ｒ（７３１Ｌ）から受光した全ての波長を、画像取込みセンサ７１０Ｒ（７１０Ｌ）に反射する。
コーティングされた第１の面７３１Ｒ（７３１Ｌ）は、受光した光の赤色成分Ｒ１以外の赤色光、受光した光の緑色成分Ｇ１以外の緑色光、および受光した光の青色成分Ｂ１以外の青色光を、反射ユニット５４０Ｒ（５４０Ｌ）内の第３の面５４１Ｒ（５４１Ｌ）まで透過させる。第３の面５４１Ｒ（５４１Ｌ）は、コーティング面７３１Ｒ（７３１Ｌ）から受光した全ての波長を、画像取込みセンサ７１５Ｒ（７１５Ｌ）に反射する。
このように、画像取込みセンサ７１０Ｒ（７１０Ｌ）は、レーザ照明されたシーンのＲＧＢ画像を取得する。これはカラー画像である。残りの全ての光は、画像取込みセンサ７１５Ｒ（７１５Ｌ）上に反射される。この光は、照明以外の光源からの光であるはずである。例えば、組織による自然蛍光がある場合、その蛍光は、画像取込みセンサ７１５Ｒ（７１５Ｌ）によって取り込まれる。画像取込みセンサ７１５Ｒ（７１５Ｌ）がカラー画像取込みセンサである場合には、蛍光は、任意の色を持つことができ、画像取込みセンサ７１５Ｒ（７１５Ｌ）にカラーで撮像される。コーティングされた第１の面７３１Ｒ（７３１Ｌ）のノッチ・フィルタにより、若干の蛍光の損失があることもある。この態様では、画像取込みセンサ７１０Ｒ（７１０Ｌ）は、カラー・フィルタ・アレイを有するカラー・センサである。カラー・フィルタ・アレイは、ＲＧＧＢのベイヤー・カラー・フィルタ・アレイである。
画像取込みセンサ７１５Ｒ（７１５Ｌ）として選択される画像取込みセンサの種類は、画像取込みセンサ７１５Ｒ（７１５Ｌ）が取り込むその他の光の特性によって決まる。画像取込みセンサ７１５Ｒ（７１５Ｌ）の利得およびその他のパラメータは、画像取込みセンサ７１５Ｒ（７１５Ｌ）が可能な限り最良の画像を取得するように、画像取込みセンサ７１０Ｒ（７１０Ｌ）とは無関係にすることができる。
１つの蛍光スペクトルが関心の対象である場合、または異なる蛍光スペクトルの識別には関心がない場合には、画像取込みセンサ７１５Ｒ（７１５Ｌ）は、モノクロ・センサでもよい。あるいは、例えば赤波長の蛍光スペクトルおよび緑波長の蛍光スペクトルなど、複数色の蛍光スペクトルが関心の対象である場合には、画像取込みセンサ７１５Ｒ（７１５Ｌ）は、ベイヤー・カラー・フィルタ・アレイを有するカラー画像取込みセンサとすればよい。
モノクロ画像取込みセンサでは、解像度および集光の点で利点がある。カラー画像取込みセンサは、受光した光の１つまたは複数の波長について与える情報が多い。
画像取込みセンサ７１５Ｒ（７１５Ｌ）の実施態様に関わらず、２つの画像取込みセンサが、同じシーンで同じ光学素子を透かし見ている。上述のように、同一平面の画像取込みセンサ７１０Ｒ（７１０Ｌ）および７１５Ｒ（７１５Ｌ）は、共通の前端部光学構造を有し、各センサまでの光路長がほぼ同じである。
レーザ照明の反射光ではない光で、画像取込みセンサ７１０Ｒ（７１０Ｌ）まで進む光が少量あったとしても、それは、レーザ照明の反射光より少ない。画像取込みセンサ７１０Ｒ（７１０Ｌ）および７１５Ｒ（７１５Ｌ）によって取り込まれる画像のスペクトル応答が広く、位置合わせが良好であると仮定すれば、デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）は、画像取込みセンサ７１５Ｒ（７１５Ｌ）が取り込んだ画像を用いて、画像取込みセンサ７１０Ｒ（７１０Ｌ）が取り込んだ画像を補正することができる。
波長Ｒ１、Ｇ１およびＢ１を有する光を生成するような照明器７１０Ｄ内の照明モジュール以外の照明モジュールからの励起波長によって蛍光が励起される場合には、例えば遮蔽体５７０Ｒ（５７０Ｌ）とセンサ・アセンブリ７２０Ｒ（７２０Ｌ）との間の画像取込みユニットの撮像経路内に、励起阻止ノッチ・フィルタが必要である。蛍光の励起波長に関わりなく、蛍光は、可視スペクトル内とすることができ、画像取込みセンサ７１５Ｒ（７１５Ｌ）上で撮像することができる。必要に応じて、複数の蛍光を同時に撮像することもでき、発光スペクトルが、画像取込みセンサ７１５Ｒ（７１５Ｌ）上で異なる色を励起する。
デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）の構成は、第２の画像取込みセンサ７１５Ｒ（７１５Ｌ）がカラー画像取込みセンサであるかモノクロ画像取込みセンサであるかによって決まる。両画像取込みセンサがカラー・センサである場合には、上述のように、ＣＣＵ２３０Ｒ（２３０Ｌ）が２つの取り込まれた画像をモザイク解除処理し、制御装置２６０が出力画像の各画素ごとにＮ要素色成分ベクトルを生成する。Ｎ要素色成分ベクトルの色成分のうち３つは、カラー画像を表し、残りの色成分は、蛍光を表す。第２の画像取込みセンサがモノクロである場合には、第２の取り込まれた画像のモザイク解除処理は不要である。
このように、第２の画像取込みセンサ７１５Ｒ（７１５Ｌ）の実施態様に関わらず、制御装置２６０は、出力画像の画素について、少なくとも４要素色成分ベクトルを、第１の画像中のそれに対応する画素の色成分ベクトルおよび第２の画像中のそれに対応する画素の色成分ベクトルから生成するように構成する。４要素色成分ベクトルの要素のうち３つは、可視カラー画像のものであり、４要素色成分ベクトルの第４の要素は、蛍光画像のものである。
図７Ａの態様および図７Ａに関連して上述した各例では、立体視チャネルの画像取込みセンサは、同一平面にある。これは単なる例示であり、限定を目的としたものではない。例えば、これらの画像取込みセンサのうちの第１の画像取込みセンサが、第１の平面内にセンサ上面を有し、これらの画像取込みセンサのうちの第２の画像取込みセンサが、第２の平面内にセンサ上面を有してもよい。第１の平面と第２の平面は互いに平行であり、既知の距離だけ離間している（図９参照）。ビーム・スプリッタと反射ユニット内の反射面との間の間隔を調節して、第１の画像取込みセンサまでの第１の光路長が第２の画像取込みセンサまでの第２の光路長とほぼ等しくなるように、上記の既知の距離を補償する。したがって、２つの光路長はほぼ等しいままであるので、上述の図７Ａの各態様は、そのままこの構成に適用可能である。
被写界深度の拡大
外科手術内視鏡では、可能な限り鮮鋭で明るい画像を執刀医に提供することが望ましい。そのためには、可能な限り大きな開口を有するレンズ設計が必要である。開口が大きくなるほど、形成される画像が（センサの限界内で）鮮鋭になり、通過する光が増えるので画像が明るくなる（信号対雑音比が向上する）。ただし、開口が大きくなると被写界深度が浅くなるという交換条件がある。執刀医は、カメラから様々な距離のところにある複数のものを見るときに撮像システムの焦点を制御しなければならなくなることを避けるために、大きな被写界深度を有する画像を好む。したがって、執刀医にとっては、大きな開口の鮮鋭度および輝度と、大きく改善された被写界深度とを有する画像があれば好ましい。この目的を達成するために、画像取込みユニット８２５Ｌおよび８２５Ｒ（図８Ａ）はそれぞれ、異なる焦点で組織８０３の画像を取り込む。デュアル画像エンハンス・モジュール２４０Ｒ、２４０Ｌ（図２）は、取り込まれた画像を処理し、以前には実現できなかった被写界深度機能を執刀医に提供する。
例えば、１つの態様では、センサ・アセンブリ８２０Ｒ（８２０Ｌ）によって取り込まれた第１の画像８８１（図８Ｂ）は、第１の焦点を有する。センサ・アセンブリ８２０Ｒ（８２０Ｌ）によって取り込まれた第２の画像８８２（図８Ｃ）は、第２の焦点を有する。画像８８１では、画像の中央のフィーチャは、濃いはっきりした線で表すように焦点が合っている。画像８８１の左側および右側のフィーチャは、画像取込みユニット８２５Ｒ（８２５Ｌ）からさらに離れており、網掛けで表すように焦点が合っていない。画像８８２では、画像の中央のフィーチャは、網掛けで表すように焦点が合っていない。画像８８２の左側および右側のフィーチャは、濃いはっきりした線で表すように焦点が合っていない。
以下でさらに完全に説明するように、画像８８１および８８２の焦点が合っている部分を使用して、立体視ディスプレイ２５１（図８Ｄ）に送信する焦点の合った複合画像を生成する。これにより、画像８８１および８８２のいずれかで得られるより良好な被写界深度を有する画像が得られる。この手法のもう１つの利点は、画像８８１および８８２からの情報ならびに鮮鋭度メトリックを使用して、複数の仮想カメラの視点からの画像を生成し、これが立体視ディスプレイ２５１に送信されて表示される。これにより、執刀医は、内視鏡８０２を物理的に動かすことなく、わずかに異なる視点から組織８０３を見ることができる。
図８Ａは、画像取込みユニット８２５Ｌおよび８２５Ｒならびに照明器からの光を供給する照明チャネル８０５を備える立体視内視鏡８０２の遠位端部を示す概略図である。矢印８３５が示すように、遠位方向は、組織８０３に向かう方向であり、近位方向は、組織８０３から離れる方向である。
各画像取込みユニット８２５Ｒ、８２５Ｌは、レンズ・アセンブリ８０１Ｒ、８０１Ｌ、およびセンサ・アセンブリ８２０Ｒ、８２０Ｌを含む。センサ・アセンブリ８２０Ｒ、８２０Ｌは、レンズ・アセンブリ８０１Ｒ、８０１Ｌを通過した光を受光するように位置決めされる。各センサ・アセンブリ８２０Ｒ、８２０Ｌは、１つの態様では、プリズム・アセンブリ８３０Ｒ、８３０Ｌ、反射ユニット８４０Ｒ、８４０Ｌ、および同一平面画像取込みセンサ（８１０Ｒ、８１５Ｒ）、（８１０Ｌ、８１５Ｌ）を含む。ただし、図８Ａの構成を用いて説明する態様で、図９に示す構成を使用してもよい。立体視内視鏡８０２は、内視鏡８０２と呼ばれることもある。
以下の記述では、立体視内視鏡８０２の右チャネルの光路について述べる。内視鏡８０２の対称性により、立体視内視鏡８０２の左チャネルの光路は、右チャネルの光路と同じであるので、以下の記述では、左チャネルの参照番号を、右チャネルの要素の説明の後の括弧内に記載する。これは、その記述が左チャネルの対応する要素にも当てはまることを示している。また、説明する撮像処理は、連続的なビデオ・シーケンスがディスプレイに送られるように実時間で実行される。
組織８０３からの光は、レンズ・アセンブリ８０１Ｒ（８０１Ｌ）内のレンズ素子８０４Ｒ（８０４Ｌ）および遮蔽体８７０Ｒ（８７０Ｌ）を通過する。レンズ・アセンブリ４０１Ｂ（図４Ｂ）内の要素は、レンズ素子８０４Ｒ（８０４Ｌ）の例である。レンズ・アセンブリ８０１Ｒ（８０１Ｌ）を通過する光は、画像取込みユニット８２５Ｌ（８２５Ｒ）によって受光され、プリズム・アセンブリ８３０Ｒに進入する。プリズム・アセンブリ８３０Ｒ（８３０Ｌ）は、受光した光の第１の割合を反射するビーム・スプリッタ８３１Ｒ（８３１Ｌ）を含む。ビーム・スプリッタ８３１Ｒ（８３１Ｌ）は、受光した光の第２の割合をこのビームスプリッタ８３１Ｒ（８３１Ｌ）を通じて反射ユニット８４０Ｒ（８４０Ｌ）まで通過させる。
１つの態様では、ビーム・スプリッタ８３１Ｒ（８３１Ｌ）は、コーティングされた第１の面８３１Ｒ（８３１Ｌ）として実装される。コーティングされた第１の面８３１Ｒ（８３１Ｌ）によって反射された光は、第２の面８３２Ｒ（８３２Ｌ）によって受光され、第２の面８３２Ｒ（８３２Ｌ）は、この光を、例えば反射するなどして、第１の画像取込みセンサ８１０Ｒ（８１０Ｌ）に向けて送る。表面８３２Ｒ（８３２Ｌ）は、コーティング面または内部全反射面のいずれかとすることができる。コーティングされた第１の面８３１Ｒ（８３１Ｌ）を透過した光は、反射ユニット５４０Ｒ（５４０Ｌ）の第３の面５４１Ｒ（５４１Ｌ）によって受光され、第３の面５４１Ｒ（５４１Ｌ）は、この光を、例えば反射するなどして、第２の画像取込みセンサ８１５Ｒ（８１５Ｌ）に向けて送る。
第２の面８３２Ｒ（８３２Ｌ）は、コーティングされた第１の面８３１Ｒ（８３１Ｌ）によって反射された光以外の光が第２の面８３２Ｒ（８３２Ｌ）に入射しないように位置決めされる。１つの態様では、コーティング面８３１Ｒ（８３１Ｌ）に対する光の入射角は、４５度未満である。
１つの態様では、プリズム・アセンブリ８３０Ｒ（８３０Ｌ）および反射ユニット８４０Ｒ（８４０Ｌ）は、プリズム・アセンブリ８３０Ｒ（８３０Ｌ）を含むペンタプリズムを有するプリズム構造に含まれる。この態様のプリズム構造は、受光した光を第１の割合と第２の割合とに分割する埋込みコーティング面４３１Ｂを有するプリズム構造４６０（図４Ｂ）と等価である。したがって、プリズム構造４６０の説明が、この態様で使用されるプリズム構造にも当てはまる。
１つの態様では、第１の割合と第２の割合はほぼ等しい。別の態様では、第１の割合と第２の割合は異なる。したがって、プリズム・アセンブリ８３０Ｒ（８３０Ｌ）は、受光した光を２つの部分、すなわち（ｉ）第１の部分と呼ばれることもある受光した光の第１の割合と、（ｉｉ）第２の部分と呼ばれることもある受光した光の第２の割合とに分離するビーム・スプリッタ８３１Ｒ（８３１Ｌ）を含む。
画像取込みセンサ８１０Ｒ（８１０Ｌ）および８１５Ｒ（８１５Ｌ）は、同一平面にある。１つの態様では、遮蔽体８７０Ｒ（８７０Ｌ）からコーティングされた第１の面８３１Ｒ（８３１Ｌ）および第２の面８３２Ｒ（８３２Ｌ）を経由して画像取込みセンサ８１０Ｒ（８１０Ｌ）に至る第１の光路長は、第１の長さである。遮蔽体８７０Ｒ（８７０Ｌ）からコーティングされた第１の面８３１Ｒ（８３１Ｌ）およびアセンブリ８４０Ｒ（８４０Ｌ）内の第３の面８４１Ｒ（８４１Ｌ）を経由して画像取込みセンサ８１５Ｒ（８１５Ｌ）に至る第２の光路長は、第２の長さである。第１の長さと第２の長さは異なる、すなわちほぼ等しいとは言えない。この場合も、遮蔽体８７０Ｒ（８７０Ｌ）から開始する光路長の定義は例示であり、限定を目的としたものではない。これらの等しくない光路長は、受光した光がプリズム・アセンブリ８３０Ｒ（８３０Ｌ）に進入するプリズム・アセンブリ８３０Ｒ（８３０Ｌ）の遠位面を基準にする、レンズ・アセンブリ８０１Ｒ（８０１Ｌ）内の最初の要素を基準にする、またはコーティングされた第１の面８３１Ｒ（８３１Ｌ）を基準にするなど、様々に定義することができる。別の態様では、これらの異なる光路長は、２つの画像センサ領域に設けた屈折率の異なるガラス板またはその他の同様の手段を用いて実現することができる。
このように、同一平面の画像取込みセンサ８１０Ｒ（８１０Ｌ）および８１５Ｒ（８１５Ｌ）は、レンズ・アセンブリ８０１Ｒ（８０１Ｌ）内の前端部光学構造を通る光路長は共通であるが、センサ・アセンブリ８２０Ｒ（８２０Ｌ）内の各画像取込みセンサまでの光路長は異なる。第１の画像取込みセンサ８１０Ｒ（８１０Ｌ）は、センサ・アセンブリ８２０Ｒ（８２０Ｌ）が受光した光の第１の部分から画像を取り込む。第２の画像取込みセンサ８１５Ｒ（８１５Ｌ）は、センサ・アセンブリ８２０Ｒ（８２０Ｌ）が受光した光の第２の部分から画像を取り込む。
１つの態様では、画像取込みセンサ８１０Ｒ（８１０Ｌ）および８１５Ｒ（８１５Ｌ）はそれぞれ、カラー・フィルタ・アレイを有するカラー・センサである。別の態様では、これらのカラー・センサの１つからカラー・フィルタ・アレイが取り外され、そのセンサはモノクロ・センサとして機能する。モノクロ・センサを使用するときには、２つの画像の焦点が違いすぎない場合、例えば２つの画像が、それら２つの画像の鮮鋭度曲線８８５と８８６が交差する点の近傍で合焦している場合（図８Ｅ参照）には、モノクロ・センサが取り込んだ画像の鮮鋭度が、カラー画像に伝達される。
１つの態様では、プリズム・アセンブリ８３０Ｒ（８３０Ｌ）のコーティングされた第１の面８３１Ｒ（８３１Ｌ）は、プリズム・アセンブリ８３０Ｒ（８３０Ｌ）が受光した光の反射させる部分と透過させる部分とがほぼ等しくなるように、すなわち第１の割合と第２の割合とがほぼ等しくなるように構成される。したがって、この態様のビーム・スプリッタ８３１Ｒ（８３１Ｌ）は、上述のバランス・ビーム・スプリッタである。この例では、画像取込みセンサ８１０Ｒ（８１０Ｌ）および８１５Ｒ（８１５Ｌ）はそれぞれ、カラー・フィルタ・アレイを有するカラー・センサである。このカラー・フィルタ・アレイは、ベイヤー・カラー・フィルタ・アレイである。したがって、２つのベイヤー・パターン画像取込みセンサ８１０Ｒ（８１０Ｌ）および８１５Ｒ（８１５Ｌ）が、同じシーンで同じ光学素子を透かし見ている。ここで、ベイヤー・パターン画像取込みセンサは、ベイヤー・カラー・フィルタ・アレイを含む単一のチップ・センサ、または単一のチップの一部にある。上述のように、同一平面の画像取込みセンサ８１０Ｒ（８１０Ｌ）および８１５Ｒ（８１５Ｌ）は、共通の前端部光学構造を有しているが、各センサまでの光路長は異なる。
画像取込みセンサ８１０Ｒ（８１０Ｌ）まで進む光は、画像取込みユニット８２５Ｒ（８２５Ｌ）から第１の物体距離ＤＡのところに合焦する第１の画像として取り込まれる。例えば、図８Ｂを参照されたい。画像取込みセンサ８１５Ｒ（８１５Ｌ）まで進む光は、センサ８１５Ｒ（８１５Ｌ）に到達するまでにこれよりわずかに長い経路をたどり、画像取込みユニットから第２の物体距離ＤＢのところに合焦する第２の画像として取り込まれる。例えば、図８Ｃを参照されたい。距離ＤＢは、距離ＤＡより長い。この経路長の差は、例えばレンズ素子８０４Ｒ（８０４Ｌ）の焦点距離、２つの取り込まれた画像それぞれの最良の合焦が得られる距離など、前端部の光学的設計に基づく。
第１の画像と第２の画像は位置合わせされ、同じレンズ素子８０４Ｒ（８０４Ｌ）を通して撮像される。２つの画像の焦点面は異なる。２つの画像の被写界深度も異なる。例えば画像８８１など、距離ＤＡのところに合焦する画像は、短い被写界深度を有するが、例えば画像８８２など、距離ＤＢのところに合焦する画像は、それより広い被写界深度を有する。
上述のように、執刀医は、ユーザ・インタフェース２６２を使用して、デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）に、２つの取り込まれた画像（図８Ｂおよび図８Ｃ）から被写界深度がエンハンスされた焦点の合った画像（図８Ｄ）を生成させることができる。あるいは、執刀医は、立体視ディスプレイ２５１と呼ばれることもある執刀医用制御コンソールのディスプレイ２５１における調整が外科手術部位における外科手術に関する調整と一致するように、ディスプレイの２つの面に２つの画像を表示することができる。最後に、執刀医は、第１の焦点を有する第１の画像と第２の焦点を有する第２の画像とを切り替えることができる。
１つの態様では、デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）は、画像取込みセンサ８１０Ｒ（８１０Ｌ）および８１５Ｒ（８１５Ｌ）によって取り込まれた２つの画像から、被写界深度が拡大された焦点の合った画像を生成する。第１の態様では、第１の画像中のある画素群すなわちタイルについて、第１の鮮鋭度メトリックを生成し、第２の画像中のそれに対応する画素群について、第２の鮮鋭度メトリックを生成する。この２つの鮮鋭度メトリックを比較して、どちらの鮮鋭度メトリックの方が大きいかを判定する。最大の鮮鋭度メトリックを有する画素群（あるいはそのタイル内で選択された１つまたは複数の画素）を、混合画像用に選択する。デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）は、２つの取り込まれた画像を画素群ごとに調べ、２つの画素群のうちの一方を、２つの取り込まれた画像より大きな視野にわたって焦点が合っている混合画像に含めるものとして選択する。
図８Ｅは、画像取込みセンサ８１０Ｒ（８１０Ｌ）が取り込んだ画像の鮮鋭度プロファイル８８５、および画像取込みセンサ８１５Ｒ（８１５Ｌ）が取り込んだ画像の鮮鋭度プロファイル８８６を示すグラフである。鮮鋭度プロファイルは、内視鏡の遠位端部からの距離に対する画像取込みセンサが取り込んだ画像の鮮鋭度を示す曲線である。１つの態様では、鮮鋭度プロファイル８８５および８８６は、内視鏡８０２を用いて実行した較正と、内視鏡８０２の遠位端部から異なる距離のところにある複数の既知の物体を撮影した複数の画像とに基づいて、経験的に生成される。
１つの態様では、プロファイル８８５および８８６は、参照テーブルとしてメモリに記憶される。記憶された鮮鋭度プロファイルを、デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）が使用して、画像取込みユニット８２５Ｒ（８２５Ｌ）内の光学素子を動かすことなく内視鏡８０２を動かすときに、画像取込みセンサ８１０Ｒ（８１０Ｌ）が取り込んだ第１の画像を表示するか、画像取込みセンサ８１５Ｒ（８１５Ｌ）が取り込んだ第２の画像を表示するかを決定する。デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）は、第１および第２の画像それぞれについて、当業者には既知の従来技術を用いて鮮鋭度メトリックを生成する。デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）は、鮮鋭度プロファイル８８５および８８６と鮮鋭度メトリックとを使用して、内視鏡８０２の遠位端部と各画像の組織との間の距離を決定する。
例えば、第１の画像の鮮鋭度メトリックが０．５である場合には、組織８０３までの距離ＤＡは、鮮鋭度プロファイル８８５に基づき、約４２ミリメートル（ｍｍ）または約２７ミリメートル（ｍｍ）のいずれかとなる。第２の画像の鮮鋭度メトリックが０．４３である場合には、組織８０３までの距離ＤＢは、鮮鋭度プロファイル８８６に基づき、約４２ミリメートル（ｍｍ）である。あるいは、第２の画像の鮮鋭度メトリックが約０．０８である場合には、組織までの距離は、約２７ミリメートル（ｍｍ）である。なお、鮮鋭度プロファイル８８５は、鮮鋭度メトリックに基づくので組織の深さについては曖昧であるが、組織の深さは、第２の曲線８８６によって曖昧さが除去されることに留意されたい。両画像はほぼ同時に得られたものであるので、この曖昧さ除去は、時間的な影響によって歪むことはない。デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）は、この２つの画像の間の相対鮮鋭度メトリックと、これらの曲線のアプリオリ(a-priori)な構成とを使用して、内視鏡８０２が移動して、画像取込みユニットから組織までの距離が変化するときに、２つの画像のうちのどちらを表示するかを決定する。中央制御装置２６０は、内視鏡の遠位端部の位置を知っている。
内視鏡８０２を移動させて組織８０３に近づけた場合には、第１の取り込まれた画像が、デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）によってディスプレイ２５１に送信される。内視鏡８０２を移動させて組織８０３から遠ざけた場合には、デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）は、内視鏡８０２の遠位端部の組織８０３からの距離を、プロファイル交差距離と呼ばれる鮮鋭度プロファイル８８５および８８６が交差する距離とを比較する。内視鏡８０２の遠位端部の組織８０３からの距離がプロファイル交差距離より小さい場合には、第１の取り込まれた画像がディスプレイ２５１に伝送される。内視鏡８０２の遠位端部の組織８０３からの距離がプロファイル交差距離より大きい場合には、第２の取り込まれた画像がディスプレイ２５１に伝送される。したがって、前段落の鮮鋭度メトリックスでは、内視鏡８０２の遠位端部が組織８０３から４５ｍｍ未満のところにあるときには、第１の画像が執刀医に提示されることになる。内視鏡８０２の遠位端部が組織８０３から４５ｍｍを超えるところにあるときには、第２の画像が執刀医に提示されることになる。したがって、内視鏡８０２を移動させたとき、画像取込みユニット８２５Ｒ（８２５Ｌ）内の光学素子を動かさなくても、適当な画像が執刀医に提示される。
さらに、２つの画像のうちのどちらを執刀医に提示するかの判定は、相対鮮鋭度メトリックのみに基づいて行うことができる。つまり、組織の深さの計算は不要である。ステレオ・ビューアの左右の目に提示される画像対は、調和した状態に保たれ、鮮鋭度メトリックの比較では、第１の画像または第２の画像を使用する判定中に左目用に取り込まれた画像対からのデータおよび右目用に取り込まれた画像対からのデータを使用することができる。一般に、提示される画像全体の焦点を切り替える場合には、第１の画像が左右両目用に選択されるか、または第２の画像が左右の目用に選択される。
別の態様では、取り込まれた２つの画像および鮮鋭度プロファイル８８５、８８６を使用して、深さマップを作成する。鮮鋭度プロファイル８８５を鮮鋭度プロファイル８８６に分割して、距離に対する鮮鋭度メトリックのチャネル鮮鋭度プロファイルを生成する。例えば、所与の距離のプロファイル８８６の値を、その所与の距離のプロファイル８８５の値で割って、その所与の距離の鮮鋭度メトリックを得る。この鮮鋭度メトリックを、スライディング・タイルを使用して計算して、画像全体の深さマップを作成することができる。当然、この情報を、さらに多くの従来のステレオ・マッチング・アルゴリズムと組み合わせて、さらに良い状態の深さマップを生成することができる。
１つの態様では、鮮鋭度プロファイル８８５および８８６は、内視鏡８０２を用いて実行した較正と、内視鏡８０２の遠位端部から異なる距離のところにある複数の既知の物体を撮影した複数の画像とに基づいて、経験的に生成される。鮮鋭度プロファイルは、画像取込みユニット８２５Ｒおよび画像取込みユニット８２５Ｌの両方について得る。チャネル鮮鋭度プロファイルは、左右のチャネルのそれぞれについて生成される。１つの態様では、左右のチャネル鮮鋭度プロファイルは、参照テーブルとしてメモリ８９９（図８Ｆ）に保存される。
基本的には、第１の取り込まれた画像の画素と第２の取り込まれた画像の画素との間には１対１の対応があることに留意されたい。場合によっては、この１対１の対応を確立するのに、較正、および若干の画像変形またはソフトウェアによる画像間の位置合わせが必要になることがある。デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）は、当業者には既知の従来技術を用いて、第１および第２の各画像中の対応する画素の周りのタイルまたは画素群の鮮鋭度メトリックを生成する。第１の取り込まれた画像中の画素、またはその画素の周りの画素群の鮮鋭度メトリックを、第２の取り込まれた画像中の対応する画素、またはその対応する画素の周りの対応する画素群の鮮鋭度メトリックに分割して、それらの画素のチャネル鮮鋭度プロファイルを生成する。それらの画素のチャネル鮮鋭度プロファイルを使用して、チャネル鮮鋭度プロファイル上のポイントの位置を突き止める。チャネル鮮鋭度プロファイル上のそのポイントに対応する距離が、その画素の（Ｘ、Ｙ）位置と関連付けられる深さである。このプロセスを取り込まれた画像中の各画素について実行して、取り込まれた画像の深さマップを生成する。
１つの態様では、この深さマップを使用して、内視鏡８０２の視点とは異なる視点、すなわち仮想カメラの視点からの組織８０３のシーンのビューを生成する。中央制御装置２６０は、２次元仮想化モジュール８９０（図８Ｆ）を使用して、その仮想カメラの視点の立体視画像対を生成する。
３次元仮想化モジュール８９０は、内視鏡８０２の右の立体視チャネルで取り込まれた第１および第２の画像を使用し、右チャネルから見たシーンの第１のチャネルの深さマップを生成する。同様に、３次元仮想化モジュール８９０は、内視鏡８０２の左の立体視チャネルで取り込まれた第１および第２の画像を使用し、左チャネルから見たシーンの第２のチャネルの深さマップを生成する。画像のステレオ・マッチングで得られる追加情報を使用して、結合深さマップの安定度および精度を向上させることもできる。シーンの３次元表面は、第１および第２のチャネルの深さマップを使用して生成され、４つの取り込まれた画像の最も良く焦点が合っている部分を３次元表面上に投影し、テクスチャ処理して、テクスチャ処理した３次元画像表面を作成する。
執刀医が、ユーザ・インタフェース２６２を用いて、視点すなわち仮想カメラ視点を入力すると、デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）は、右チャネルのチャネル深さマップおよびテクスチャ処理した３次元画像表面を使用して、その仮想カメラ視点からの右チャネルの画像を生成する。同様に、デュアル画像エンハンス・モジュール２４０Ｒ（２４０Ｌ）は、左チャネルのチャネル深さマップおよびテクスチャ処理した３次元画像表面を使用して、その仮想カメラ視点からの左チャネルの画像も生成する。この２つの画像が立体視ディスプレイ２５１に送信され、内視鏡８０２を仮想カメラ視点まで移動させなくても、仮想３次元画像が執刀医に提示される。
さらに詳細には、３Ｄ仮想化モジュール８９５を各チャネルについて実行する。これは、中央制御装置２６０で利用できるメモリおよび処理能力に応じて、並列に、または順次行うことができる。
右チャネルの画像取出しプロセス８９１では、画像取込みセンサ８１０Ｒおよび８１５Ｒによって取り込まれた第１および第２の画像が取り出され、プロセス８９２と呼ばれることもある深さマップ作成プロセス８９２に送られる。プロセス８９２では、２つの画像中の例えばタイルなどの画素群に対して同じプロセスを繰り返し実行する。
画素（Ｘ、Ｙ）についてのプロセス８９２では、画素（Ｘ、Ｙ）を含む画素群を、右チャネルの第１の画像および第２の画像のそれぞれから選択する。ここで、Ｘは、画素のｘ座標、Ｙは画素のｙ座標である。例えば、画素群は、画素（Ｘ、Ｙ）を中心とする５画素×５画素のブロックとすることができる。第１の画像の画素ブロックの第１の鮮鋭度メトリックを生成し、第２の画像の同じ画素ブロックの第２の鮮鋭度メトリックを生成する。第２の鮮鋭度メトリックを第１の鮮鋭度メトリックで割って、チャネル鮮鋭度メトリックを生成する。メモリ８９９内の右チャネル鮮鋭度プロファイルを用いて、このチャネル鮮鋭度メトリックに対応する距離Ｚを得る。距離Ｚを画素（Ｘ、Ｙ）に割り当てる。こうして、右チャネル深さマップでは、この画素は、画素（Ｘ、Ｙ、Ｚｘｙ）として表される。
次に、このプロセスを画素（Ｘ＋１、Ｙ）について繰り返し、深さマップ内のこの画素を、画素（Ｘ＋１、Ｙ、Ｚ（ｘ＋１）ｙ）とする。このように、画素（Ｘ、Ｙ）の共通のブロックの鮮鋭度メトリックを決定する際に使用される画素の一部は、画素（Ｘ＋１、Ｙ）の共通のブロックの鮮鋭度メトリックを決定する際にも利用される。このプロセスを、ある列の画素列の各画素について繰り返した後、Ｙインデックスを増分して、このプロセスを次の列の各画素について繰り返す。完全な画素ブロックで囲まれていないシーンの境界領域の画素については、１つの態様では、対称性を仮定して、そのブロック内で利用できる画素の値を用いて、欠けている画素の値を生成する。
全ての画素列を処理すると、シーン内の各画素を右チャネルから見た、右チャネル深さマップが作成される。各画素は、ｘ次元の値、ｙ次元の値、およびｚ次元の深さを有する。右チャネル深さマップは、１つの態様では、メモリ８９５に記憶される。
右チャネル深さマップの深さは、画素群の大きさの関数によって決まる平均値である。大きな画素群ではノイズが低下するが、画素群が大きくなるにつれて、その大きな画素群で平均化されることにより、ｚ次元の詳細が失われる。したがって、画素群の大きさは、深さ値の所望の特異性を維持しながら、ノイズを許容レベルまで低下させるように、経験的に決定される。また、深さを生成している画素をブロックの中心に配置したのは、単なる例示であり、この特定の配置に限定することを意図しているわけではない。
同じプロセスを、深さマップ作成プロセス８９２によって、左チャネルについても実行する。左右のチャネル両方の処理が完了すると、メモリ８９５は右チャネル深さマップおよび左チャネル深さマップを格納している。左チャネル深さマップおよび右チャネル深さマップにより、内視鏡８０２の視点のシーンの深さマッピングが実現する。
中央制御装置２６０における３Ｄ表面生成プロセス８９３では、左チャネル深さマップおよび右チャネル深さマップを使用して、シーンの３次元表面を生成する。２つの深さマップを使用して３次元深さマップ表面を生成することは、当業者には既知であるので、本明細書ではこれ以上考慮しない。
シーンの３次元表面を生成した後、画像投影／テクスチャ・マッピング・プロセス８９４により、右チャネルの２つの取得画像の最も鮮鋭な部分、および左チャネルの２つの取得画像の最も鮮鋭な部分を、３次元深さマップ表面に投影およびテクスチャ・マッピングして、テクスチャ処理された画像面と呼ばれることもあるテクスチャ処理した３次元画像表面を生成する。複数の取り込んだ画像と３次元表面とを用いて投影およびテクスチャ処理を行ってテクスチャ処理された画像面を生成することは、当業者には既知であるので、本明細書ではこれ以上考慮しない。
テクスチャ処理された画像面および２つのチャネル深さマップを用いて、仮想カメラ視点からの立体視画像対の画像を生成することができる。この態様では、ユーザ・インタフェース２６２により、執刀医は、例えば現在のシーンをそこから見たいと思う別の視点など、自分が現在のシーンをそこから見たいと思う仮想カメラ視点を指定することができる。
したがって、仮想カメラ視点受取りプロセス８９７で、ユーザ・インタフェース２６２から仮想カメラ視点を受け取り、この仮想カメラ視点を画像生成プロセス８９６に送る。画像生成プロセス８９６では、深さマップ８９５からの右チャネル深さマップ、テクスチャ処理された画像面、および仮想カメラ視点を用いて、その仮想カメラ視点からの仮想右チャネル画像を生成する。同様に、画像生成プロセス８９６では、深さマップ８９５からの左チャネル深さマップ、テクスチャ処理された画像面、および仮想カメラ視点を用いて、その仮想カメラ視点からの仮想左チャネル画像を生成する。深さマップおよび仮想カメラ視点のテクスチャ処理された画像面を用いて仮想画像を生成することは、当業者には既知であるので、これ以上詳細には考慮しない。
仮想カメラ視点の左チャネル仮想画像および右チャネル仮想画像を生成したら、画像伝送プロセス８９８で、この２つの仮想画像を立体視ディスプレイ２５１に送信して、執刀医に表示する。したがって、内視鏡８０２を動かすことなく、執刀医は、異なる視点、すなわち仮想カメラ視点からシーンを見ることができる。当然、内視鏡８０２の視点と大きく異なる視点からシーンを見ると、必ずしも高画質の画像が得られるとは限らない。しかし、内視鏡の先端付近の仮想カメラ視点の画像は、妥当な画質を有している。
この手法を使用して、手術室内の他の当事者用に画像を生成することもできる。例えば、患者の近くにいる手術室スタッフは、テレビジョン画面やモニタなど、非ステレオ・ディスプレイ装置で外科手術手順を見る可能性が高い。仮想カメラ位置からの画像を作成できることにより、この手術室スタッフにそのディスプレイ上で奥行き感を与えるようにシーンを提示することが可能になる可能性もある。
これは、執刀医の実際の右眼位置と執刀医の実際の左眼位置の間を行き来する仮想カメラ位置からの一連の画像を実時間で提示することによって行うことができる。すなわち、これらの仮想カメラ位置は、両眼の位置の間を行き来する。このように仮想カメラ視点を前後に行き来させることにより、１つのシーンを複数の仮想カメラ視点から見た一連の画像が生成される。具体的には、時間ステップごとに、異なる仮想カメラ視点からの画像を生成して提示する。
「実際の右眼位置」および「実際の左眼位置」は、１つの態様では、例えば、執刀医用制御コンソールの一部である立体視ビューアの右眼位置および左眼位置を指す。左眼位置と右眼位置は、両眼間距離だけ隔てられている。
このように時間経過とともに仮想カメラ位置を行き来させることによって生成された画像を表示すると、ディスプレイ上では、頭がわずかに前後に動いているように見える。すなわち表示画像においてシーンが前後に若干揺れる。これは、人間の視覚系で用いられる多くの奥行きの手掛かりのうちの１つであり、立体視ディスプレイを使用しなくても、シーンの奥行き感覚を手術室スタッフに与える。さらに、このことには、画像が手術室スタッフのディスプレイに対する向きとは無関係の奥行きを通信し、いかなる特別な追加機器も必要としないという利点がある。仮想カメラ画像を、サンプルとして取り込んだ光照射野の画像を考慮して、かつ画像ベースのレンダリング技術を使用して作成して、新たな仮想カメラビューを作成することもできる。
ここまでに述べた態様では、立体視内視鏡８０２からの画像を用いて、仮想カメラ視点の立体視画像を生成した。別の態様では、例えば立体視内視鏡８０２の右チャネルしか備えていない内視鏡などのモノスコープ内視鏡からの１対の画像を用いて、仮想カメラ視点の立体視画像を生成する。
この態様では、３Ｄ仮想化モジュール８９０は、２つの取り込んだ画像についてプロセス８９１から８９４を実行して、３次元画像の第１の画像を生成する。３次元画像の第２の画像を生成するには、画像生成プロセス８９６で、第１の画像と仮想画像を立体視画像対として見たときに執刀医が３次元画像であると感じるように、適当な眼の間隔を有する視点からの仮想画像を生成する。
この手法は、モノスコープ内視鏡で見ているシーン内に前景物体の鮮鋭な縁部がないときには、シーンの仮想カメラ視点の立体視ビューを生成するのに十分である。通常は、外科手術部位のシーンは、鮮鋭な縁部がなく平滑であるので、このプロセスで使用に適した立体視ビューが生成される。シーン内に外科手術器具がある場合には、立体視ビューの外科手術器具の背後に穴が生じることもあるが、この領域は、通常は執刀医にとって関心のある領域ではない。外科手術器具の背後に穴がある立体視ビューでも、執刀医が必要とする情報は提供されるので、許容可能である。
上記の例では、ビーム・スプリッタ８３１Ｒ（８３１Ｌ）は、バランス・ビームスプリッタとして構成した。しかし、別の態様では、上記の例は、外科手術部位の照明が、内視鏡の一部である上記では照明チャネルと呼んだ光導波路を用いて通常は実施されることを利用するように構成されたビーム・スプリッタ８３１Ｒ（８３１Ｌ）を使用する。したがって、照明器が、内視鏡の先端に取り付けられ、これとともに移動する。その結果として、内視鏡の先端が組織表面に近接しているときには、組織から遠いときよりも画像がはるかに明るくなる。この態様では、コーティングされた第１の面８３１Ｒ（８３１Ｌ）は、受光した光の反射させる部分と透過させる部分とが異なるように、すなわち上記で定義した第１の割合と第２の割合とが異なるように構成される。
ビーム・スプリッタ８３１Ｒ（８３１Ｌ）は、受光した光のＭ％を反射し、受光した光のＮ％を通過させる。ここで、Ｍ％はＮ％と異なる。ここで、ＭおよびＮは正の数である。１つの態様では、Ｍ％にＮ％を足すと、ほぼ１００パーセントに等しくなる。この同等性は、光の損失および画像取込みユニット８２５Ｒ（８２５Ｌ）の様々な部品の許容差により、厳密なものではないこともある。プリズム・アセンブリ８３０Ｒ（８３０Ｌ）のその他の態様は、上記と同様である。センサ・アセンブリ８２０Ｒ（８２０Ｌ）によって取り込まれた画像の処理は、バランス・ビーム・スプリッタについて上述した処理と同じであるので、繰り返し述べることはしない。
上記の例では、画像取込みセンサは同一平面にあった。ただし、いくつかの態様では、画像取込みセンサは、既知の距離だけ離間した平行な平面内にあってもよいと説明した。図９は、このような画像取込みセンサを有する画像取込みユニットを有するチャネルの一部を示す概略図である。図９の構成は、本明細書に記載する態様および例のいずれでも使用することができるので、様々な態様および例のそれぞれを、この構成について繰り返し説明することはしない。
図９では、画像取込みユニット９２５は、レンズ・アセンブリ９０１およびセンサ・アセンブリ９２０を含む。センサ・アセンブリ９２０は、プリズム・アセンブリ９３０と、反射ユニット９４０と、画像取込みセンサ９１０および９１５とを含む。レンズ・アセンブリ９０１は、遮蔽体９７０と呼ばれることもある光遮蔽体９７０を画定する光学素子を含む複数の光学素子を有する。遮蔽体９７０を通過する光は、画像取込みユニット９２５のプリズム・アセンブリ９３０内のビーム・スプリッタ９３１によって受光される。
立体視装置は、図９に示すように、２つの画像取込みユニットを含む。ただし、図３Ａに関連して上述したように、画像取込みユニットを含む左右の立体視チャネルは対称であるので、一方のチャネルおよび画像取込みユニットについてのみ説明し、説明の重複を避ける。画像取込みユニットを含むもう一方のチャネルは、内視鏡の長手方向軸線と交差する平面に関して図９に示すチャネルと対称である。
ビーム・スプリッタ９３１は、遮蔽体９７０を通過する光を受光するように位置決めされる。ビーム・スプリッタ９３１は、受光した光の第１の部分を第１の画像取込みセンサ９１０に向けて送り、受光した光の第２の部分をこのビーム・スプリッタを通して反射ユニット９４０に送るように構成される。この例では、プリズム・アセンブリ９３０内のビーム・スプリッタ９３１は、コーティングされた第１の面として実装される。したがって、ビーム・スプリッタ９３１は、コーティングされた第１の面９３１と呼ばれることもある。コーティングされた第１の面９３１は、受光した光を２つの部分に分離する。
コーティングされた第１の面９３１は、受光した光の第１の部分を第２の面９３２に向けて送り、第２の面９３２は、例えば反射するなどして、この光を第１の画像取込みセンサ９１０に向けて送る。受光した光の第２の部分は、コーティングされた第１の面９３１を通過して反射ユニット９４０まで通過する。１つの態様では、この光のコーティング面９３１への入射角は、４５度未満である。
第２の面９３２は、コーティングされた第１の面９３１によって反射された光以外の光が第２の面９３２に入射しないように位置決めされる。１つの態様では、第２の面９３２は、コーティング面および内部全反射面のうちの一方として実装される反射面である。
反射ユニット９４０は、ビーム・スプリッタ９３１から受光した光を第２の画像取込みセンサ９１５に反射する第３の面９４１を含む。１つの態様では、第３の面９４１は、例えばコーティング面および内部全反射面のうちの一方として実装される反射面である。
第１の画像取込みセンサ９１０は、第１の平面９１１内にセンサ上面を有する。第２の画像取込みセンサ９１５は、第２の平面９１４内にセンサ上面を有する。第１の平面９１１は、第２の平面９１４と実質的に平行であり、第２の平面９１４から既知の距離ｄだけ離間している。本明細書では、「ほぼ平行」または「実質的に平行」とは、２つの平面が、画像取込みセンサの製造および取付けに関連する許容差の範囲内にある平面であるという意味である。画像取込みセンサのセンサ上面は、センサ・アセンブリ内の少なくとも１つの光学構成要素から光を受光する画像取込みセンサの表面である。
１つの態様では、遮蔽体９７０からコーティングされた第１の面９３１および第２の面９３２を経由して画像取込みセンサ９１０に至る第１の光路長は、遮蔽体９７０からコーティングされた第１の面９３１および第３の面９４１を経由して画像取込みセンサ９１５に至る第２の光路長とほぼ等しい。したがって、この態様では、画像取込みセンサ９１０および９１５は、レンズ・アセンブリ９０１内の前端部光学構造を通る光路長は共通であり、センサ・アセンブリ９２０内の各画像取込みセンサまでの光路長はほぼ同じである。
別の態様では、コーティング面９４１は、第１の光路長と第２の光路長とが等しくならないように位置決めされる。この態様では、画像取込みセンサ９１０および９１５は、レンズ・アセンブリ９０１内の前端部光学構造を通る光路長は共通であるが、センサ・アセンブリ９２０内の各画像取込みセンサまでの光路長は異なる。
上記の例では、実施態様は、各チャネルで１組の画像セットを取り込んで処理することを考慮した。これは、説明を容易にするためのものであり、限定を目的としたものではない。通常は、カメラ制御ユニット（ＣＣＵ）２３０Ｒおよび２３０Ｌを有する中央制御装置２６０は、各チャネルの複数組の画像セットを取り込む頻度を制御する。上述した取り込んだ画像の処理は、１つの態様では、執刀医が立体視画像のビデオ・シーケンスを見られるように実時間で行われる。
同様に、フィーチャ識別、解像度のエンハンス、ダイナミック・レンジのエンハンス、様々な画素ベクトル構成、および被写界深度の拡大といった様々な態様についても、別個に考慮した。しかし、本開示に鑑みて、これらの様々な態様を組み合わせて、様々な利点を組み合わせて実現することもできる。様々な組合せを実現するために考えられる置換については、繰り返しを避けるために個別に説明しない。
また、上記の例では、立体視またはモノスコープの内視鏡の遠位端部に取り付けられた画像取込みユニットを考慮した。しかし、この新たな画像取込みユニットの構成を、従来の内視鏡カメラや、例えば立体視外科手術顕微鏡などで使用することもできる。したがって、画像取込みユニットを内視鏡に実装するという記述は、単なる例示であり、限定を目的としたものではない。
図１０は、画像取込みユニット１０２５を備えた立体視内視鏡１００２の遠位端部を示す概略図である。画像取込みユニット１０２５は、この態様では、左レンズ・アセンブリ１００１Ｌと、右レンズ・アセンブリ１００１Ｒと、同一平面の右画像取込みセンサ１０１０Ｒおよび左画像取込みセンサ１０１０Ｌとを有するセンサ・アセンブリ１０２０を含む。この態様では、内視鏡１００２と呼ばれることもある立体視内視鏡１００２は、照明チャネル１００５を含む。ただし、内部照明器および外部照明器など、本明細書に記載する様々な照明器はいずれも、内視鏡１００２とともに使用することができる。この態様では、右画像取込みセンサ１０１０Ｒおよび左画像取込みセンサ１０１０Ｌは、プラットフォーム１０１２に取り付けられる、半導体ダイまたは半導体チップと呼ばれることもある半導体基板１０１７に含まれる。
組織１００３からの光は、レンズ・アセンブリ１００１Ｒおよび１００１Ｌを通過して、センサ・アセンブリ１０２０に至る。レンズ・アセンブリ４０１Ｂ（図４Ｂ）内の要素は、レンズ・アセンブリ１００１Ｒおよびレンズ・アセンブリ１００１Ｌの例である。レンズ・アセンブリ１００１Ｒおよび１００１Ｌを通過した光は、反射ユニット１０４０の反射面１０４１によって受光される。反射面１０４１は、この光を例えば反射するなどして、第１の画像取込みセンサ１０１０Ｒのセンサ上面および第２の画像取込みセンサ１０１０Ｌのセンサ上面に向けて送る。表面１０４１は、コーティング面または内部全反射面のいずれかとすることができる。
内視鏡１００２内の第１の画像取込みセンサ１０１０Ｒまでの光路長および第２の画像取込みセンサ１０１０Ｌまでの光路長は、実質的に同じ長さである。例えば、レンズ・アセンブリ１００１Ｒから第１の画像取込みセンサ１０１０Ｒのセンサ上面までの第１の光路長は、レンズ・アセンブリ１００１Ｌから第２の画像取込みセンサ１０１０Ｌのセンサ上面までの第２の光路長とほぼ等しい。したがって、内視鏡１００２内の各立体視光学チャネルは、画像センサまでの光路長がほぼ等しい。
この態様では、画像取込みセンサ１０１０Ｒの面と画像取込みセンサ１０１０Ｌの面とが同一平面にある。あるいは、画像取込みセンサ１０１０Ｒが第１の平面内にセンサ上面を有し、画像取込みセンサ１０１０Ｌが第２の平面内にセンサ上面を有し、第１の平面と第２の平面が平行で、既知の距離だけ離間していてもよい（図９参照）。この態様では、反射ユニット内の反射面の位置を調節して、第１の画像取込みセンサまでの第１の光路長が第２の画像取込みセンサまでの第２の光路長とほぼ等しくなるように、上記の既知の距離を補償する。あるいは、またはこれに加えて、これらの光路の一方または両方でレンズを使用して、ほぼ等しい光路長を実現することもできる。
図１０の例、および代替の画像取込みセンサの構成では、第１の画像取込みセンサ１０１０Ｒおよび第２の画像取込みセンサ１０１０Ｌが取り込む画像は、同じ焦点および被写界深度を有し、互いに空間的に位置合わせされている。画像取込みユニット１０２５は、小型でコンパクトなので、上述の画像取込みユニットを収容できるだけのスペースがない適用分野でも使用することができる。また、この画像取込みユニットは、内視鏡１００２の中心軸線１０９０に関して対称ではないことにも留意されたい。道具または器具を収容するための空間（ｌｕｍｅｎｓ）がさらにある特定の適用分野では、この非対称性が利点となる。また、この構造では、画像センサがそれぞれの目の撮像領域を１つのシリコン・ダイ上に含む場合、またはこの装置がさらに大型の撮像装置を使用し、２つの撮像領域の間の領域の画素の一部を必ずしも使用しない場合には、左右の眼の撮像領域を完全に位置合わせすることが可能である。
全ての例および例示を目的とした言及は、非制限的なものであり、特許請求の範囲を本明細書に記載した具体的な実施態様および実施形態ならびにそれらの均等物に限定するために用いるべきものではない。上記の各表題は、１つの表題に続く本文が、１つまたは複数の表題と相互参照関係にあったり、１つまたは複数の表題に続く本文に当てはまったりすることもあるので、単に書式上のものであり、いかなる意味でも主題を制限するために用いるべきものではない。最後に、本開示に鑑みて、１つの態様または実施形態に関連して記載した特定の機能は、具体的に図面に図示したり本文に記載したりしていなくても、開示した本発明のその他の態様または実施形態に適用することができる。
本明細書に記載した様々なモジュールは、プロセッサ上で実行されるソフトウェア、ハードウェア、ファームウェアまたはこの３つの任意の組合せによって実装することができる。モジュールがプロセッサ上で実行されるソフトウェアとして実装されるときには、このソフトウェアは、コンピュータ可読命令としてメモリに記憶され、このコンピュータ可読命令がプロセッサ上で実行される。メモリの全体または一部は、プロセッサをメモリに結合することができるならば、プロセッサとは異なる物理的位置にあってもよい。「メモリ」とは、揮発性メモリ、不揮発性メモリ、またはこの２つの任意の組合せを指す。
また、本明細書に記載した様々なモジュールの機能は、１つのユニットによって実行してもよいし、あるいは異なる複数の構成要素間で分割してもよく、それらの構成要素はそれぞれ、ハードウェア、プロセッサ上で実行されるソフトウェア、およびファームウェアの任意の組合せによって実施することができる。異なる構成要素間で分割するときには、これらの構成要素は、１つの位置に集中させてもよいし、分散処理のためにシステム２００内で分散させてもよい。様々なモジュールを実行することにより、これらの様々なモジュールおよび制御装置２６０の上述したプロセスを実行する方法が得られる。
したがって、プロセッサは、そのプロセッサが実行する命令を含むメモリに結合される。これは、コンピュータ・システム内で実施することもできるし、あるいはモデムおよびアナログ回線またはデジタル・インタフェースおよびデジタル回線を介して別のコンピュータに接続することによって実施することもできる。
本明細書では、コンピュータ・プログラム製品は、本明細書に記載するプロセスのいずれか一部または全てに必要なコンピュータ可読コードを記憶するように構成された、あるいはこれらのプロセスのいずれか一部または全てに必要なコンピュータ可読コードが記憶された、コンピュータ可読媒体を含む。コンピュータ・プログラム製品の例としては、ＣＤ−ＲＯＭディスク、ＤＶＤディスク、フラッシュ・メモリ、ＲＯＭカード、フロッピー（登録商標）・ディスク、磁気テープ、コンピュータ・ハード・ドライブ、ネットワーク上のサーバ、およびネットワークを介して伝送されるコンピュータ可読プログラム・コードを表す信号などがある。非一時的な有形のコンピュータ・プログラム製品は、上記のプロセスのいずれか一部または全てのためのコンピュータ可読命令を記憶するように構成された、あるいはこれらのプロセスのいずれか一部または全てのためのコンピュータ可読命令が記憶された、有形のコンピュータ可読媒体を含む。非一時的な有形のコンピュータ・プログラム製品は、ＣＤ−ＲＯＭディスク、ＤＶＤディスク、フラッシュ・メモリ、ＲＯＭカード、フロッピー（登録商標）・ディスク、磁気テープ、コンピュータ・ハード・ドライブ、およびその他の物理的記憶媒体である。
本開示に鑑みて、本明細書に記載するプロセスのいずれか一部または全てで使用される命令は、ユーザが関心のあるオペレーティング・システムおよびコンピュータ・プログラミング言語を用いる様々なコンピュータ・システム構成で実施することができる。
本明細書では、「第１」および「第２」は、要素を区別するための形容詞として使用しており、要素の数を示すことを意図しているわけではない。また、「上」、「底」および「側」は、図中に示す要素の区別を助け、要素間の相対的な関係の視覚化を助けるための形容詞として使用している。例えば、上面と底面は、反対の位置にあって互いに離間している第１の面と第２の面である。側面は、第１の面と第２の面の間に延びる第３の面である。「上」、「底」および「側」は、絶対的な物理的位置を定義するために使用しているわけではない。
本発明の態様および実施形態を例示する上記の説明および添付の図面は、限定的なものとして解釈すべきではなく、保護される本発明は、特許請求の範囲によって定義される。本明細書および特許請求の範囲の趣旨および範囲を逸脱することなく、機構、構成、構造、要素および動作に関する様々な変更を加えることができる。場合によっては、本発明が曖昧になるのを避けるために、周知の回路、構造および技術は、詳細な図示または説明を省略している。
さらに、本明細書の用語は、本発明を限定することを意図したものではない。例えば、「下方」、「下」、「下側」、「上」、「上側」、「近位」、「遠位」などの空間的相対語は、図面に示す要素またはフィーチャの別の要素またはフィーチャとの関係を説明するために使用することができる。これらの空間相対語は、図面に示す位置および配向だけでなく、使用中または動作中に装置がとる様々な位置（すなわち配置）および配向（すなわち回転位置）を含むものとする。例えば、図中の装置をひっくり返した場合には、別の要素またはフィーチャの「下」または「下方」にあると述べられている要素が、その別の要素またはフィーチャの「上」または「上方」になる。したがって、例えば「下」という用語は、「上」および「下」の位置および配向を両方とも含むことができる。装置はその他に配向する（９０度またはその他の配向に回転させる）こともでき、本明細書で使用する空間相対要素も、それに応じて解釈することができる。同様に、様々な軸線に沿った運動および様々な軸線の周りの運動に関する記述も、様々な固有の装置の位置および配向を含む。
単数形は、文脈から複数形を含まないことが分かる場合を除き、複数形も含むものとする。「備える、有する、含む」などの用語は、そこに記載するフィーチャ、ステップ、動作、要素および／または構成要素が存在することを示すものであり、それ以外の１つまたは複数のフィーチャ、ステップ、動作、要素、構成要素および／またはグループの存在または追加を排除するものではない。「結合される」と述べられる構成要素は、電気的または機械的に直接結合されていることもあるし、あるいは１つまたは複数の中間構成要素を介して間接的に結合されていることもある。以下の実施形態は、本明細書に含まれる。
第１の実施形態
装置は、第１のセンサ面を含む第１の画像取込みセンサと、第２のセンサ面を含む第２の画像取込みセンサとを含み、第１および第２の画像取込みセンサ面が同一平面にあり、さらに、光を受光するように位置決めされ、受光した光の第１の部分を第１のセンサ面に向けて送り、受光した光の第２の部分を通過させるように構成されたビーム・スプリッタと、受光した光の第２の部分を受光し、受光した光の第２の部分を第２の画像取込みセンサに向けて送るように位置決めされた反射ユニットとを含む。いくつかの態様では、第１の画像取込みセンサおよび第２の画像取込みセンサは、１つの画像取込みセンサ・チップの異なる領域を構成することができる。いくつかの態様では、この装置は、第１の画像取込みセンサおよび第２の画像取込みセンサと、ビーム・スプリッタと、反射ユニットとを有する遠位端部を含む内視鏡を有することができる。いくつかの態様では、この装置は、遠位端部、１対のチャネル、ならびに複数の第１および第２の画像取込みセンサと、ビーム・スプリッタと、反射ユニットとを含む立体視内視鏡をさらに含むことができ、第１の画像取込みセンサ、第２の画像取込みセンサ、ビーム・スプリッタおよび反射ユニットは複数含まれ、１対のチャネルの各チャネルは、立体視内視鏡の遠位端部に、異なる第１の画像取込みセンサ、異なる第２の画像取込みセンサ、異なるビーム・スプリッタおよび異なる反射ユニットを複数含む。いくつかの態様では、この装置は、ビーム・スプリッタを含むプリズム・アセンブリをさらに有することができ、このビーム・スプリッタが、受光した光の第１の部分を反射し、受光した光の第２の部分を通過させるように構成されること、および／または、プリズム・アセンブリが、第１の面から受光した光を第１のセンサ面に向けて送るように構成された第２の面をさらに含むことができ、第２の面が、他の光が第２の面に入射しないように位置決めされること、および／または、第１の面が、多層コーティング面をさらに含むことができること、および／または、反射ユニットが、受光した光の第２の部分を第２の画像取込みセンサの表面に反射するように位置決めされた反射面をさらに含むことができること、および／または、第１の面が、４５度未満の入射角を有することができること、および／または、プリズム・アセンブリおよび反射ユニットが、１つの一体構造を構成し（例えば２つもしくは３つの部品を接着したもの、またはペンタプリズムなど）、第１の面が、多層コーティング面を含むことができること、および／または、この１つの一体構造が、２つの部品を接着したものおよび３つの部品を接着したものの一方を含むことができること、および／または、この１つの一体構造が、ペンタプリズムを含むことができること、および／または、この装置が、プリズム・アセンブリの遠位に近接して位置決めされた遮蔽体をさらに含むことができ、遮蔽体の遠位に近接して位置決めされた液晶型合焦素子を必要に応じてさらに含むこと、および／または、プリズム・アセンブリが、受光した光がプリズム・アセンブリに進入する第１の面をさらに含むことができ、第１の面から第１のセンサ面までの第１の光路長が、第１の面から第２のセンサ面までの第２の光路長とほぼ等しい、または第１の面から第２のセンサ面までの第２の光路長と異なり、２つの光路長の差が第１の画像取込みセンサが取得する画像と第２の画像取込みセンサが取得する画像の間の焦点の違いをもたらすように構成されるようになっていることを特徴とする。いくつかの態様では、ビーム・スプリッタは、受光した光の第１の部分を反射し、受光した光の第２の部分を透過させるように構成されたコーティング面をさらに含むことができ、受光した光の第１の部分および第２の部分は、受光した光の異なる、または実質的に等しい、第１の割合および第２の割合である。いくつかの態様では、第１の画像取込みセンサおよび第２の画像取込みセンサは、両方ともカラー画像取込みセンサを含むこともできるし、あるいは一方がモノクロ画像取込みセンサを含むこともできる
第２の実施形態
装置は、第１のセンサ面を含む第１の画像取込みセンサと、第２のセンサ面を含む第２の画像取込みセンサとを含み、第１のセンサ面が第１の平面内にあり、第２のセンサ面が第２の平面内にあり、第１の平面と第２の平面が実質的に平行であり、既知の距離だけ離間しており、さらに、光を受光するように位置決めされ、受光した光の第１の部分を第１のセンサ面に向けて送り、受光した光の第２の部分を通過させるように構成されたビーム・スプリッタと、受光した光の第２の部分を受光し、受光した光の第２の部分を第２の画像取込みセンサに向けて送るように位置決めされた反射ユニットとを含む。
第３の実施形態
装置は、第１のセンサ面を含む第１の画像取込みセンサと、第２のセンサ面を含む第２の画像取込みセンサと、第１のレンズ・アセンブリと、第２のレンズ・アセンブリと、第１のレンズ・アセンブリを通過した光を受光し、第１のレンズ・アセンブリから受光した光を第１のセンサ面に反射するように位置決めされ、かつ第２のレンズ・アセンブリを通過した光を受光し、第２のレンズ・アセンブリから受光した光を第２のセンサ面に反射するように位置決めされた反射ユニットとを含み、第１のレンズ・アセンブリから第１のセンサ面までの第１の光路長は、第２のレンズ・アセンブリから第２のセンサ面までの第２の光路長とほぼ等しい。いくつかの態様では、第１および第２の画像取込みセンサ面は、同一平面であってもよいし、あるいは第１および第２のセンサ面はそれぞれ、実質的に平行で既知の距離だけ離間した第１および第２の平面内にあってもよい。
第４の実施形態
方法は、共通の前端部光学系から受光した光の第１の部分から、第１の画像を、画像取込みユニットの第１の画像取込みセンサで取り込むステップと、共通の前端部光学系から受光した光の第２の部分から、第２の画像を、画像取込みユニットの第２の画像取込みセンサで取り込むステップとを含み、第１および第２の画像取込みセンサは同一平面であり、第１の画像と第２の画像は、取込み時に互いに空間的に位置合わせされる。いくつかの態様では、この方法は、画像取込みユニットのビーム・スプリッタによって、受光した光を第１の部分と第２の部分とに分離するステップと、受光した光の第１の部分を第１の画像取込みセンサに向けて送るステップと、この光の第２の部分を第２の画像取込みセンサに向けて送るステップとをさらに含むことができる。
第５の実施形態
装置は、第１の画像取込みセンサ面を含む第１の画像取込みセンサと、第２の画像取込みセンサ面を含む第２の画像取込みセンサと、光を受光するように位置決めされたプリズム・アセンブリであり、受光した光がプリズム・アセンブリに進入する遠位面、受光した光の偏光状態に基づいて受光した光の第１の部分を反射し、受光した光の偏光状態に基づいて受光した光の第２の部分を透過させるように構成されたビーム・スプリッタ、および受光した光の第１の部分を第１の画像取込みセンサに向けて送るように構成された表面を含むプリズム・アセンブリと、受光した光の第２の部分を受光し、受光した光の第２の部分を第２の画像取込みセンサに向けて送るように位置決めされた反射ユニットとを含み、遠位面から第１のセンサ面までの第１の光路長は、遠位面から第２のセンサ面までの第２の光路長とほぼ等しい。いくつかの態様では、第１および第２の画像取込みセンサ面は、同一平面とすることができる。いくつかの態様では、第１および第２のセンサ面は、それぞれ、実質的に平行で既知の距離だけ離間した第１および第２の平面内にあってもよい。いくつかの態様では、第１の画像取込みセンサおよび第２の画像取込みセンサは、１つの画像取込みセンサ・チップの異なる領域を構成することができる。いくつかの態様では、この装置は、第１の画像取込みセンサおよび第２の画像取込みセンサと、プリズム・アセンブリと、反射ユニットとを有する遠位端部を含む内視鏡を有することができる。いくつかの態様では、この装置は、遠位端部、１対のチャネル、ならびに複数の第１および第２の画像取込みセンサと、プリズム・アセンブリと、反射ユニットとを含む立体視内視鏡をさらに含むことができ、第１の画像取込みセンサ、第２の画像取込みセンサ、プリズム・アセンブリおよび反射ユニットは複数含まれ、１対のチャネルの各チャネルは、立体視内視鏡の遠位端部に、異なる第１の画像取込みセンサ、異なる第２の画像取込みセンサ、異なるプリズム・アセンブリおよび異なる反射ユニットを複数含む。いくつかの態様では、ビーム・スプリッタは、多層コーティング面を含むことができる。いくつかの態様では、反射ユニットは、受光した光の第２の部分を第２の画像取込みセンサに反射するように位置決めされた反射面をさらに含むことができる。いくつかの態様では、プリズム・アセンブリおよび反射ユニットは、１つの一体構造（例えば２つもしくは３つの部品を接着したもの、および／またはペンタプリズムなど）を構成することができる。いくつかの態様では、ビーム・スプリッタは、４５度未満の入射角を有することができる。いくつかの態様では、この装置は、ビーム・スプリッタの遠位に位置決めされた遮蔽体をさらに含むことができる。いくつかの態様では、この装置は、遮蔽体とプリズム・アセンブリの遠位面との間に位置決めされた４分の１波長板をさらに含むことができる。いくつかの態様では、この装置は、第１および第２の画像取込みセンサに結合された制御装置をさらに含むことができ、この制御装置は、第１の画像取込みセンサによって取り込まれた第１の画像と第２の画像取込みセンサによって取り込まれた第２の画像とを結合して、受光した光の偏光の差に基づいてその中のフィーチャの顕著性を高めた画像を生成する。いくつかの態様では、この装置は、偏光を有する照明源をさらに含むことができ、受光する光は、この偏光とは異なる偏光を有する反射光と、この偏光を有する反射光とを含む。いくつかの態様では、この装置は、非偏光照明源をさらに含むことができ、受光する光は、反射非偏光光および反射偏光光を含む。
第６の実施形態
方法は、共通の前端部光学系から受光した光の第１の偏光部分から、第１の画像を、画像取込みユニットの第１の画像取込みセンサで取り込むステップと、共通の前端部光学系から受光した光の第２の部分から、第２の画像を、画像取込みユニットの第２の画像取込みセンサで取り込むステップとを含み、共通の前端部光学系から第１のセンサ面までの第１の光路長は、共通の前端部光学系から第２のセンサ面までの第２の光路長とほぼ等しい。いくつかの態様では、第１および第２の画像取込みセンサは、同一平面にあってもよいし、あるいはそれぞれ実質的に平行で既知の距離だけ離間した第１および第２の平面内にあってもよい。いくつかの態様では、この方法は、画像取込みユニットのビーム・スプリッタの偏光に基づいて、受光した光を第１の偏光部分と第２の部分に分離するステップと、受光した光の第１の偏光部分をビーム・スプリッタによって第１の画像取込みセンサに向けて送るステップと、この光の第２の部分を反射ユニットによって第２の画像取込みセンサに向けて送るステップとをさらに含むことができる。いくつかの態様では、この方法は、第１の画像取込みセンサによって取り込まれた第１の画像と第２の画像取込みセンサによって取り込まれた第２の画像とを結合して、受光した光の偏光の差に基づいてその中のフィーチャの顕著性を高めた画像を生成するステップをさらに含むことができる。いくつかの態様では、この方法は、偏光光または非偏光光でシーンを照明するステップをさらに含むことができる。
第７の実施形態
装置は、第１の画像取込みセンサ面を含む第１の画像取込みセンサと、第２の画像取込みセンサ面を含む第２の画像取込みセンサと、光を受光するように位置決めされたプリズム・アセンブリであり、受光した光がプリズム・アセンブリに進入する遠位面、受光した光の第１の割合を反射し、受光した光の第２の割合を透過させるように構成されたビーム・スプリッタ、および受光した光の第１の割合を第１の画像取込みセンサに向けて送るように構成された表面を含むプリズム・アセンブリと、受光した光の第２の割合を受光し、受光した光の第２の割合を第２の画像取込みセンサに向けて送るように位置決めされた反射ユニットとを含み、遠位面から第１のセンサ面までの第１の光路長は、遠位面から第２のセンサ面までの第２の光路長とほぼ等しい。いくつかの態様では、第１および第２の画像取込みセンサ面は、同一平面にあってもよいし、あるいはそれぞれ実質的に平行で既知の距離だけ離間した第１および第２の平面内にあってもよい。いくつかの態様では、第１の画像取込みセンサおよび第２の画像取込みセンサは、１つの画像取込みセンサ・チップの異なる領域を構成することができる。いくつかの態様では、この装置は、第１の画像取込みセンサおよび第２の画像取込みセンサと、プリズム・アセンブリと、反射ユニットとを有する遠位端部を含む内視鏡を有することができる。いくつかの態様では、この装置は、遠位端部、１対のチャネル、ならびに複数の第１および第２の画像取込みセンサと、プリズム・アセンブリと、反射ユニットとを含む立体視内視鏡をさらに有することができ、第１の画像取込みセンサ、第２の画像取込みセンサ、プリズム・アセンブリおよび反射ユニットは複数含まれ、１対のチャネルの各チャネルは、立体視内視鏡の遠位端部に、異なる第１の画像取込みセンサ、異なる第２の画像取込みセンサ、異なるプリズム・アセンブリおよび異なる反射ユニットを複数含む。いくつかの態様では、プリズム・アセンブリは、ペンタプリズムを含むことができる。いくつかの態様では、この装置は、プリズム・アセンブリの遠位に位置決めされた遮蔽体をさらに含むことができる。いくつかの態様では、１００パーセントから第１の割合を引くと、ほぼ第２の割合になる。いくつかの態様では、第１および第２の画像取込みセンサは、カラー・センサを含むことができる。いくつかの態様では、この装置は、第１および第２の画像取込みセンサに結合された制御装置をさらに含むことができ、この制御装置が、第１の画像取込みセンサによって取り込まれた第１の画像から得られる情報と第２の画像取込みセンサによって取り込まれた第２の画像から得られる情報とを結合して、単一の画像取込みセンサによって取り込まれた画像よりエンハンスされた空間解像度およびエンハンスされたダイナミック・レンジの一方を有する画像を生成すること、第１の割合と第２の割合がほぼ等しく、この制御装置が生成する画像が、エンハンスされた空間解像度を有すること、あるいは、第１の割合と第２の割合はほぼ等しいとは言えず、この制御装置が生成する画像がエンハンスされたダイナミック・レンジを有することを特徴とする。いくつかの態様では、第１の割合と第２の割合は、ほぼ等しくすることができ、第１の割合が、受光した光の約５０パーセントとすることができ、第２の割合が、受光した割合の約５０パーセントとすることができること、ビーム・スプリッタおよび表面が、第１の光路長が依然として第２の光路長とほぼ等しいままとなるようにして、第１の画像取込みセンサによって取り込まれた画像を第２の画像取込みセンサによって取り込まれた画像からオフセットするように位置決めすることができること、および／または、この装置が、第１の画像取込みセンサによって取り込まれた第１の画像中の第１の画素をサンプリングし、第２の画像取込みセンサによって取り込まれる第１の画素に対応する第２の画素をサンプリングし、第１および第２の画像取込みセンサによって取り込まれた画像より高い見かけの解像度を有する画像の画素を生成するように構成された、第１および第２の画像取込みセンサに結合された制御装置をさらに含むことができることを特徴とする。いくつかの態様では、第１の割合と第２の割合が等しくなく、第１の割合は、第１の画像取込みセンサのダイナミック・レンジに基づく。いくつかの態様では、第１の割合は、受光した光の約Ｎ％であり、第２の割合は、受光した光の約Ｍ％であり、ＮおよびＭは正の数であり、１００パーセントからＮ％を引くとＭ％とほぼ等しくなり、Ｎ％は、第１の画像取込みセンサのダイナミック・レンジに基づいて選択され、この装置は、第１および第２の画像取り込みセンサに結合された制御装置をさらに含んでおり、第１の画像取込みセンサによって取り込まれた画像中の画素をサンプリングし、第２の画像取込みセンサによって取り込まれた画像中のそれに対応する画素をサンプリングし、サンプリングした画素を用いて出力画像の画素を生成し、この出力画像は、単一の画像取込みセンサによって取り込まれた画像より高いダイナミック・レンジを有する。
第８の実施形態
装置は、第１の画像取込みセンサ面を含む第１の画像取込みセンサと、第２の画像取込みセンサ面を含む第２の画像取込みセンサと、複数の色成分を含む光を受光するように位置決めされたプリズム・アセンブリであり、受光した光がビーム・スプリッタに進入する遠位面、複数の色成分のうちの１つの色成分を反射し、複数の色成分のうちの他の色成分を透過させるように構成されたビーム・スプリッタ、上記の１つの色成分を第１の画像取込みセンサに向けて送るように構成された表面を含むプリズム・アセンブリと、受光した光の第２の部分を受光し、上記の他の色成分を第２の画像取込みセンサに向けて送るように位置決めされた反射ユニットとを含み、遠位面から第１のセンサ面までの第１の光路長は、遠位面から第２のセンサ面までの第２の光路長とほぼ等しい。いくつかの態様では、第１および第２の画像取込みセンサ面は、同一平面にあってもよいし、あるいはそれぞれ実質的に平行で既知の距離だけ離間した第１および第２の平面内にあってもよい。いくつかの態様では、第１の画像取込みセンサは、モノクロ画像取込みセンサを含むことができ、第２の画像取込みセンサは、複数の色成分のうちの上記の他の色成分用のカラー・フィルタ・アレイを有する画像取込みセンサを含むことができ、複数の色成分のうちの上記の１つが緑色成分であり、複数の色成分のうちの上記の他の色成分が赤色成分および青色成分であること、カラー・フィルタ・アレイが、赤および青の画素のチェッカボードとすることができること、および／または、この装置が、複数の色成分のうちの上記の１つではフル空間解像度を有し、複数の色成分のうちの上記の他の色成分ではそれより低減された空間解像度を有し、カラー画像取込みセンサによって取り込まれた画像より改善された空間解像度および鮮鋭度を有する画像を生成するように構成された、第１および第２の画像取込みセンサに結合された制御装置をさらに含むことができることを特徴とする。
第９の実施形態
方法は、共通の前端部光学系から受光した光の第１の割合から、第１の画像を、画像取込みユニットの第１の画像取込みセンサで取り込むステップと、共通の前端部光学系から受光した光の第２の割合から、第２の画像を、画像取込みユニットの第２の画像取込みセンサで取り込むステップであり、画像取込みユニット内での第１の画像取込みセンサまでの第１の光路長が画像取込みユニット内での第２の画像取込みセンサまでの第２の光路長とほぼ等しいステップと、第１の画像から得られる情報と第２の画像から得られる情報とを結合して、単一の画像取込みセンサによって取り込まれた画像よりエンハンスされた空間解像度およびエンハンスされたダイナミック・レンジの一方を有する画像を生成するステップとを含むことができる。いくつかの態様では、第１および第２の画像取込みセンサ面は、同一平面にあってもよいし、あるいはそれぞれ実質的に平行で既知の距離だけ離間した第１および第２の平面内にあってもよい。
第１０の実施形態
装置は、第１の画像取込みセンサ面を含む第１の画像取込みセンサと、第２の画像取込みセンサ面を含む第２の画像取込みセンサと、光を受光するように位置決めされたプリズム・アセンブリであり、受光した光がプリズム・アセンブリに進入する遠位面、第１の光成分のセットを受光した光の第１の部分として反射し、第２の光成分のセットを受光した光の第２の部分として通過させる複数のノッチ・フィルタを含むビーム・スプリッタ、および受光した光の第１の部分を第１の画像取込みセンサに向けて送るように構成された表面を含むプリズム・アセンブリと、受光した光の第２の部分を受光し、受光した光の第２の部分を第２の画像取込みセンサに向けて送るように位置決めされた反射ユニットとを含み、遠位面から第１のセンサ面までの第１の光路長が、遠位面から第２のセンサ面までの第２の光路長とほぼ等しい。いくつかの態様では、第１および第２の画像取込みセンサ面は、同一平面にあってもよいし、あるいはそれぞれ実質的に平行で既知の距離だけ離間した第１および第２の平面内にあってもよい。いくつかの態様では、第１の画像取込みセンサおよび第２の画像取込みセンサは、１つの画像取込みセンサ・チップの異なる領域を構成することができる。いくつかの態様では、この装置は、第１の画像取込みセンサおよび第２の画像取込みセンサと、プリズム・アセンブリと、反射ユニットとを有する遠位端部を含む内視鏡を有することができる。いくつかの態様では、この装置は、遠位端部、１対のチャネル、ならびに複数の第１および第２の画像取込みセンサと、プリズム・アセンブリと、反射ユニットとを含む立体視内視鏡をさらに含むことができ、第１の画像取込みセンサ、第２の画像取込みセンサ、プリズム・アセンブリおよび反射ユニットを複数含み、１対のチャネルの各チャネルは、立体視内視鏡の遠位端部に、異なる第１の画像取込みセンサ、異なる第２の画像取込みセンサ、異なるプリズム・アセンブリおよび異なる反射ユニットを複数含む。いくつかの態様では、プリズム・アセンブリは、ペンタプリズムを含むことができる。いくつかの態様では、この装置は、プリズム・アセンブリの遠位に位置決めされた遮蔽体をさらに含むことができる。いくつかの態様では、第１および第２の画像取込みセンサは、カラー・センサを含むことができ、および／または、この装置は、複数の色成分を含む出力光を生成する照明器をさらに含むことができ、および／または、この装置は、第１の画像取込みセンサによって取り込まれた第１の画像のモザイク解除処理された画像を受信し、第２の画像取込みセンサによって取り込まれた第２の画像のモザイク解除処理された画像を受信し、第１の画像中の対応する画素の色成分ベクトルおよび第２の画像中の対応する画素の色成分ベクトルから出力画像中の画素のＮ要素色成分ベクトルを生成するように構成された、第１および第２の画像取込みセンサに結合された色補正モジュールをさらに含むことができ、Ｎが最低でも３である。いくつかの態様では、第１および第２の画像取込みセンサは、カラー・センサを含むことができ、各カラー・センサは、赤／緑／緑／青のベイヤー・カラー・フィルタ・アレイを含み、この装置は、第１の赤色成分出力照明を生成する第１のレーザ照明源と、第１の赤色成分出力照明とは異なる第２の赤色成分出力照明を生成する第２のレーザ照明源と、第１の緑色成分出力照明を生成する第３のレーザ照明源と、第１の緑色成分出力照明とは異なる第２の緑色成分出力照明を生成する第４のレーザ照明源と、第１の青色成分出力照明を生成する第５のレーザ照明源と、第１の青色成分出力照明とは異なる第２の青色成分出力照明を生成する第６のレーザ照明源とを含む照明器をさらに含むことができる。いくつかの態様では、複数のノッチ・フィルタは、第１の赤色光成分、第１の緑色光成分、および第１の青色光成分を、受光した光の第１の部分として反射することができ、複数のノッチ・フィルタは、第２の赤色光成分、第２の緑色光成分、および第２の青色光成分を、受光した光の第２の部分として通過させることができる。いくつかの態様では、この装置は、第１の画像取込みセンサによって取り込まれた第１の画像のモザイク解除処理された画像を受信し、第２の画像取込みセンサによって取り込まれた第２の画像のモザイク解除処理された画像を受信し、第１の画像中の対応する画素の３色成分ベクトルおよび第２の画像中の対応する画素の３色成分ベクトルから出力画像中の画素の６要素色成分ベクトルを生成するように構成された、第１および第２の画像取込みセンサに結合された制御装置をさらに含むことができ、さらに、いくつかの態様では、広帯域白色光照明器も含むことができる。いくつかの態様では、複数のノッチ・フィルタは、受光した光の赤色成分の第１の部分、緑色成分の第１の部分および青色成分の第１の部分を反射し、受光した光の赤色成分の第２の部分、緑色成分の第２の成分、および青色成分の第２の部分を通過させることができる。いくつかの態様では、この装置は、第１の画像取込みセンサによって取り込まれた第１の画像のモザイク解除処理された画像を受信し、第２の画像取込みセンサによって取り込まれた第２の画像のモザイク解除処理された画像を受信し、第１の画像中の対応する画素の３色成分ベクトルおよび第２の画像中の対応する画素の色成分ベクトルから出力画像中の画素のＮ要素色を生成するように構成された、第１および第２の画像取込みセンサに結合された制御装置をさらに含むことができ、ここでＮは３から６の範囲の整数であり、また、この装置は、各画素についてＮ要素色成分ベクトルを受信するように構成された、制御装置に結合されたディスプレイをさらに含むことができる。いくつかの態様では、この装置は、プリズム・アセンブリの遠位に位置決めされたレンズ系をさらに含むことができ、このレンズ系は、そのレンズ系から異なる距離のところに異なる波長の光を合焦させるように構成される。いくつかの態様では、この装置は、第１の画像取込みセンサによって取り込まれた第１の画像および第２の画像取込みセンサによって取り込まれた第２の画像にデジタル・フィルタ・カーネルを適用して第３および第４の画像を生成し、第３および第４の画像をモザイク解除処理し、モザイク解除処理された第３の画像中の対応する画素の色成分ベクトルおよびモザイク解除処理された第４の画像中の対応する画素の色成分ベクトルから出力画像中の画素のＮ要素色成分ベクトルを生成するように構成された、第１および第２の画像取込みセンサに結合された制御装置をさらに含むことができる。ここで、Ｎは３から６の範囲の整数である。いくつかの態様では、この装置は、赤色成分出力照明を生成する第１のレーザ照明源と、緑色成分出力照明を生成する第２のレーザ照明源と、青色成分出力照明を生成する第３のレーザ照明源とを含む照明器をさらに含むことができ、いくつかの態様では、複数のノッチ・フィルタは、赤色光成分、緑色光成分および青色光成分を受光した光の第１の部分として反射し、蛍光を通過させ、またいくつかの態様では、この装置は、第１の画像中の対応する画素の色成分ベクトルおよび第２の画像中の対応する画素の色成分ベクトルから出力画像中の画素の４要素色成分ベクトルを生成するように構成された、第１および第２の画像取込みセンサに結合された制御装置をさらに含むことができ、また、４要素色成分ベクトルの要素のうち３つの要素は可視カラー画像用であり、４要素色成分ベクトルの要素のうち第４の要素は蛍光画像用であり、またいくつかの態様では、第１および第２の画像取込みセンサはそれぞれ、赤／緑／緑／青のベイヤー・カラー・フィルタ・アレイを含むカラー・センサを含み、またいくつかの態様では、照明器は、蛍光励起光源をさらに含むことができ、この装置は、受光した光に含まれる蛍光励起光源からの光を阻止するために取り付けられたフィルタをさらに含むことができ、またいくつかの態様では、この蛍光は、複数の蛍光に含めることができ、各蛍光が異なる色を構成する。
第１１の実施形態
方法は、共通の前端部光学系を通して受光した光を、画像取込みユニットの複数のノッチ・フィルタによって第１の複数の光成分と第２の複数の光成分とに分離するステップと、第１の複数の光成分から、第１の画像を、画像取込みユニットの第１の画像取込みセンサで取り込むステップと、第２の複数の光成分から、第２の画像を、画像取込みユニットの第２の画像取込みセンサで取り込むステップであり、画像取込みユニット内での第１の画像取込みセンサまでの第１の光路長が画像取込みユニット内での第２の画像取込みセンサまでの第２の光路長とほぼ等しいステップと、第１の画像中の対応する画素の色成分ベクトルおよび第２の画像中の対応する画素の色成分ベクトルから出力画像中の画素のＮ要素色成分ベクトルを生成するステップとを含み、ここで、Ｎは最低でも３である。いくつかの態様では、第１および第２の画像取込みセンサ面は、同一平面にあってもよいし、あるいはそれぞれ実質的に平行で既知の距離だけ離間した第１および第２の平面内にあってもよい。
第１２の実施形態
装置は、第１の画像取込みセンサ面を含む第１の画像取込みセンサと、第２の画像取込みセンサ面を含む第２の画像取込みセンサと、光を受光するように位置決めされたプリズム・アセンブリであり、受光した光がプリズム・アセンブリに進入する遠位面、受光した光の第１の部分を反射し、受光した光の第２の部分を透過させるように構成されたビーム・スプリッタ、および受光した光の第１の部分を第１の画像取込みセンサに向けて送るように構成された表面を含むプリズム・アセンブリと、受光した光の第２の部分を受光し、受光した光の第２の部分を第２の画像取込みセンサに向けて送るように位置決めされた反射ユニットとを含み、遠位面から第１のセンサ面までの第１の光路長は、遠位面から第２のセンサ面までの第２の光路長より短く、第１の画像取込みセンサは、第１の物体距離のところに合焦した画像を取り込み、第２の画像取込みセンサは、第２の物体距離のところに合焦した画像を取り込む。いくつかの態様では、第１および第２の画像取込みセンサ面は、同一平面にあってもよいし、あるいはそれぞれ実質的に平行で既知の距離だけ離間した第１および第２の平面内にあってもよい。いくつかの態様では、第１の画像取込みセンサおよび第２の画像取込みセンサは、１つの画像取込みセンサ・チップの異なる領域を構成することができる。いくつかの態様では、この装置は、第１の画像取込みセンサおよび第２の画像取込みセンサと、プリズム・アセンブリと、反射ユニットとを有する遠位端部を含む内視鏡を有することができる。いくつかの態様では、この装置は、遠位端部、１対のチャネル、ならびに複数の第１および第２の画像取込みセンサと、プリズム・アセンブリと、反射ユニットとを有する立体視内視鏡をさらに含むことができ、第１の画像取込みセンサ、第２の画像取込みセンサ、プリズム・アセンブリおよび反射ユニットを複数含み、１対のチャネルの各チャネルは、立体視内視鏡の遠位端部に、異なる第１の画像取込みセンサ、異なる第２の画像取込みセンサ、異なるプリズム・アセンブリおよび異なる反射ユニットを複数含む。いくつかの態様では、プリズム・アセンブリは、ペンタプリズムを含むことができる。いくつかの態様では、この装置は、プリズム・アセンブリの遠位に位置決めされた遮蔽体をさらに含むことができる。いくつかの態様では、受光した光の第１の部分は、受光した光の第１の割合とすることができ、受光した光の第２の部分は、受光した光の第２の割合とすることができ、いくつかの態様では、第１の割合と第２の割合はほぼ等しく、またいくつかの態様では、１００パーセントから第１の割合を引くと、第２の割合にほぼ等しくなり、またいくつかの態様では、第１の割合と第２の割合はほぼ等しいとは言えず、第１の割合は第２の割合より小さく、またいくつかの態様では、第１および第２の画像取込みセンサのうちの少なくとも一方は、カラー画像取込みセンサを含み、いくつかの態様では、この装置は、第１および第２の画像取込みセンサに結合されて第１および第２の画像を受信する制御装置をさらに含み、この制御装置は、第１および第２の画像から焦点の合った出力画像を自動的に生成するように構成され、さらに、いくつかの態様において、第１の画像中の第１の画素群をサンプリングし、第２の画像中の対応する第２の画素群をサンプリングし、第１の画素群および第２の画素群のうちの一方を出力画像用に選択するように構成され、また他の態様では、この装置は、第１および第２の画像取込みセンサに結合された制御装置をさらに含み、この制御装置は、第１の画像取込みセンサによって取り込まれた第１の画像および第２の画像取込みセンサによって取り込まれた第２の画像を取り出すように構成され、かつ第１および第２の画像から深さマップを生成するように構成され、さらに、いくつかの態様において、シーンの３次元表面を生成し、第１および第２の画像をこの３次元表面に投影してテクスチャ・マッピングしてテクスチャ処理された画像面を生成し、深さマップおよびテクスチャ処理された画像面から仮想カメラ点の新たな画像を生成するように構成され、その他の態様では、この装置は、遠位端部、１対のチャネル、ならびに複数の第１および第２の画像取込みセンサと、プリズム・アセンブリと、反射アセンブリとを有する立体視内視鏡をさらに含み、第１の画像取込みセンサ、第２の画像取込みセンサ、プリズム・アセンブリおよび反射ユニットを複数含み、１対のチャネルの各チャネルは、立体視内視鏡の遠位端部に、異なる第１の画像取込みセンサ、異なる第２の画像取込みセンサ、異なるプリズム・アセンブリおよび異なる反射ユニットを複数含み、いくつかの態様では、この装置は、上記の対のうちの第１のチャネル中の第１および第２の画像取込みセンサに結合されて第１および第２の取得画像を受信し、上記の対のうちの第２のチャネル中の第１および第２の画像取込みセンサに結合されて第３および第４の取得画像を受信する制御装置をさらに含み、この制御装置は、第１のチャネル用の第１のチャネルの深さマップを生成し、第２のチャネル用の第２のチャネルの深さマップを生成し、第１および第２のチャネルの深さマップに基づいてシーンの３次元表面を生成し、第１、第２、第３および第４の取得画像をこの３次元表面に投影してテクスチャ処理して、テクスチャ処理された画像面を生成し、テクスチャ処理された画像面から新たな仮想カメラ視点の新たな画像を生成するように構成される。
第１３の実施形態
方法は、共通の前端部光学系から受光した光の一部から、第１の画像を、画像取込みユニットの第１の画像取込みセンサで取り込むステップと、共通の前端部光学系から受光した光の第２の部分から、第２の画像を、画像取込みユニットの第２の画像取込みセンサで取り込むステップとを含み、画像取込みユニット内での第１の画像取込みセンサまでの第１の光路長は、画像取込みユニット内での第２の画像取込みセンサまでの第２の光路長より短く、さらに、第１の画像から得られた情報と第２の画像から得られた情報とを結合して、拡大された被写界深度を有する焦点の合った画像を生成するステップを含む。いくつかの態様では、第１および第２の画像取込みセンサは、同一平面にあり、あるいはそれぞれ実質的に平行で既知の距離だけ離間した第１および第２の平面内にある。
第１４の実施形態
方法は、共通の前端部光学系から受光した光の一部から、第１の画像を、画像取込みユニットの第１の画像取込みセンサで取り込むステップと、共通の前端部光学系から受光した光の第２の部分から、第２の画像を、画像取込みユニットの第２の画像取込みセンサで取り込むステップとを含み、画像取込みユニット内での第１の画像取込みセンサまでの第１の光路長は、画像取込みユニット内での第２の画像取込みセンサまでの第２の光路長より短く、さらに、第１の画像から得られた情報と第２の画像から得られた情報とを結合して、仮想カメラ視点からの画像を生成するステップを含む。いくつかの態様では、第１および第２の画像取込みセンサは、同一面にあってもよいし、あるいはそれぞれ実質的に平行で既知の距離だけ離間した第１および第２の平面内にあってもよい。いくつかの態様では、この方法は、表示されたシーンが時間経過とともに前後に揺れるように、１つのシーンの複数の仮想カメラ視点からの複数の画像を、非ステレオ・ディスプレイ・ユニット上に表示するステップをさらに含むことができる。

Claims (16)

  1. 装置であって、当該装置は、
    第１の画像取込みセンサ面を含む第１の画像取込みセンサと、
    第２の画像取込みセンサ面を含む第２の画像取込みセンサと、
    光を受光するように位置決めされたプリズム・アセンブリであって、該プリズム・アセンブリは、
    前記受光した光が前記プリズム・アセンブリに進入する遠位面と、
    前記受光した光の偏光状態に基づいて前記受光した光の第１の部分を反射し、前記受光した光の偏光状態に基づいて前記受光した光の第２の部分を透過させるように構成されるビーム・スプリッタと、
    前記受光した光の第１の部分を第１の画像取込みセンサに反射するように構成された表面であって、前記ビーム・スプリッタから分離された表面と、を含む、プリズム・アセンブリと、
    前記受光した光の第２の部分を受光するように位置決めされ、且つ前記受光した光の第２の部分を第２の画像取込みセンサに向けて送るように構成された反射ユニットと、を有しており、
    前記遠位面から第１の画像取込みセンサ面までの第１の光路長は、前記遠位面から第２の画像取込みセンサ面までの第２の光路長にほぼ等しい、
    装置。
  2. 第１及び第２の画像取込みセンサ面は、同一平面上にある、請求項１に記載の装置。
  3. 第１のセンサ面は第１の面内にあり、第２のセンサ面は第２の面内にあり、第１及び第２の面は実質的に平行であり、且つ既知の距離だけ離れている、請求項１に記載の装置。
  4. 第１及び第２の画像取込みセンサ、前記プリズム・アセンブリ、及び前記反射ユニットを含む遠位端部を有する内視鏡を含む、請求項１に記載の装置。
  5. 前記プリズム・アセンブリ及び前記反射ユニットは単一の一体構造を含み、前記単一の一体構造はペンタプリズムを含む、請求項１に記載の装置。
  6. 前記ビーム・スプリッタは、４５度よりも小さい入射角を有する、請求項１に記載の装置。
  7. 前記ビーム・スプリッタの遠位に位置決めされ、前記光が前記装置に進入する前記装置内の開口部に近接して位置決めされた遮蔽体と、
    該遮蔽体と前記プリズム・アセンブリの遠位面との間に位置決めされた４分の１波長板と、をさらに有する、請求項１に記載の装置。
  8. 第１及び第２の画像取込みセンサに結合されるコントローラであって、第１の画像取込みセンサによって取り込まれた第１の画像と第２の画像取込みセンサによって取り込まれた第２の画像とを組み合わせて、前記受光した光の偏光の差に基づいて画像中のフィーチャの顕著性を高めた画像を生成する、コントローラをさらに有する、請求項１に記載の装置。
  9. 偏光を有する照明源をさらに含み、前記受光した光は、前記偏光とは異なる偏光を有する反射光と、前記偏光を有する反射光とを含む、請求項１に記載の装置。
  10. 非偏光照明源をさらに含み、前記受光した光は、反射非偏光光及び反射偏光光を含む、請求項１に記載の装置。
  11. 方法であって、当該方法は、
    画像取込みユニットのビーム・スプリッタによって、共通の前端部光学系から受光した光を、偏光に基づいて、第１の偏光部分と第２の部分とに分離するステップと、
    前記ビーム・スプリッタから離れた面によって、前記受光した光の第１の偏光部分を前記画像取込みユニットの第１の画像取込みセンサに反射するステップと、
    前記画像取込みユニットの反射ユニットによって、前記光の第２の部分を前記画像取込みユニットの第２の画像取込みセンサに向けるステップと、
    第１の画像取込みセンサにおいて、前記光の第１の偏光部分からの第１の画像を取り込むステップと、
    前記画像取込みユニットの第２の画像取込みセンサにおいて、前記光の第２の部分から第２の画像を取り込むステップであって、前記共通の前端部光学系から第１の画像取込みセンサの第１の画像取込みセンサ面までの第１の光路長が、前記共通の前端部光学系から第１の画像取込みセンサの第２の画像取込みセンサ面までの第２の光路長にほぼ等しい、取り込むステップと、を含む、
    方法。
  12. 第１及び第２の画像取込みセンサ面は、同一平面上にある、請求項１１に記載の方法。
  13. 第１のセンサ面は第１の面内にあり、第２のセンサ面は第２の面内にあり、第１及び第２の面は実質的に平行であり、且つ既知の距離だけ離れている、請求項１１に記載の方法。
  14. 第１の画像取込みセンサによって取り込まれた第１の画像と第２の画像取込みセンサによって取り込まれた第２の画像とを組み合わせて、前記受光した光の偏光の差に基づいて画像中のフィーチャの顕著性を高めた画像を生成するステップをさらに含む、請求項１１に記載の方法。
  15. 偏光光でシーンに照明するステップをさらに含む、請求項１１に記載の方法。
  16. 非偏光光でシーンを照明するステップをさらに含む、請求項１１に記載の方法。



JP2017114998A 2011-08-12 2017-06-12 外科手術器具の画像取込み装置 Active JP6480508B2 (ja)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US13/209,121 2011-08-12
US13/209,041 US8764633B2 (en) 2011-08-12 2011-08-12 Feature differentiation image capture unit and method in a surgical instrument
US13/209,084 2011-08-12
US13/208,982 2011-08-12
US13/209,158 US8784301B2 (en) 2011-08-12 2011-08-12 Image capture unit and method with an extended depth of field
US13/209,121 US8684914B2 (en) 2011-08-12 2011-08-12 Image capture unit and an imaging pipeline with enhanced color performance in a surgical instrument and method
US13/209,041 2011-08-12
US13/209,084 US8734328B2 (en) 2011-08-12 2011-08-12 Increased resolution and dynamic range image capture unit in a surgical instrument and method
US13/209,158 2011-08-12
US13/208,982 US8672838B2 (en) 2011-08-12 2011-08-12 Image capture unit in a surgical instrument

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014525180A Division JP6258201B2 (ja) 2011-08-12 2012-08-10 外科手術器具の画像取込み装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019020224A Division JP6740401B2 (ja) 2011-08-12 2019-02-07 外科手術器具の画像取込み装置

Publications (2)

Publication Number Publication Date
JP2017148657A true JP2017148657A (ja) 2017-08-31
JP6480508B2 JP6480508B2 (ja) 2019-03-13

Family

ID=47715395

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2014525180A Active JP6258201B2 (ja) 2011-08-12 2012-08-10 外科手術器具の画像取込み装置
JP2017114998A Active JP6480508B2 (ja) 2011-08-12 2017-06-12 外科手術器具の画像取込み装置
JP2019020224A Active JP6740401B2 (ja) 2011-08-12 2019-02-07 外科手術器具の画像取込み装置
JP2020124976A Active JP7169725B2 (ja) 2011-08-12 2020-07-22 外科手術器具の画像取込み装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014525180A Active JP6258201B2 (ja) 2011-08-12 2012-08-10 外科手術器具の画像取込み装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2019020224A Active JP6740401B2 (ja) 2011-08-12 2019-02-07 外科手術器具の画像取込み装置
JP2020124976A Active JP7169725B2 (ja) 2011-08-12 2020-07-22 外科手術器具の画像取込み装置

Country Status (5)

Country Link
EP (1) EP2741702B1 (ja)
JP (4) JP6258201B2 (ja)
KR (7) KR102529996B1 (ja)
CN (3) CN107913053B (ja)
WO (1) WO2013025530A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013206911A1 (de) * 2013-04-17 2014-10-23 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur stereoskopischen Darstellung von Bilddaten
TW201528775A (zh) 2014-01-02 2015-07-16 Ind Tech Res Inst 景深圖校正方法及系統
AU2015230939B2 (en) * 2014-03-21 2019-05-02 Hypermed Imaging, Inc. Compact light sensor
WO2015176298A1 (en) 2014-05-23 2015-11-26 Covidien Lp 3d laparoscopic image capture apparatus with a single image sensor
US20160029892A1 (en) * 2014-07-30 2016-02-04 Novartis Ag Vital stain visualization in ophthalmic surgical procedures and associated devices, systems, and methods
TWI561773B (en) * 2014-08-06 2016-12-11 Delta Electronics Inc Six-primary solid state illuminator and operating method using the same
WO2016059906A1 (ja) * 2014-10-16 2016-04-21 オリンパス株式会社 内視鏡装置
WO2016080218A1 (ja) 2014-11-21 2016-05-26 オリンパス株式会社 撮像システム
DE102015217253A1 (de) * 2015-09-10 2017-03-16 Robert Bosch Gmbh Umfelderfassungseinrichtung für ein Fahrzeug und Verfahren zum Erfassen eines Bilds mittels einer Umfelderfassungseinrichtung
EP3156761B1 (en) * 2015-10-14 2020-12-30 H4 Technologies Limited Image acquisition and processing
CN105611276B (zh) * 2015-12-22 2017-12-26 广州广康医疗科技股份有限公司 一种与达芬奇机器人配套使用的高清3d录直播系统
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
US10257393B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Devices and methods for high dynamic range video
JP2017148432A (ja) * 2016-02-26 2017-08-31 富士フイルム株式会社 内視鏡用光源装置
US11163169B2 (en) 2016-06-07 2021-11-02 Karl Storz Se & Co. Kg Endoscope and imaging arrangement providing improved depth of field and resolution
US11307430B2 (en) 2016-06-07 2022-04-19 Karl Storz Se & Co. Kg Optical device and method for providing improved depth of field and resolution modes
US10324300B2 (en) * 2016-06-07 2019-06-18 Karl Storz Se & Co. Kg Endoscope and imaging arrangement providing depth of field
US10992917B2 (en) * 2016-06-17 2021-04-27 Sony Corporation Image processing device, image processing method, program, and image processing system that use parallax information
EP3497925B1 (en) 2016-08-09 2022-11-23 Contrast, Inc. Real-time hdr video for vehicle control
US11782256B2 (en) * 2016-09-21 2023-10-10 Omnivision Technologies, Inc. Endoscope imager and associated method
NL2017973B1 (en) * 2016-12-09 2018-06-19 Quest Photonic Devices B V Dichroic prism assembly with four or five channels
WO2018173412A1 (ja) 2017-03-24 2018-09-27 オリンパス株式会社 内視鏡システム
WO2018225377A1 (ja) 2017-06-07 2018-12-13 オリンパス株式会社 内視鏡撮像システム
US11463629B2 (en) 2017-06-12 2022-10-04 Sony Corporation Medical system, medical apparatus, and control method
WO2019048492A1 (en) * 2017-09-08 2019-03-14 Sony Corporation IMAGING DEVICE, METHOD AND PROGRAM FOR PRODUCING IMAGES OF A SCENE
WO2019152552A1 (en) 2018-01-31 2019-08-08 Intuitive Surgical Operations, Inc. Display with folded optical path
EP3557531A1 (en) * 2018-04-18 2019-10-23 Vision RT Limited Camera monitoring system for monitoring a patient in a bore based medical system
CN108896545B (zh) * 2018-05-09 2021-07-13 歌尔光学科技有限公司 涂胶检测方法、装置及计算机可读存储介质
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
CN108803228B (zh) * 2018-06-15 2021-01-08 郭洪志 一种仿生摄像头三维立体成像系统和方法
US10884263B2 (en) 2018-08-01 2021-01-05 Htc Corporation Head-mounted display and imaging apparatus for displaying image thereof
CN109259717B (zh) * 2018-08-27 2020-08-14 彭波 一种立体内窥镜及内窥镜测量方法
DE102018122816B9 (de) * 2018-09-18 2024-07-04 Carl Zeiss Meditec Ag Verfahren und Vorrichtung zum Bestimmen einer Eigenschaft eines Objekts
US11589819B2 (en) * 2019-06-20 2023-02-28 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a laser mapping imaging system
JP7352411B2 (ja) 2019-08-22 2023-09-28 キヤノン株式会社 撮像装置
US20220395166A1 (en) * 2019-11-22 2022-12-15 Convergascent Llc Utilization of multiple imagers and computational photography in endoscopy
WO2021176442A1 (en) * 2020-03-06 2021-09-10 270 Surgical Ltd. A multi focal endoscope
CN111474140A (zh) * 2020-03-23 2020-07-31 江苏大学 一种双通道正交相位显微成像采样系统
CN115484858A (zh) * 2020-05-12 2022-12-16 柯惠Lp公司 用于在外科手术过程期间的图像映射和融合的系统和方法
CN111766699A (zh) * 2020-07-24 2020-10-13 重庆金山科技（集团）有限公司 成像装置及方法、内窥镜系统
WO2022023157A1 (en) * 2020-07-30 2022-02-03 Interdigital Ce Patent Holdings, Sas Debayering with multiple camera rotations
JPWO2022044897A1 (ja) * 2020-08-31 2022-03-03
WO2022243994A1 (en) * 2021-05-19 2022-11-24 270 Surgical Ltd. Distal tip of a multi camera medical imaging device
US11808935B2 (en) 2021-10-12 2023-11-07 Olympus Corporation Endoscope and endoscope apparatus
DE102022105090B3 (de) 2022-03-03 2023-06-29 Schölly Fiberoptic GmbH Stereoskopische Anordnung und Operationsmikroskop mit stereoskopischer Anordnung

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62174715A (ja) * 1987-01-24 1987-07-31 Olympus Optical Co Ltd 内視鏡装置
JPS63210813A (ja) * 1987-02-27 1988-09-01 Olympus Optical Co Ltd ビデオスコ−プ装置
US4873572A (en) * 1987-02-27 1989-10-10 Olympus Optical Co., Ltd. Electronic endoscope apparatus
JPH05341205A (ja) * 1992-06-09 1993-12-24 Olympus Optical Co Ltd 立体視内視鏡
JP2003047588A (ja) * 2001-08-03 2003-02-18 Olympus Optical Co Ltd 内視鏡装置
JP2004313523A (ja) * 2003-04-17 2004-11-11 Pentax Corp 固体撮像素子、電子内視鏡
JP2005176940A (ja) * 2003-12-16 2005-07-07 Olympus Corp 電子内視鏡
JP2010082040A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 内視鏡システム
JP2011062378A (ja) * 2009-09-18 2011-03-31 Fujifilm Corp 内視鏡システム
JP2011120916A (ja) * 2000-04-10 2011-06-23 C2Cure Inc 医療用画像形成のためのシステム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4074306A (en) * 1975-07-28 1978-02-14 Olympus Optical Co., Ltd. Endoscope utilizing color television and fiber optics techniques
JPH01122274A (ja) * 1987-11-06 1989-05-15 Fujitsu Ltd 撮像装置
JP3628717B2 (ja) * 1994-03-17 2005-03-16 オリンパス株式会社 立体視内視鏡
US5743846A (en) * 1994-03-17 1998-04-28 Olympus Optical Co., Ltd. Stereoscopic endoscope objective lens system having a plurality of front lens groups and one common rear lens group
JPH10118004A (ja) * 1996-10-24 1998-05-12 Fuji Photo Film Co Ltd 蛍光撮像装置
US6331181B1 (en) 1998-12-08 2001-12-18 Intuitive Surgical, Inc. Surgical robotic tools, data architecture, and use
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
JP2000221411A (ja) * 1999-01-29 2000-08-11 Fuji Photo Optical Co Ltd 偽似カラー表示可能な電子内視鏡装置
EP1301118B1 (en) * 2000-07-14 2006-09-06 Xillix Technologies Corp. Compact fluorescence endoscopy video system
US7101334B2 (en) 2001-10-31 2006-09-05 Olympus Corporation Optical observation device and 3-D image input optical system therefor
US20070182844A1 (en) * 2003-03-09 2007-08-09 Latia Imaging Pty Ltd Optical system for producing differently focused images
JP2005182521A (ja) * 2003-12-19 2005-07-07 Matsushita Electric Ind Co Ltd 虹彩撮像カメラおよび虹彩認証システム
JP2005244549A (ja) * 2004-02-26 2005-09-08 Matsushita Electric Ind Co Ltd 認証用画像撮像装置
US20060241495A1 (en) * 2005-03-23 2006-10-26 Eastman Kodak Company Wound healing monitoring and treatment
JP5086535B2 (ja) * 2005-11-21 2012-11-28 オリンパスメディカルシステムズ株式会社 ２板撮像装置
DE102006034205B4 (de) * 2006-07-25 2012-03-01 Carl Mahr Holding Gmbh Dynamische Bildaufnahme mit bildgebenden Sensoren
US8814779B2 (en) * 2006-12-21 2014-08-26 Intuitive Surgical Operations, Inc. Stereoscopic endoscope
JP5448353B2 (ja) * 2007-05-02 2014-03-19 キヤノン株式会社 光干渉断層計を用いた画像形成方法、及び光干渉断層装置
US20090131800A1 (en) * 2007-11-15 2009-05-21 Carestream Health, Inc. Multimodal imaging system for tissue imaging
WO2009121068A2 (en) * 2008-03-28 2009-10-01 Contrast Optical Design & Engineering, Inc. Whole beam image splitting system
US20100165080A1 (en) * 2008-12-26 2010-07-01 Fujifilm Corporation Image capturing apparatus and endoscope
JP5443802B2 (ja) * 2009-03-24 2014-03-19 オリンパス株式会社 蛍光観察装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62174715A (ja) * 1987-01-24 1987-07-31 Olympus Optical Co Ltd 内視鏡装置
JPS63210813A (ja) * 1987-02-27 1988-09-01 Olympus Optical Co Ltd ビデオスコ−プ装置
US4873572A (en) * 1987-02-27 1989-10-10 Olympus Optical Co., Ltd. Electronic endoscope apparatus
JPH05341205A (ja) * 1992-06-09 1993-12-24 Olympus Optical Co Ltd 立体視内視鏡
JP2011120916A (ja) * 2000-04-10 2011-06-23 C2Cure Inc 医療用画像形成のためのシステム
JP2003047588A (ja) * 2001-08-03 2003-02-18 Olympus Optical Co Ltd 内視鏡装置
JP2004313523A (ja) * 2003-04-17 2004-11-11 Pentax Corp 固体撮像素子、電子内視鏡
JP2005176940A (ja) * 2003-12-16 2005-07-07 Olympus Corp 電子内視鏡
JP2010082040A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 内視鏡システム
JP2011062378A (ja) * 2009-09-18 2011-03-31 Fujifilm Corp 内視鏡システム

Also Published As

Publication number Publication date
JP2014524290A (ja) 2014-09-22
KR20190047066A (ko) 2019-05-07
JP2019072557A (ja) 2019-05-16
KR102390141B1 (ko) 2022-04-25
KR102274896B1 (ko) 2021-07-09
CN103889353A (zh) 2014-06-25
KR20220057635A (ko) 2022-05-09
KR101971211B1 (ko) 2019-04-23
KR102529996B1 (ko) 2023-05-08
CN107913053B (zh) 2020-10-30
KR20140050712A (ko) 2014-04-29
JP6740401B2 (ja) 2020-08-12
KR102166302B1 (ko) 2020-10-16
CN107913053A (zh) 2018-04-17
JP6480508B2 (ja) 2019-03-13
WO2013025530A1 (en) 2013-02-21
KR20230062898A (ko) 2023-05-09
JP6258201B2 (ja) 2018-01-10
KR102079689B1 (ko) 2020-02-20
KR20210087564A (ko) 2021-07-12
JP7169725B2 (ja) 2022-11-11
CN112220438B (zh) 2024-02-06
EP2741702B1 (en) 2022-10-19
JP2020168569A (ja) 2020-10-15
EP2741702A1 (en) 2014-06-18
EP2741702A4 (en) 2016-02-24
KR20200019779A (ko) 2020-02-24
CN112220438A (zh) 2021-01-15
CN103889353B (zh) 2017-05-03
KR20200119901A (ko) 2020-10-20

Similar Documents

Publication Publication Date Title
JP6480508B2 (ja) 外科手術器具の画像取込み装置
US20210103137A1 (en) Increased resolution and dynamic range capture unit in a surgical instrument and method
US20210204803A1 (en) Image capture unit in a surgical instrument
US9782056B2 (en) Image capture unit and method with an extended depth of field
US9254076B2 (en) Feature differentiation image capture unit and method in a surgical instrument
US8684914B2 (en) Image capture unit and an imaging pipeline with enhanced color performance in a surgical instrument and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190207

R150 Certificate of patent or registration of utility model

Ref document number: 6480508

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250