JP2005205184A - 診断支援装置 - Google Patents

診断支援装置 Download PDF

Info

Publication number
JP2005205184A
JP2005205184A JP2004349139A JP2004349139A JP2005205184A JP 2005205184 A JP2005205184 A JP 2005205184A JP 2004349139 A JP2004349139 A JP 2004349139A JP 2004349139 A JP2004349139 A JP 2004349139A JP 2005205184 A JP2005205184 A JP 2005205184A
Authority
JP
Japan
Prior art keywords
image
optical system
imaging
endoscope
shift
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004349139A
Other languages
English (en)
Other versions
JP2005205184A5 (ja
Inventor
Eiichi Ito
栄一 伊藤
Kyojiro Nanbu
恭二郎 南部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pentax Corp
Canon Medical Systems Corp
Original Assignee
Pentax Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pentax Corp, Toshiba Medical Systems Corp filed Critical Pentax Corp
Priority to JP2004349139A priority Critical patent/JP2005205184A/ja
Priority to US11/016,913 priority patent/US20050148854A1/en
Priority to DE102004061875A priority patent/DE102004061875A1/de
Publication of JP2005205184A publication Critical patent/JP2005205184A/ja
Publication of JP2005205184A5 publication Critical patent/JP2005205184A5/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/055—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances having rod-lens arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3954—Markers, e.g. radio-opaque or breast lesions markers magnetic, e.g. NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras

Abstract

【課題】 内視鏡装置の位置を変更することなく観察範囲を変更することができ、かつ、内視鏡装置により得られる画像の情報と透視画像の情報との位置関係を術者が容易に把握できるようにすること。
【解決手段】 内視鏡装置１０を架台保持装置５０によって患者付近に固定し、内視鏡装置１０の硬性内視鏡１０ａ内の対物光学系を含む第１撮影光学系により形成される広角像と対応する透過画像とを重畳して第１モニター２に表示すると同時に、第２撮影光学系により形成される拡大像と対応する透過画像と重畳して第２モニター３に表示する。第２撮影光学系に含まれるペシャンプリズム２４を光軸に対して垂直な面内でシフトさせることにより、拡大像の撮影範囲を移動させることができ、これに応じて透過画像の表示範囲をシフトさせることにより、ずれのない重畳表示が可能である。
【選択図】 図１

Description

本発明は、電子内視鏡装置により撮影された体内の内視鏡画像と、ＣＴ、ＭＲＩ等の断層診断装置により得られた透視画像とをモニター画面上で重畳して施術者に表示することにより診断の支援をする診断支援装置に関する。
術中に内視鏡画像と断層診断装置により得られた透視画像とをモニター画面上に重畳して表示する装置は従来から知られている。例えば、特許文献１には、術前に断層診断装置により測定された被検体のデータに基づいて手術による変形を織り込んで被検体の変形後の三次元情報を生成してデータベースに記憶し、術中に計測された被検体の形状に類似する三次元情報を読み出して透視画像(データ画像)を生成し、硬性鏡により撮影された内視鏡画像に重畳してモニターに出力する手術ナビゲーション装置が開示されている。
なお、透視画像とは、断層診断装置により得られた物体の断層画像を三次元データに再構築し、これに基づいて任意の視点から見たときに物体内部構造がどのように見えるかを計算してレタリングされた二次元画像をいう。レタリングの方法としては、コンピュータグラフィックスや画像診断装置において利用されている一般的な手法を用いることができる。例えば、三次元物体の特定表面(例えば空気と空気以外の物質との境界面)を抽出するサーフェースレタリング、物体内の各点の物理的特性を表す数値に基づいて擬似的に透視するボリュームレタリング、あるいは、物体の内部構造のうち目的に応じて重要とみなされる部分(例えば血管)の概観形状を三次元的な線画で表して透視するワイヤーフレームレタリングなどがある。
また、特許文献２には、接続される硬性鏡等の機器の機種の違いや個体差をデータとして記録しておき、術前に断層診断装置により測定された被検体のデータに基づいて生成された透視画像を硬性鏡により撮影された内視鏡画像と重畳する際に、上記の個体差を考慮して両画像の相対位置関係を補正する手法が開示されている。
一方、透視画像に内視鏡の観察部位を示すカーソルや、手術具の位置を重畳して表示する装置も従来から知られている。例えば、特許文献３には、先端を移動させずに撮影範囲を移動させるため、接続されたテレビカメラにＣＣＤ移動機構を備えた硬性鏡が開示されている。この文献に記載された術部観察システムは、術前にＣＴ，ＭＲＩ等により測定された被検体のデータに基づいて生成された透視画像上に、上記の移動機構によるシフトを考慮に入れて硬性鏡の観察位置をカーソルとして重畳してモニター上に表示する。
また、特許文献４は、手術具の位置を透視画像上に表示する装置を開示している。この文献に開示される装置は、被検体および手術具の３次元位置姿勢情報に基づいて、術前にＣＴ，ＭＲＩ等により測定された被検体の断層像情報から対応する断層像を抽出し、手術具の３次元位置姿勢を抽出された断層像上に重畳して表示する。
さらに、特許文献５は、被検体と手術具の３次元位置姿勢情報に基づいて、術前にＣＴ，ＭＲＩ等により測定された被検体の断層像情報から対応する断層像を抽出し、手術具の３次元位置姿勢を抽出された断層像上に重畳し、さらに、被検体と手術具との距離を測定し、その距離情報に基づいて表示される画像の大きさを変化させる手術ナビゲーション装置を開示している。
特開２００２−１０２２４９号公報 特開２００２−２２４１３８号公報 特開２００１−１９８１４１号公報 特開２００１−２９３００６号公報 特開２００２−１７７５１号公報
しかしながら、特許文献１，２に開示される手術ナビゲーション装置は、内視鏡装置自体を移動させなければ観察範囲を変更することができないため、観察範囲をわずかに移動させる際にも内視鏡装置の位置を再設定しなければならず、操作が煩雑である。一方、特許文献３〜５に開示される装置は、内視鏡装置の観察位置、あるいは手術具の位置が透視画像上に重畳して表示されるのみであるため、内視鏡装置を利用する場合には、内視鏡装置により得られる画像の情報(体腔壁の形状等)と、透視画像の情報(血管の位置等)との位置関係を直接把握することができない。
本発明は、上述した従来技術の問題点に鑑みてなされたものであり、内視鏡装置の位置を変更することなく観察範囲を変更することができ、かつ、内視鏡装置により得られる画像の情報と透視画像の情報との位置関係を術者が容易に把握できる診断支援装置を提供することを課題とする。
本発明にかかる診断支援装置は、上記の目的を達成させるため、被検体の内部構造を光学系を介して撮像素子上に結像させて撮影する内視鏡装置と、内視鏡装置を被検体に対して固定可能に保持する保持装置と、内視鏡装置により撮影された被検体の所定部位の内視鏡画像に、断層診断装置により得られた断層画像に基づいて生成された所定部位の透視画像を重畳する画像合成手段と、画像合成手段により合成された画像を表示する表示手段と、内視鏡装置の光学系による結像位置と撮像素子の位置とを相対的にシフトさせる第１のシフト手段と、第１のシフト手段によるシフトに伴う内視鏡画像の撮影範囲の変化に対応させて透視画像の表示範囲をシフトさせる第２のシフト手段とを備え、第１のシフト手段によるシフト後の内視鏡画像と第２のシフト手段によるシフト後の透視画像とを画像合成手段により合成して表示手段に表示させることを特徴とする。
断層診断装置としては、ＣＴ装置、またはＭＲＩ装置を用いることができる。また、第１のシフト手段は、例えば、内視鏡装置の光学系がペシャンプリズムを含む場合には、このペシャンプリズムと、これを光軸に垂直な面内で二次元的に移動させるプリズム移動機構とから構成することができる。
さらに、内視鏡装置は、被検体の像を形成する対物光学系と、対物光学系により形成される被検体の像の所定範囲を再結像させる第１撮影光学系と、第１撮影光学系により形成される像を撮影する第１撮像素子と、対物光学系により形成される像の所定範囲の一部を拡大して再結像させる第２撮影光学系と、第２撮影光学系により形成される像を撮影する第２撮像素子とを備えることが望ましい。この場合、画像合成手段は、第１撮像素子により撮影された第１の内視鏡画像とこれに対応する範囲の透視画像とを合成して第１の合成画像を生成すると共に、第２撮像素子により撮影された第２の内視鏡画像とこれに対応する範囲の透視画像とを合成して第２の合成画像を生成する。そして、第１のシフト手段は、第２撮影光学系による結像位置と第２撮像素子の位置とを相対的にシフトさせ、第２のシフト手段は、第２の合成画像を構成する透視画像の表示範囲をシフトさせる。表示手段は、第１の合成画像を表示する第１の表示装置と、第２の合成画像を表示する第２の表示装置とを含むことが望ましい。
本発明によれば、第１のシフト手段により内視鏡装置の位置を変更することなく観察範囲を変更することができ、かつ、このシフトにあわせて第２のシフト手段により透視画像をシフトさせることにより、シフト後も内視鏡画像と透視画像とを正確に重畳して表示することができるため、内視鏡画像により表される部位と透視画像により表される部位との位置関係を術者が容易に把握することができる。
以下、本発明にかかる診断支援装置の実施形態を説明する。図１は、実施形態にかかる診断支援装置の概略を示すブロック図である。
図１に示すように、実施形態の診断支援装置は、被検体の内部構造を光学系を介して撮像素子上に結像させて撮影する内視鏡装置１０と、内視鏡装置１０を被検体に対して固定可能に保持する保持装置５０と、内視鏡装置１０の位置を測定する位置測定装置７０と、内視鏡装置１０により撮影された被検体の所定部位の内視鏡画像に、ＣＴ装置、あるいはＭＲＩ装置等の断層診断装置１００により得られた断層画像に基づいて生成された所定部位の透視画像を重畳する画像合成装置８０と、画像合成装置８０により合成された画像を表示する表示手段としての第１モニター２及び第２モニター３とを備えている。なお、符号９０は、断層診断装置１００により断層画像を取得する際に被検体に貼り付けられ、位置測定装置７０によりその位置が測定される透視画像基準マーカーである。
内視鏡装置１０には、後述するように撮影範囲のサイズが異なる２系統の撮影手段が備えられており、一方の撮影手段で撮影された内視鏡画像とこれに対応する透視画像とを重畳した広角画像が図２(Ａ)に示すように第１モニター２に表示され、他方の撮影手段で撮影された内視鏡画像とこれに対応する透視画像とを重畳した拡大画像が図２(Ｂ)に示すように第２モニター３に表示される。図２では、内視鏡画像に含まれる体内の構造物２ａ、３ａと、透視画像に含まれる臓器内の構造物、例えば血管等の簡略イメージ２ｂ、３ｂが重畳して表示されている。
内視鏡装置１０は、図３に示されるように、被検体である患者の腹壁に嵌め込まれたトラカール等を介して先端が体腔内に挿入される硬性内視鏡１０ａと、この硬性内視鏡１０ａが取り付けられた像分離装置２０と、この像分離装置２０の内部に組み込まれる光学系によりリレーされる像を撮像する撮像素子としての第１及び第２のＣＣＤカメラ４０，３０とを有する。
硬性内視鏡１０ａは、体腔内の像を形成してリレーするための対物光学系と，体腔内を照明するために図示せぬ光源装置からの照明光を先端部へ導く図示せぬライトガイドとを、直線状の管の内部に有している。対物光学系は、対物レンズ群１１と複数のリレーレンズ１２とから構成されている。対物レンズ群１１は、広い範囲（例えば、１２０°以上の画角）の視野の像を形成可能なレトロフォーカス型のレンズである。この対物レンズ群１１により形成される体腔内の像は、結像面１１ｉに形成される。この結像面１１ｉ上の像は、各リレーレンズ１２により夫々の結像面１２ｉに順次形成されてリレーされ、最終のリレーレンズ１２の結像面１２ｉに形成される。
像分離装置２０は、その内部に、半透明鏡２１、折り返しミラー２２、第１再結像レンズ(第１再結像光学系)２３、ペシャンプリズム２４、フォーカスレンズ２５、第１乃至第３レンズ群２６ａ〜２６ｃからなる第２再結像レンズ(第２再結像光学系)２６を備える。半透明鏡２１は、硬性内視鏡１０内部の対物光学系からの光束の光路上に配置され、この光束の一部を反射し、残りの光束を透過させる。半透明鏡２１により反射された光束は、折り返しミラー２２により反射され、第１再結像レンズ２３を介して第１のＣＣＤカメラ４０の撮像面に被検体の像の所定範囲を再結像させる。対物光学系から第１再結像レンズ２３に至るまでの光学系が第１撮影光学系に相当する。第１のＣＣＤカメラ４０は、この第１撮影光学系により形成される像を撮影する第１撮像素子に相当する。一方、半透明鏡２１を透過した光束は、ペシャンプリズム２４内で反射され、フォーカスレンズ２５、第２再結像レンズ２６を介して第２のＣＣＤカメラ３０の撮像面に被写体の像の所定範囲の一部を拡大して再結像させる。対物光学系から第２再結像レンズ２６に至るまでの光学系が第２撮影光学系に相当する。第２のＣＣＤカメラ３０は、この第２撮影光学系により形成される像を撮影する第２撮像素子に相当する。
第１及び第２ＣＣＤカメラ４０，３０は、一般的な固体撮像素子（ＣＣＤ）を利用した動画撮影用のカメラであり、撮像面に入射する光束を画像信号としての電気信号に変換して、第１，第２画像信号を画像合成装置８０に出力する。
第１撮影光学系内では、対物光学系の光軸Axは、半透明鏡２１によって直角に折り曲げられ、折り返しミラー２２によって更に直角に折り曲げられ、第１再結像レンズ２３の中心を通過して、第１ＣＣＤカメラ４０の撮像領域の中心を垂直に貫く。
一方、第２撮影光学系を構成するペシャンプリズム２４は、光軸シフト光学素子及び像反転光学系としての機能を有し、移動機構２７によって駆動されるＸＹステージ２７ａにより、対物光学系の光軸Axに直交する平面内で互いに直交するＸ方向とＹ方向とに平行移動可能に保持されている。図４は、このペシャンプリズム２４の斜視図である。図３及び図４に示すように、ペシャンプリズム２４は、三角柱の一側面にこの側面から突出するダハ面２４１ｆ，２４１ｇが（その稜線２４１ｈが底面と平行な状態で）形成されたのと等価な形状を有するダハプリズム２４１と、このダハプリズム２４１におけるダハ面２４１ｆ，２４１ｇ以外の一側面２４１ｄに対してその一側面２４２ｂが平行に近接するように配置された四角柱状の補助プリズム２４２とから構成されている。
第２撮影光学系内では、対物光学系の光軸Axは、補助プリズム２４２の一側面２４２ａに対して垂直に交差し、この側面２４２ａに隣接する２つの側面２４２ｂ，２４２ｃの内面によって２回折り曲げられ、補助プリズム２４２の側面２４２ｂとダハプリズム２４１の側面２４１ｄとに対して垂直に交差する。そして、光軸Axは、ダハプリズム２４１内で側面２４１ｅとダハ面２４１ｆ，２４１ｇと側面２４１ｄの内面によって各々折り曲げられ、側面２４１ｅに対して垂直に（補助プリズム２４２に入る前の光軸Axと平行な方向に）交差する。ペシャンプリズム２４に入る前の光軸Axがペシャンプリズム２４から出た後の光軸Axと同軸になるペシャンプリズム２４の位置を、以下、初期位置という。ペシャンプリズム２４が初期位置に設定されているとき、光軸Axは、フォーカスレンズ２５、第２再結像レンズ２６の中心を通り、第２ＣＣＤカメラ３０の撮像領域の中心を垂直に貫く。
第２再結像レンズ２６の変倍レンズである第１及び第２レンズ群２６ａ，２６ｂは、ズーム鏡筒２６０によって、それらの光軸に沿って移動可能に保持されており、第３レンズ群２６ｃは固定されている。ズーム鏡筒２６０を構成する図示せぬカム環が光軸周りに回転することにより、カム環に形成されている各カム溝に係合したカムフォロワを一体に有するこれら第１及び第２レンズ群２６ａ，２６ｂが光軸方向に移動される。これにより、第２再結像レンズ２６の倍率は、任意に調整される。カム環の駆動源としては、ＤＣサーボモータやステッピングモータ等を有する図示せぬズーミング用アクチュエータが用いられる。
以上のように配置されているために、半透明鏡２１を透過した光束は、ペシャンプリズム２４を介してフォーカスレンズ２５と第２再結像レンズ２６とを順次透過し、第２ＣＣＤカメラ３０の撮像面に入射する。このとき、ペシャンプリズム２４は、硬性内視鏡１０ａ内の対物光学系（対物レンズ群１１及び複数のリレーレンズ１２）により形成される像を倒立させ、第２再結像レンズ２６は、ペシャンプリズム２４により倒立された対物光学系による像の一部領域を所定の倍率に拡大して、第２ＣＣＤカメラ３０の撮像面上に再結像させる。
なお、ペシャンプリズム２４をＸＹ面内で移動させる移動機構２７は、例えばＤＣサーボモータやステッピングモータ等からなる駆動用アクチュエータ及びこの駆動用アクチュエータの駆動力を伝達するギア機構を、Ｘステージ及びＹステージの各々について有し、各ステージを独立に駆動する。この移動機構２７とペシャンプリズム２４とにより、内視鏡装置の光学系による結像位置と撮像素子の位置とを相対的にシフトさせる第１のシフト手段(シフト装置)が構成されている。また、この移動機構２７は、十字方向に可倒なジョイスティックを有する図示せぬ操作装置に接続されている。そして、この図示せぬ操作装置のジョイスティックが作業者によって操作されることにより、そのジョイスティックの倒し込み量及び倒し込み方向に応じた信号が移動機構２７に通知され、その通知を受けた移動機構２７がＸステージ及びＹステージをジョイスティックの操作量及び操作方向に応じて駆動し、移動機構２７によって駆動されるＸＹステージ２７ａがペシャンプリズム２４をＸＹ面内で移動する。なお、上記の図示せぬ操作装置は、回転可能に保持されたトラックボールが操作者によって回転されることによりそのトラックボールの回転量及び回転方向に応じた信号を出力するタイプのものであっても良いし、Ｘ方向に対応するレバーとＹ方向に対応するレバーとを備えて各レバーの倒し込み量に応じた信号を出力するタイプのものであってもよい。なお、XYステージの座標系は図３に示す通り、(XS, YS)で定義される。
図４には、対物光学系の光軸Axがペシャンプリズム２４によってシフトする様子も示されている。図４に示すように、入射側の光軸Axを初期位置からＸ方向における正の方向（図４では左方）へ距離ｗだけ移動させてAx’とした場合、射出側の光軸Ax’は移動前の光軸Axに対してＸ方向における負の方に距離ｗだけ移動する。これは、一定位置にある対物光学系の光軸Axに対してペシャンプリズム２４をＸ方向における負の方（図４では右方）に距離ｗだけ移動させた場合に相当し、ペシャンプリズム２４から出た後の対物光学系の光軸Ax’は、ペシャンプリズム２４に入る前の光軸Ax’に対して、距離２ｗだけＸ方向における負の向きにシフトする。逆に、ペシャンプリズム２４をＸ方向における正の方へ移動した場合には、対物光学系の光軸Axは、Ｘ方向における正の向きに、ペシャンプリズム２４の移動量の２倍の量だけシフトされる。また、このペシャンプリズム２４をＹ方向（図４では上下方向）に移動したときにも同様に、ペシャンプリズム２４から出た後の対物光学系の光軸Ax”は、ペシャンプリズム２４に入る前の光軸Ax”に対して、ペシャンプリズム２４が移動された向きに、ペシャンプリズム２４の移動量の２倍の量だけシフトされる。
このようにしてペシャンプリズム２４がＸＹ面内でシフトされると、ペシャンプリズム２４から出た後の対物光学系の光軸Axが、第２再結像レンズ２６の光軸Bxを含む直線上からシフトされる。このときの様子も図３に示されている。ペシャンプリズム２４の初期位置においては、対物光学系の光軸上を進む光線は、ペシャンプリズム２４から射出された後でも、第２再結像レンズ２６の光軸Bx上を進行し、第２のＣＣＤカメラ３０の撮像面の中心に入射する。この状態から、図４に示すように、ペシャンプリズム２４がＸＹ面内で移動されると、ペシャンプリズム２４から出た後の光軸Axは、第２再結像レンズ２６の光軸Bxからシフトされる。従って、対物光学系の光軸Ax上を進む光線は、ペシャンプリズム２４から射出された後は、第２再結像レンズ２６の光軸Bxからシフトした状態で第２再結像レンズ２６に入射し、第２ＣＣＤカメラ３０の撮像面の中心からシフトした位置に入射する。これにより、第２ＣＣＤカメラ３０の撮像範囲がシフトする。
なお、硬性内視鏡１０ａの対物光学系は、その対物レンズ群１１が広角な視野を有するとともに、対物レンズ群１１による像を各リレーレンズ１２でリレーする構成となっているために、大きな像面湾曲を持つ。そのため、上述したようにペシャンプリズム２４をＸＹ面内で移動させることによって、対物光学系によって形成される像の像面を第２再結像レンズ２６の視野に対してＸＹ方向にシフトさせた場合、第２ＣＣＤカメラ３０の撮像面と共役な点に対して像が光軸Bx方向に移動する。これにより、第２ＣＣＤカメラ３０の映像には多少ピンぼけが生じることがある。そこで、対物光学系の光軸Axの第２再結像レンズ２６の光軸Bxに対するシフトし量に応じて、図示せぬフォーカシング制御回路が、移動機構２７と同期して上記フォーカシングアクチュエータを駆動する。これにより、対物光学系の像面と、第２再結像レンズ２６に関して撮像面と等価な面とを一致させ、ピントを合わせることができる。
さらに、像分離装置２０は、図示せぬズーミング用アクチュエータにより第２再結像レンズ２６の光軸に沿って移動される第１及び第２レンズ群２６ａ，２６ｂの位置を検出して画像合成装置８０に通知する位置検出器２９を備えている。
具体的には、位置検出器２９は、第１及び第２レンズ群２６ａ，２６ｂを保持するズーム鏡筒２６０のカム環の回転位置を、エンコーダによって読み取り、読み取ったカム環の回転位置を示す情報を、第１及び第２レンズ群２６ａ，２６ｂの位置情報（ズーム位置情報）として、画像合成装置８０に通知する。
以上のように構成された内視鏡装置１０は、光学シフト機構により第２ＣＣＤカメラ３０による観測範囲を自由に移動することができるため、一旦、内視鏡を固定した後、内視鏡装置１０を動かすことなく観測範囲を変更することができる。
次に、内視鏡装置１０の位置を測定するための機構について説明する。内視鏡装置１０の像分離装置２０の側面には、図５に示されるように、３個の内視鏡マーカー６６が設けられている。各内視鏡マーカー６６は、表面に再帰反射光学部材が貼り付けられた球形状のマーカーである。これらのマーカーの位置を位置測定装置７０により測定することにより、内視鏡装置１０の３次元位置を特定することができる。
内視鏡装置１０のローカル座標系は、図５に示されるように定義される。
内視鏡装置の座標系：(XE, YE, ZE)
なお、内視鏡ローカル座標原点６７は、硬性鏡１０ａの瞳位置である。また、軸XE, YEは、それぞれ軸XS, YSと平行である。
内視鏡装置１０を保持する内視鏡保持装置５０は、図６に示されるように、複数のリンク５１、関節５２、固定部５３によりアーム状に構成される。内視鏡保持装置５０は、内視鏡装置１０との図示せぬ接続部を持ち、内視鏡装置１０を脱着が可能である。また、内視鏡保持装置５０は、固定部５３により手術室のベッド等へ固定が可能である。内視鏡装置１０を取り付けた保持装置５０をベッドに固定した後、所望の位置に内視鏡を移動させて配置する。
位置測定装置７０は、内視鏡装置１０と透視画像基準マーカー９０との位置を測定するものであり、具体的にはPOLARIS(Northern Digital Inc製)がある。図７(A),(C)に示す通り、位置測定装置７０は直方形状であり、その一つの側面に２つ送光受光部７２ａ、７２ｂを持つ。各送光受光部７２ａ、７２ｂは、赤外波長の光線を発し、内視鏡装置１０に取り付けられた内視鏡マーカー６６、及び、透視画像基準マーカー９０からの反射光を受光し、内視鏡装置１０及び透視画像基準マーカー９０の３次元位置座標を測定する。７１ａ，７１ｂは送光受光部７２ａ、７２ｂそれぞれの測定可能範囲を示し、７１ａ、７１ｂの重なる領域７３が３次元座標測定可能領域である。
位置測定装置７０により測定される３次元座標は、透視画像を合成する上で基準となる座標系であり、図８に示すように定義される。
位置測定装置の座標系：(XG, YG, ZG)
なお、透視画像基準マーカー９０は、透視画像座標系と内視鏡座標系とを合成するための基準となる。透視画像基準マーカー９０は、図９に示すように３個の反射球９１から構成される。各反射球の表面には、再帰反射光学部材が貼り付けられている。これらの反射球９１からの反射光を位置測定装置７０で受光することによりにより、透視画像基準マーカー９０の３次元位置を測定することができる。マーカー材質はＣＴによる撮像が可能な材質であり、人体の骨と同等以上のＸ線遮蔽能があればよい。なお、符号９２は、透視画像基準マーカー座標の原点である。
透視画像基準マーカーの座標系は、図９に示されるように定義される。
透視画像基準マーカーの座標系：(XM, YM, ZM)
透視画像撮影時には、患者の体表面に透視画像基準マーカー９０を固定し、断層診断装置１００により患者と透視画像基準マーカー９０を同時に撮影し、透視画像内の透視画像基準マーカーを基準に内視鏡画像と合成する。
断層診断装置１００はＣＴ，ＭＲＩ等の装置であり、その座標系は図１０に示されるように定義される。
断層診断装置の座標系：(XCT, YCT, ZCT)
画像合成装置８０は、内視鏡装置１０により撮影された内視鏡画像と、断層診断装置１００により取得された透視画像とを合成する装置であり、図１１に示すように、ＣＰＵ８０ａ、ＲＡＭ８０ｂ、第１インターフェース回路８０ｃ、第２インターフェース回路８０ｄ、第１Ｉ／Ｏポート８０ｅ、第２Ｉ／Ｏポート８０ｆ、第３のＩ／Ｏポート８０ｊ、第４のＩ／Ｏポート８０ｋ、第３インターフェース回路８０ｈ、第４インターフェース回路８０ｉを有する。
ＣＰＵ８０ａは、各ハードウエア８０ｂ〜８０ｋを統合的に制御する中央処理装置である。ＲＡＭ８０ｂは、このＣＰＵ８０ａが読み出した各種のプログラムをキャッシュするともに、ＣＰＵ８０ａによる作業領域が展開されるランダムアクセスメモリである。ＲＯＭ８０ｇは、データや画像合成プログラムを含む各種のプログラムが格納する。
第１インターフェース回路８０ｃは、第１ＣＣＤカメラ４０からの画像信号の受信を司る。第２インターフェース回路８０ｄは、第１モニタ３への画像信号の送信を司る。第１Ｉ／Ｏポート８０ｅは、ＣＰＵ８０ａからの命令に従って、Ｘステージ及びＹステージの移動量（すなわち、光軸Axのシフト量）を示す情報（Ｘステージ移動量情報，Ｙステージ移動量情報）を移動機構２７から受信する。第２Ｉ／Ｏポート８０ｆは、ＣＰＵ８０ａからの命令に従って、位置検出器２９からのズーム位置情報を受信する。第３のＩ／Ｏポート８０ｊは、ＣＰＵ８０ａからの命令に従って、位置検出装置７０から内視鏡装置１０、及び透視画像基準位置マーカー９０の位置情報を受信する。第４のＩ／Ｏポート８０ｋは、ＣＰＵ８０ａからの命令に従って、断層診断装置１００から３次元画像情報を受信する。第３インターフェース回路８０ｈは、第２ＣＣＤカメラ３０からの画像信号の受信を司る。第４インターフェース回路８０ｉは、第２モニタ３への画像信号の送信を司る。
次に、画像合成処理について図１２のフローチャートに基づいて説明する。画像合成処理は、ＣＰＵ８０ａが第１インターフェース回路８０ｃを介して第１ＣＣＤカメラ４０からの画像信号を受信することによって開始する。処理がスタートすると、ＣＰＵ８０ａは、移動機構２７からのＸステージ移動量情報及びＹステージ移動量情報を、第１のＩ／Ｏポート８０ｅを介して受信する(S101)。
続いてＣＰＵ８０ａは、位置検出器２９からのズーム位置情報を、第２Ｉ／Ｏポート８０ｆを介して受信し(S102)、位置測定装置７０から内視鏡装置１０の位置座標を第３Ｉ／Ｏポート８０ｊを介して受信し(S103)、位置測定装置７０から透視画像基準マーカー９０の位置座標を第３Ｉ／Ｏポート８０ｊを介して受信し(S104)、断層診断装置１００から透視画像データを第４Ｉ／Ｏポート８０ｋを介して受信する(S105)。
次に、ＣＰＵ８０ａは、Ｘステージ移動量情報及びＹステージ移動量情報に基づいてＲＡＭ８０ｂ上に記憶している各ステージの位置を更新し、第１ＣＣＤカメラ４０により生成された画像信号に基づいて表示される画像領域を定義する平面座標における第２再結像レンズ２６の光軸Bxの位置を示す座標値を、Ｘステージ移動量情報及びＹステージ移動量情報に基づいて算出する(S106)。これは、第２再結像レンズ２６の光軸Bxの位置が、ＸＹステージ２７ａによって移動されるペシャンプリズム２４のＸＹ平面内での位置に依存することに因る。
次に、ＣＰＵ８０ａは、ズーム位置情報に基づいて、第２再結像レンズ２６の倍率を算出する(S107)。
続いてＣＰＵ８０ａは、透視画像の座標系を断層診断装置１００の座標系から透視画像基準マーカーの座標系に変換する(S108)。すなわち、断層診断装置１００で患者と透視画像基準マーカー９０とを同時に撮像し、断層診断装置１００の座標系と透視画像基準マーカー９０の座標系とのズレ量、回転角を測定し、その測定値に基づいて座標変換を行う。
次にＣＰＵ８０ａは、透視画像基準マーカー座標系に変換された透視画像データを位置測定装置７０の座標系（グローバル座標系）に変換する(S109)。すなわち、位置測定装置７０により透視画像基準マーカー９０の座標軸原点位置、及び座標軸の回転量データを測定し、その数値に基づいて透視画像データの座標変換を行う。
次にＣＰＵ８０ａは、グローバル座標に変換された透視画像データを内視鏡装置ローカル座標に変換する(S110)。すなわち、位置測定装置７０により測定した透視画像基準マーカー９０の原点位置、座標回転量、内視鏡装置１０の原点位置、座標回転量より透視画像データを内視鏡ローカル座標系(XE, YE, ZE)に変換する。
次にＣＰＵ８０ａは、硬性鏡１０ａのディストーションによる影響を補正するため、透視画像データ(XE, YE, ZE)を円筒座標系（r, θ, ZE）に変換する(S111)。すなわち、図１３に示されるように、内視鏡のローカル座標（直交座標）を円筒座標系に変換する。
r = √(XE 2 + YE 2),
r = ZE・tanω
XE = r・cosθ
YE = r・sinθ
次に円筒座標に変換された透視画像データのディストーションDISTを補正する(S112)。図１４に示されるように、高さｒの物体の硬性鏡一次結像面上での像高は、ディストーションが無いときはR、ディストーションがあるときはR’となる。像高R’は、像高Rを用いて以下のように表わされる。
R’ = R + ξ3・R3 + ξ5・R5 + ξ7・R7 + …
但し、R = f・tanω = f・r/Z、
f は硬性鏡の焦点距離、Zは物体距離、
DIST = ξ3・R2 + ξ5R4 + ξ7・R6 + …である。
次に硬性鏡１次結像面上の極座標系の画像データを、直交座標系に変換する。硬性鏡像面上の直交座標(XE’, YE’)と定義すると以下の様に変換することができる。
XE’ = R’・cosθ
YE’ = R’・sinθ
続いて、上記のように変換された座標系を用いて透視画像を変換し、第１ＣＣＤカメラ４０により撮影された第１の内視鏡画像、及び第２ＣＣＤカメラ３０により撮影された第２の内視鏡画像と合成する。これらの処理は、画像合成装置８０が複数のＣＰＵを備える場合には並列処理として、単一のＣＰＵを備える場合には時分割で実行される。
第１の内視鏡画像と合成される透視画像は、第１の内視鏡画像と同一の倍率となるよう補正される(S121)。第１撮影光学系の光学倍率をm1とすると、透視画像と第１の内視鏡画像との画像サイズを同一にするためには硬性鏡一次結像面の座標系に変換された透視画像に前記倍率を乗する。ここで、第１ＣＣＤカメラ４０上の座標系を(T, U)とすると、
T = m1・XE’
U = m1・YE’
となる。
次に、倍率補正後の透視画像を第１の内視鏡画像に合成し(S122)、透視画像を重畳した第１の内視鏡画像を第２のインターフェイス回路８０ｄから出力し、第１モニター２に表示する(S123)。
一方、第２の内視鏡画像と合成される透視画像は、第１のシフト手段によるシフトに伴う第２撮影光学系の内視鏡画像の撮影範囲の変化に対応させて表示範囲がシフト補正される(S113)。このシフト補正の処理が、第２のシフト手段に相当する。シフト補正は、第１Ｉ／Ｏポート８０ｅから受信したＸステージ及びＹステージの移動量（すなわち、光軸Axのシフト量）を示す情報（Ｘステージ移動量情報＝DXS，Ｙステージ移動量情報＝DYS）に基づいて実行される。第２撮影光学系の光軸シフト量はプリズム移動量の２倍にあたるため、シフト補正後の透視画像の座標(XE”, YE”)は、以下のように表される。
XE″ = XE´ - ΔXS × 2
YE″ = YE´ - ΔYS × 2
次に、シフト補正後の透視画像が第２の内視鏡画像と同一の倍率となるように、透視画像の倍率変換を行う(S114)。第２Ｉ／Ｏポート８０ｆを介して受信した位置検出器２９からのズーム位置情報から第２撮影光学系の光学倍率m2を算出し、透視画像と第２の内視鏡画像との倍率を同一にするため、シフト補正後の透視画像に前記倍率m2を乗する。ここで、第２ＣＣＤカメラ３０上の座標系を(V, W)とすると、
V = m2・XE″
W = m2・YE″
となる。
次に、倍率補正後の透視画像を第２の内視鏡画像に合成し(S115)、透視画像を重畳した第２の内視鏡画像を第４のインターフェイス回路８０ｉから出力し、第２モニター３に表示する(S116)。
ステップS103〜S123までの処理は、繰り返し実行され、これにより内視鏡装置１０の位置はリアルタイムに検出され、その位置に基づいて内視鏡画像とＣＴ等の断層診断装置で撮影した患者体内の構造物とを重畳した広角及び拡大の画像が第１モニター２、第２モニター３上に動画として表示される。
実施形態の診断支援装置によれば、内視鏡装置１０を架台保持装置５０によって患者付近に固定し、内視鏡装置１０の硬性内視鏡１０ａ内の対物光学系を含む第１撮影光学系により形成される像を対応する範囲の透視画像に重畳して第１モニタ２上に表示すると同時に、この対物光学系を含む第２撮影光学系により形成される像を対応する範囲の透視画像に重畳して第２モニタ３上に表示できる。
また、ペシャンプリズム２４を移動させて第２撮影光学系の撮影範囲を変更した場合には、その移動量に応じて透視画像の表示範囲が移動されるため、両画像の範囲を一致させて重畳表示することができる。なお、通常は位置測定装置７０により内視鏡装置１０と患者との相対位置を測定し、透視画像との位置関係を計算して画像を重畳する。しかしながら、第２撮影光学系の撮影範囲は、内視鏡装置１０を固定したままペシャンプリズムの移動によって移動させることができるため、一時的に位置測定装置７０と内視鏡装置１０との間の空間が施術者や他の装置等によって遮られ、内視鏡装置１０の位置を測定できない場合にも、撮影範囲を変更し、かつ、それに対応させて重畳される透視画像の表示範囲も変更することができ、手術を中断することがなく、手術時間を短縮して患者の負担を軽減することができる。なお、実施形態の画像合成処理では、内視鏡装置の位置を常時検出しているため、意図しない患者の動きがあった場合や、手術の進行に伴って内視鏡装置の位置を移動させた場合にも、座標変換と画像の合成が可能である。
以下、各座標系を一覧で示す。
内視鏡装置１０ローカル座標系：(XE, YE, ZE)
視野シフト機構部の座標系：(XS, YS)
位置測定装置の座標系（グローバル座標系）：(XG, YG, ZG)
透視画像基準マーカーの座標系：(XM, YM, ZM)
断層診断装置の座標系：(XCT, YCT, ZCT)
内視鏡装置１０のローカル円筒座標系：(r, θ, ZE)
内視鏡装置１０の１次結像面のローカル円筒座標系：(R’, θ)
内視鏡装置１０の１次結像面のローカル直交座標系：(XE’, YE’)
内視鏡装置１０の第１の撮像素子上の座標系：(T, U)
内視鏡装置１０の第２の撮像素子上の座標系：(V, W)
本発明の実施形態にかかる診断支援装置の概略を示すブロック図である。 (Ａ)は、図１の診断支援装置に含まれる第１のモニターに表示される画面例、(Ｂ)は第２のモニターに表示される画像例をそれぞれ示す説明図である。 図１の診断支援装置に含まれる内視鏡装置の光学構成及び内部構成を概略的に示す説明図である。 図３の内視鏡装置に用いられるペシャンプリズムの拡大斜視図である。 図１の診断支援装置に含まれる内視鏡装置に取り付けられた内視鏡マーカーの説明図であり、(Ａ)は平面図、(Ｂ)は側面図である。 図１の診断支援装置に含まれる保持装置の説明図である。 図１の診断支援装置に含まれる位置測定装置の説明図であり、(Ａ)は平面図、(Ｂ)は側面図、(Ｃ)は正面図である 図７の位置測定装置の座標を示す説明図であり、(Ａ)は斜視図、(Ｂ)は側面図である。 実施形態における透視画像基準位置マーカーの説明図である。 実施形態における断層診断装置の座標を示す説明図である。 図１の診断支援装置に含まれる画像合成装置の概略構成を示すブロック図である。 図１１の画像合成装置により実行される画像合成処理の内容を示すフローチャートである。 円筒座標のローカル座標への座標変換を示す説明図である。 図１の診断支援装置に含まれる内視鏡内の結像状態を示す説明図である。
符号の説明
２，３ モニター
１０ 内視鏡装置
１０ａ 硬性鏡
１１ 対物レンズ群
１２ リレーレンズ
２３ 第１再結像レンズ
２４ ペシャンプリズム
２５ フォーカスレンズ
２６ 第２再結像レンズ
２７ 移動機構
２７ａ ＸＹステージ
２７ｂ シフト量測定装器
２９ 位置検出器
３０，４０ ＣＣＤカメラ
５０ 内視鏡保持装置
６６ 内視鏡マーカー
６７ 内視鏡ローカル座標原点
７０ 位置測定装置
８０ 画像合成装置
８０ａ ＣＰＵ
８０ｂ ＲＡＭ
８０ｇ ＲＯＭ
９０ 透視画像基準位置マーカー
１００ 断層診断装置

Claims (5)

  1. 被検体の内部構造を光学系を介して撮像素子上に結像させて撮影する内視鏡装置と、
    該内視鏡装置を前記被検体に対して固定可能に保持する保持装置と、
    前記内視鏡装置により撮影された前記被検体の所定部位の内視鏡画像に、断層診断装置により得られた断層画像に基づいて生成された前記所定部位の透視画像を重畳する画像合成手段と、
    該画像合成手段により合成された画像を表示する表示手段と、
    前記内視鏡装置の光学系による結像位置と前記撮像素子の位置とを前記光学系の光軸に対して垂直な面内で相対的にシフトさせる第１のシフト手段と、
    該第１のシフト手段によるシフトに伴う前記内視鏡画像の撮影範囲の変化に対応させて前記透視画像の表示範囲をシフトさせる第２のシフト手段とを備え、
    前記第１のシフト手段によるシフト後の内視鏡画像と前記第２のシフト手段によるシフト後の透視画像とを前記画像合成手段により合成して前記表示手段に表示させることを特徴とする診断支援装置。
  2. 前記断層診断装置は、ＣＴ装置、またはＭＲＩ装置であることを特徴とする請求項１に記載の診断支援装置。
  3. 前記第１のシフト手段は、前記内視鏡装置の光学系に含まれるペシャンプリズムと、該ペシャンプリズムを光軸に垂直な面内で二次元的に移動させるプリズム移動機構とを備えることを特徴とする請求項１または２に記載の診断支援装置。
  4. 前記内視鏡装置は、被検体の像を形成する対物光学系と、該対物光学系により形成される被検体の像の所定範囲を再結像させる第１再結像光学系と、該第１再結像光学系により形成される像を撮影する第１撮像素子と、前記対物光学系により形成される像の前記所定範囲の一部を拡大して再結像させる第２再結像光学系と、該第２再結像光学系により形成される像を撮影する第２撮像素子とを備え、
    前記画像合成手段は、前記第１撮像素子により撮影された第１の内視鏡画像とこれに対応する範囲の前記透視画像とを合成して第１の合成画像を生成すると共に、前記第２撮像素子により撮影された第２の内視鏡画像とこれに対応する範囲の前記透視画像とを合成して第２の合成画像を生成し、
    前記第１のシフト手段は、前記第２撮影光学系による結像位置と前記第２撮像素子の位置とを相対的にシフトさせ、
    前記第２のシフト手段は、前記第２の合成画像を構成する透視画像の表示範囲をシフトさせ、
    前記表示手段は、前記第１の合成画像を表示する第１の表示装置と、前記第２の合成画像を表示する第２の表示装置とを含むことを特徴とする請求項１〜３のいずれかに記載の診断支援装置。
  5. 内視鏡設置時に内視鏡装置の基準位置を第１の座標値、透視画像の基準位置を第２の座標値として測定する位置測定装置と、
    第１撮影光学系と、
    前記第１撮影光学系を介して所定範囲の視野の像を撮像して第１画像信号を出力する第１撮像デバイスと、
    少なくとも一枚のレンズを含み、前記所定範囲の視野中の少なくとも一部の像を形成する第２撮影光学系と、
    前記第２撮影光学系を介して、前記像を撮像して第２画像信号を出力する第２撮像デバイスと、
    前記第２撮影光学系中のレンズの光軸と前記第２撮像デバイスとを相対的にシフトさせることによって、前記第２撮影光学系を介して前記第２撮像デバイスによる撮像範囲を、前記所定範囲の視野内で移動させるシフト装置と、
    前記シフト装置によってシフトされた前記レンズの光軸と前記第２撮像デバイスとのシフト量を第３の座標値として出力する内視鏡装置と、
    前記第１の座標値と前記第２の座標値に基づいて第１画像信号に透視画像を合成し、前記第１の座標値と前記第2の座標値と第３の座標値に基づいて第２画像信号に透視画像を合成する画像合成装置と、
    当該画像合成装置から出力された前記第１の画像信号を表示する第1の表示装置と、
    第２の画像信号を表示する、第２の表示装置を備えることを特徴とする診断支援装置。
JP2004349139A 2003-12-22 2004-12-01 診断支援装置 Withdrawn JP2005205184A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004349139A JP2005205184A (ja) 2003-12-22 2004-12-01 診断支援装置
US11/016,913 US20050148854A1 (en) 2003-12-22 2004-12-21 Diagnosis supporting device
DE102004061875A DE102004061875A1 (de) 2003-12-22 2004-12-22 Einrichtung zur Diagnoseunterstützung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003424646 2003-12-22
JP2004349139A JP2005205184A (ja) 2003-12-22 2004-12-01 診断支援装置

Publications (2)

Publication Number Publication Date
JP2005205184A true JP2005205184A (ja) 2005-08-04
JP2005205184A5 JP2005205184A5 (ja) 2008-12-25

Family

ID=34703306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004349139A Withdrawn JP2005205184A (ja) 2003-12-22 2004-12-01 診断支援装置

Country Status (3)

Country Link
US (1) US20050148854A1 (ja)
JP (1) JP2005205184A (ja)
DE (1) DE102004061875A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017074178A (ja) * 2015-10-14 2017-04-20 株式会社 オルタステクノロジー 撮像装置及びそれを用いた内視鏡装置
JP2020151404A (ja) * 2019-03-22 2020-09-24 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、医療用観察システム、医療用画像処理装置の作動方法および医療用画像処理プログラム
JP2021509031A (ja) * 2017-12-28 2021-03-18 エシコン エルエルシーＥｔｈｉｃｏｎ ＬＬＣ 手術室内の装置を判定するための外科用ハブ空間認識

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100580184B1 (ko) * 2004-01-15 2006-05-16 삼성전자주식회사 1회 스캐닝에 의한 복수 이미지 파일들의 생성방법 및 장치
WO2007041383A2 (en) * 2005-09-30 2007-04-12 Purdue Research Foundation Endoscopic imaging device
ES2569411T3 (es) 2006-05-19 2016-05-10 The Queen's Medical Center Sistema de seguimiento de movimiento para imágenes adaptativas en tiempo real y espectroscopia
JP4891006B2 (ja) * 2006-09-06 2012-03-07 オリンパス株式会社 内視鏡装置
US8081353B2 (en) * 2007-12-12 2011-12-20 Lexmark International, Inc. Enhanced illuminated scanning unit reference marker
US20090287109A1 (en) * 2008-05-14 2009-11-19 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Circulatory monitoring systems and methods
US9672471B2 (en) 2007-12-18 2017-06-06 Gearbox Llc Systems, devices, and methods for detecting occlusions in a biological subject including spectral learning
US9717896B2 (en) 2007-12-18 2017-08-01 Gearbox, Llc Treatment indications informed by a priori implant information
US9202387B2 (en) * 2009-11-11 2015-12-01 Stryker Leibinger Gmbh & Co. Kg Methods for planning and performing percutaneous needle procedures
DE102010029275A1 (de) * 2010-05-25 2011-12-01 Siemens Aktiengesellschaft Verfahren zum Bewegen eines Instrumentenarms eines Laparoskopierobotors in einer vorgebbare Relativlage zu einem Trokar
DE102011076811A1 (de) * 2011-05-31 2012-12-06 Siemens Aktiengesellschaft Verfahren zum Abbilden des Inneren eines Körpers
US9606209B2 (en) 2011-08-26 2017-03-28 Kineticor, Inc. Methods, systems, and devices for intra-scan motion correction
KR101294649B1 (ko) * 2012-04-30 2013-08-16 경북대학교 산학협력단 수술영상의 정합에 대한 검증방법 및 보상방법
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11517189B2 (en) * 2012-06-28 2022-12-06 Lavie Golenberg Portable endoscope with interference free transmission
US20150297062A1 (en) * 2012-06-28 2015-10-22 GOLENBERG Lavie Integrated endoscope
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
CN105392423B (zh) 2013-02-01 2018-08-17 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪系统
CN106572810A (zh) 2014-03-24 2017-04-19 凯内蒂科尔股份有限公司 去除医学成像扫描的预期运动校正的系统、方法和装置
CN106714681A (zh) 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
CN107529976B (zh) * 2015-09-18 2019-10-29 奥林巴斯株式会社 第一信号处理装置和内窥镜系统
US10716515B2 (en) 2015-11-23 2020-07-21 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN111163678B (zh) * 2017-09-18 2023-10-24 派瑞威克技术私人有限公司 有助于体腔检查和诊断的数字设备
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11759224B2 (en) 2017-10-30 2023-09-19 Cilag Gmbh International Surgical instrument systems comprising handle arrangements
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US20190201039A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Situational awareness of electrosurgical systems
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US20190201146A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Safety systems for smart powered surgical stapling
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US20190201139A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Communication arrangements for robot-assisted surgical platforms
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11464532B2 (en) 2018-03-08 2022-10-11 Cilag Gmbh International Methods for estimating and controlling state of ultrasonic end effector
US11589915B2 (en) 2018-03-08 2023-02-28 Cilag Gmbh International In-the-jaw classifier based on a model
US11259806B2 (en) 2018-03-28 2022-03-01 Cilag Gmbh International Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11331100B2 (en) 2019-02-19 2022-05-17 Cilag Gmbh International Staple cartridge retainer system with authentication keys
US11751872B2 (en) 2019-02-19 2023-09-12 Cilag Gmbh International Insertable deactivator element for surgical stapler lockouts

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002224138A (ja) * 2001-02-02 2002-08-13 Olympus Optical Co Ltd 手術ナビゲーション装置
JP2002245442A (ja) * 2000-11-14 2002-08-30 Asahi Optical Co Ltd 像サーチ装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5776050A (en) * 1995-07-24 1998-07-07 Medical Media Systems Anatomical visualization system
JP4042170B2 (ja) * 1996-11-13 2008-02-06 株式会社ニコン 防振望遠鏡
US7037258B2 (en) * 1999-09-24 2006-05-02 Karl Storz Imaging, Inc. Image orientation for endoscopic video displays
JP4674948B2 (ja) * 2000-09-29 2011-04-20 オリンパス株式会社 手術ナビゲーション装置および手術ナビゲーション装置の作動方法
US6930705B2 (en) * 2000-11-14 2005-08-16 Pentax Corporation Image search device
US6717752B2 (en) * 2000-11-14 2004-04-06 Pentax Corporation Image search device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245442A (ja) * 2000-11-14 2002-08-30 Asahi Optical Co Ltd 像サーチ装置
JP2002224138A (ja) * 2001-02-02 2002-08-13 Olympus Optical Co Ltd 手術ナビゲーション装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017074178A (ja) * 2015-10-14 2017-04-20 株式会社 オルタステクノロジー 撮像装置及びそれを用いた内視鏡装置
JP2021509031A (ja) * 2017-12-28 2021-03-18 エシコン エルエルシーＥｔｈｉｃｏｎ ＬＬＣ 手術室内の装置を判定するための外科用ハブ空間認識
JP2020151404A (ja) * 2019-03-22 2020-09-24 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、医療用観察システム、医療用画像処理装置の作動方法および医療用画像処理プログラム

Also Published As

Publication number Publication date
DE102004061875A1 (de) 2005-07-21
US20050148854A1 (en) 2005-07-07

Similar Documents

Publication Publication Date Title
JP2005205184A (ja) 診断支援装置
CN110638527B (zh) 基于光学相干层析增强现实的手术显微成像系统
US6930705B2 (en) Image search device
JPH11508780A (ja) 視覚情報を並行検出する方法及びそのための装置並びに前記方法の使用方法
JPH05215971A (ja) 計算器に支援された定位形けんび外科用の手術けんび鏡ならびにその操作法
JP5561458B2 (ja) 手術支援システム
US11698535B2 (en) Systems and methods for superimposing virtual image on real-time image
JP2006320427A (ja) 内視鏡手術支援システム
JP4253493B2 (ja) 光学観察装置及びこれに用いる立体画像入力光学系
JP2004320722A (ja) 立体観察システム
JP4728039B2 (ja) 医療用観察装置
JP5274100B2 (ja) 医療用観察装置
US20220400938A1 (en) Medical observation system, control device, and control method
JP4759277B2 (ja) 観察方法および観察補助具
JP4716747B2 (ja) 医療用立体画像観察装置
JP2017176773A (ja) 手術支援システム、手術支援方法、手術支援プログラム
JP4187830B2 (ja) 医用画像合成装置
JP4436495B2 (ja) 手術用観察システム
US20040165258A1 (en) Stereoscopic microscope, and an observation mechanism for use in a stereoscopic microscope
JP4472080B2 (ja) 顕微鏡下手術支援システム
JP2002245442A (ja) 像サーチ装置
JP2023064077A (ja) 内視鏡カメラ装置およびカメラ位置合わせエラーの補正のための方法
US20230026585A1 (en) Method and system for determining a pose of at least one object in an operating theatre
JP2005118107A (ja) 画像表示システム
JP2021159734A (ja) ナビゲーションオートフォーカスシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071023

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100525

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20100701

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20101104

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101104

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A072

Effective date: 20101116

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110517