JP2013009956A - 医用画像表示装置及び医用画像診断装置 - Google Patents

医用画像表示装置及び医用画像診断装置 Download PDF

Info

Publication number
JP2013009956A
JP2013009956A JP2012124553A JP2012124553A JP2013009956A JP 2013009956 A JP2013009956 A JP 2013009956A JP 2012124553 A JP2012124553 A JP 2012124553A JP 2012124553 A JP2012124553 A JP 2012124553A JP 2013009956 A JP2013009956 A JP 2013009956A
Authority
JP
Japan
Prior art keywords
image
capsule endoscope
capsule
core line
core
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012124553A
Other languages
English (en)
Inventor
Tomohiro Kawasaki
友寛 川崎
Nobuyuki Konuma
伸行 小沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2012124553A priority Critical patent/JP2013009956A/ja
Publication of JP2013009956A publication Critical patent/JP2013009956A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

【課題】カプセル内視鏡検査における確定診断の作業性を上げることが可能な医用画像表示装置を提供する。
【解決手段】実施形態の医用画像表示装置は、管状体の３次元画像を用いて、前記管状体の管内に置かれる視点に基づく前記管内の仮想内視鏡画像を表示可能であって、カプセル内視鏡画像記憶部と表示制御部とを有し、カプセル内視鏡画像記憶部は管内をカプセル内視鏡が通過することにより収集されたカプセル内視鏡画像を記憶する。表示制御部は、視点の位置に基づいて、カプセル内視鏡画像を表示させる。
【選択図】図１

Description

本発明の実施形態は、医用画像表示装置及び医用画像診断装置に関する。
Ｘ線コンピュータ断層撮影装置（以下、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）と記す）、磁気共鳴診断装置（以下、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）と記す）、Ｘ線診断装置、超音波診断装置の各モダリティを用いて３次元画像が収集される。例えば、ＣＴにより収集された３次元画像を基に、透視投影法を用いた３次元画像処理することにより、消化管や気管、血管などの管状体の管内に視点を置いた仮想内視鏡画像（ＶＥ：Ｖｉｒｔｕａｌ Ｅｎｄｏｓｃｏｐｙ）を作成することが可能となる（例えば、特許文献１）。なお、モダリティを医用画像診断装置という場合がある。また、仮想内視鏡画像をＣＴ内視鏡画像という場合がある。
また、消化管や気管、血管などの管状体の管内に通過させるカプセル内視鏡を用いて、管内に視点を置いたカプセル内視鏡画像が収集される。
仮想内視鏡画像及びカプセル内視鏡画像として、特に、大腸のような消化管臓器内のポリープ等の病変部を表示することにより、画像診断するための３次元医用画像処理・表示装置（マルチモダリティ・ワークステーション）が用いられている。なお、３次元医用画像処理・表示装置を単に医用画像表示装置という場合がある。
消化管の検査方法には、ＣＴによる大腸解析（ＣＴ ｃｏｌｏｎｏｇｒａｐｈｙ）や小腸解析（ＣＴ Ｅｎｔｅｒｏｇｒａｐｈｙ）、内視鏡検査、カプセル内視鏡検査などがある。
ＣＴによる大腸解析や小腸解析では、仮想内視鏡画像によりポリープ病変候補の洗い出しを行う。実際に消化管内部を撮影した画像ではないため、内壁表面の実際の色を観察することができないなどの理由から確定診断には不向きである。
内視鏡検査は、内視鏡を直接患者の消化管に挿入し、内視鏡先端のカメラで消化管内部を撮影した画像によりポリープ病変の診断を行う。確定診断が可能であるが、侵襲性が高いことが短所である。
カプセル内視鏡検査は、患者が飲み込んだ小型（外径約１１ｍｍ、長さ約２６ｍｍ）のカプセル状の内視鏡が消化管内を通過する際に連続的に撮影された消化管内部の画像（カプセル内視鏡画像）によりポリープ病変の診断を行う。侵襲性が低いので従来の内視鏡にかわる確定診断のための検査として注目されている。
カプセル内視鏡検査は、侵襲性が低い検査が求められるため、今後はＣＴによる消化管解析による検診で病変候補が洗い出された患者に対して、カプセル内視鏡検査による確定診断を行う診断ワークフローが主流になっていくことが考えられる。
しかしながら、ＣＴによる大腸解析や小腸解析において洗い出されたポリープ病変候補を基に、カプセル内視鏡検査において確定診断をするとき、作業性が低下するという問題がある。次の２つの要因が挙げられる。
第１に、仮想内視鏡検査とカプセル内視鏡検査は互いに独立して行われるため、仮想内視鏡画像とカプセル内視鏡画像とは対応付けられておらず、その病変候補が表示されているカプセル内視鏡画像を選択し難い。
第２に、カプセル内視鏡検査において、消化管の蠕動運動に任せて消化管内を進行するカプセル内視鏡は、バラバラの方向を向きながら撮影するため、バラバラの方向に向いた大量（例えば、約６００００枚）のカプセル内視鏡画像が得られる。このため、病変候補が表示されているカプセル内視鏡画像を大量の画像の中からの選択はかなりの労力を要する。
この実施形態は、上記の問題を解決するものであり、カプセル内視鏡検査における確定診断の作業性を上げることが可能な医用画像表示装置及び医用画像診断装置を提供することを目的とする。
上記課題を解決するために、実施形態の医用画像表示装置は、管状体の３次元画像を用いて、前記管状体の管内に置かれる視点に基づく前記管内の仮想内視鏡画像を表示可能であって、カプセル内視鏡画像記憶部と表示制御部とを有し、カプセル内視鏡画像記憶部は管内をカプセル内視鏡が通過することにより収集されたカプセル内視鏡画像を記憶する。表示制御部は、視点の位置に基づいて、カプセル内視鏡画像を表示させる。
第１の実施形態に係る医用画像表示装置の構成の一例を示すブロック図。 第１芯線及び病変候補を抽出するときの説明図。 第１芯線及び病変候補を抽出するときの説明図。 カプセル内視鏡による撮影の説明図。 第２芯線を抽出するときの説明図。 第２芯線を抽出するときの説明図。 芯線の対応関係を求めるときの説明図。 カプセル内視鏡画像を選択するときの説明図。 仮想内視鏡画像及びカプセル内視鏡画像を並列して表示するときの一例を示す図。 第１芯線と第２芯線との対応関係を求める一連の動作を示すフローチャート。 病変候補が表示されるカプセル内視鏡画像を選択する一連の動作を示すフローチャート。 第２の実施形態に係る医用画像表示装置の構成ブロック図。 第１芯線とカプセル内視鏡の通過時間との対応関係を求める一連の動作を示すフローチャート。 病変候補が表示されるカプセル内視鏡画像を選択する一連の動作を示すフローチャート。 胃の検査を対象とした表示例を示す図。
次に、医用画像表示装置の実施形態について各図を参照して説明する。
［第１の実施形態］
第１の実施形態に係る医用画像表示装置について図１〜図７、及び図９を参照して説明する。図１は、医用画像表示装置の構成の一例を示すブロック図である。
（ＣＴ）
図１に示すように、モダリティの一例としてはＣＴ１が用いられる。ＣＴ１により管状体の３次元画像が収集される。
ＣＴ１を含むモダリティは、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）により規定されたネットワークを介して、必要に応じてディジタル画像を転送、表示することが可能なシステムであるＰＡＣＳ（医用画像管理システム）に接続されている。モダリティにより収集された管状体の３次元画像は、ネットワークを介してＰＡＣＳに転送される。なお、管状体の３次元画像をモダリティの記憶部（図示省略）に記憶させてもよい。
（カプセル内視鏡装置）
カプセル内視鏡装置２は、カプセル内視鏡、アンテナ、及び記憶部を有する。カプセル内視鏡は、管状体の管内を撮影するための画像センサを搭載している。アンテナは、カプセル内視鏡からの電波を受信する。記憶部は、アンテナが受信した画像データを記憶する。
管状体の管内を移動するカプセル内視鏡によって、管内のカプセル内視鏡画像が撮影さる。撮影において、位置センサ（図示省略）により、カプセル内視鏡の位置（３次元位置）及び向きが検出される。カプセル内視鏡は、所望の管状体の管内をおよそ毎秒２枚の間隔で連続的に撮影する。カプセル内視鏡装置２の記憶部には、撮影により得られたカプセル内視鏡画像（画像群）が、カプセル内視鏡の位置、向き、及び撮影時間を付して記憶される。画像群は、カプセル内視鏡画像記憶部１２に記憶される。
〔医用画像表示装置〕
次に、医用画像表示装置について図１を参照して説明する。
医用画像表示装置は、例えば汎用コンピュータ装置を基本ハードウェアとして用いることができる。
図１に示すように、医用画像表示装置の一例としては、３次元画像記憶部１１、カプセル内視鏡画像記憶部１２、第１芯線抽出部１３、第２芯線抽出部１４、対応関係算出部１５、対応関係記憶部１６、カプセル内視鏡画像選択部１７、仮想内視鏡画像生成部１８、及びＧＵＩ（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）２０を含む。
これらの構成は、上記のコンピュータ装置に搭載されたマイクロプロセッサに画像処理プログラムを実行させることにより実現することができる。なお、画像表示処理プログラムはコンピュータ装置に予めインストールされてもよい。さらに、画像表示処理プログラムは記憶媒体（磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなど）に記録され、コンピュータ装置に適宜インストールされてもよい。さらに、画像表示処理プログラムはネットワークを介して配布されるようにしておき、コンピュータ装置に適宜インストールされてもよい。
なお、これらの構成は、その一部または全部をロジック回路などのハードウェアにより、また、ハードウェアとソフトウェア制御とを組み合わせにより実現することも可能である。
（３次元画像記憶部）
３次元画像記憶部１１は、ＣＴ１により収集された管状体の３次元画像を記憶する。なお、３次元画像記憶部１１は、ＰＡＣＳとして構成されてもよく、ＣＴ１の記憶部として構成されてもよく、さらに、これらに独立して構成されてもよい。
（カプセル内視鏡画像記憶部）
カプセル内視鏡画像記憶部１２は、カプセル内視鏡装置２により収集された管状体のカプセル内視鏡画像を記憶する。なお、カプセル内視鏡画像記憶部１２は、ＰＡＣＳとして構成されてもよく、カプセル内視鏡装置２の記憶部として構成されてもよく、さらに、これらに独立して構成されてもよい。
（第１芯線抽出部）
次に、第１芯線抽出部１３について図２Ａ及び図２Ｂを参照して説明する。図２Ａ及び図２Ｂは第１芯線及び病変候補を抽出するときの説明図である。図２Ａでは、管状体の一例である大腸の第１芯線Ｌ１及び病変候補Ｔを示す。図２Ｂでは、大腸の第１芯線Ｌ１を直線により模式的に示し、さらに第１芯線Ｌ１の開始点Ｌ１Ｓ、終了点Ｌ１Ｅで示す。
第１芯線抽出部１３は、３次元画像記憶部１１に記憶された３次元画像を基にして、管状体の第１芯線（３次元芯線）及び単一又は複数の病変候補位置の抽出を自動的に行う。なお、第１芯線の抽出は、ＧＵＩ２０を用いて操作者により決定されてもよい。
３次元芯線を自動的に抽出する具体的例としては、次の技術が用いられる。
すなわち、対象画像の大きさをＬ行Ｍ列Ｎ段の画素で表し、各画像に対して距離変換を行うことで、線形図形を抽出する（例えば、距離変換を用いた図形の構造解析手法 Ｍｅｄ Ｉｍａｇ Ｔｅｃｈ Ｖｏｌ．１、１３−２２、Ｊａｎｕａｒｙ ２００２）。
病変候補位置の自動的に抽出する具体例としては、大腸ポリープが塊状の濃淡構造を持つことに着目し、ヘッセ行列の固有値を利用した塊状構造強調フィルタを用いて大腸ポリープの検出を行う（例えば、局所濃淡構造解析による３次元腹部ＣＴ像からの大腸ポリープ検出手法 電子情報通信学会技術研究報告 ＭＩ 、医用画像１０６（２２６）、４７−５２、２００６−０８−２６）。
抽出された第１芯線は、３次元画像と同じ３次元座標空間の点列データとして３次元画像記憶部１１に記憶される。抽出された病変候補位置は、同じく上記３次元画像データと同じ３次元座標空間の点座標として３次元画像記憶部１１に記憶される。
（第２芯線抽出部）
次に、第２芯線抽出部１４について図３、図４Ａ及び図４Ｂを参照して説明する。図３はカプセル内視鏡による撮影の説明図である。図３では、管状体の一例である大腸腔内を移動するカプセル内視鏡ＣＥを示す。
図３に示すように、カプセル内視鏡は、管状体の管内を移動しながら管内の画像（カプセル内視鏡画像）を撮影する。カプセル内視鏡画像は、撮影したときのカプセル内視鏡の位置（３次元位置）及び向きを付帯してカプセル内視鏡画像記憶部１２に記憶される。
図４Ａ及び図４Ｂは第２芯線を抽出するときの説明図である。図４Ａでは、カプセル内視鏡の位置ＣＰ及び第２芯線Ｌ２を示す。図４Ｂでは、カプセル内視鏡の移動経路（第２芯線Ｌ２）を真っ直ぐな点線により模式的に示し、さらに、カプセル内視鏡の移動開始位置（開始点）Ｌ２Ｓ、移動終了位置（終了点）Ｌ２Ｅで示し、さらに、カプセル内視鏡の各位置における向きを矢印で示す。
図４Ａ及び図４Ｂに示すように、第２芯線抽出部１４は、カプセル内視鏡画像の位置に基づいて第２芯線（３次元芯線）の抽出を行う。
具体的な第２芯線抽出方法としては、カプセル内視鏡画像に付帯する３次元位置の座標を撮影された順につないだ点列データを求め、この点列データの位置情報を３次元的に平滑化処理して第２芯線の点列データとする。
（対応関係算出部）
次に、対応関係算出部１５について図５を参照して説明する。図５は芯線の対応関係を求めるときの説明図である。図５では、実線により第１芯線Ｌ１を示し、点線により第２芯線Ｌ２を示す。第２芯線Ｌ２が第１芯線Ｌ１より長く示されているのは、カプセル内視鏡が蛇行したりして管状体の芯線に沿って常に移動するとは限らないからである。なお、図５において、第１芯線Ｌ１に沿って配置された矢印は、仮想内視鏡画像を作るときの視線の向きに相当する。
対応関係算出部１５は、第１芯線抽出部１３により抽出された第１芯線と、第２芯線抽出部１４により抽出された第２芯線との対応関係を求める（図５参照）。
具体的には、第１芯線と第２芯線との非線形位置合わせ処理により、第１芯線上の位置と第２芯線上の位置との対応関係を求める。なお、第１芯線上の位置が仮想内視鏡画像における視点の位置に相当し、また第２芯線上の位置がカプセル内視鏡の位置に相当する。
具体的な非線形位置合わせの方法としては、第１芯線及び第２芯線上の各点における接線ベクトルの類似度が最大となるように第１芯線及び第２芯線上の点同士の対応関係を決める。すなわち、図２Ｂで模式的に表されているように第１芯線の開始点Ｌ１Ｓから終了点Ｌ１Ｅまでの各点における芯線の接線ベクトルを求め、同様に図４Ｂで模式的に表されているように第２芯線の開始点Ｌ２Ｓから終了点Ｌ２Ｅまでの各点における芯線の接線ベクトルを求める。続いて、第１芯線の各点に対して、第２芯線の任意の点との内積を求めた総和が最大となるような第１芯線及び第２芯線の各点間の組み合わせを求める。
（対応関係記憶部）
対応関係記憶部１６は、求められた第１芯線と第２芯線との対応関係を記憶する。対応関係記憶部１６の一例としては、第１芯線上の各点と、第２芯線上の各点とを対応付けて記憶するテーブルである。なお、これに限らず、対応関係記憶部１６は、第１の芯線の各点に基づき第２芯線の各点を求めるための対応関係式であってもよい。
（カプセル内視鏡画像選択部）
次に、カプセル内視鏡画像選択部１７について図６を参照して説明する。図６はカプセル内視鏡画像を選択するときの説明図である。
カプセル内視鏡画像選択部１７は、対応関係記憶部１６に記憶された対応関係に基づいて、仮想内視鏡画像を表示する位置及び向きと最も近い位置及び向きのカプセル内視鏡画像をカプセル内視鏡画像記憶部１２に保存されたカプセル内視鏡画像の中から選択する。なお、第１芯線上の向きが、仮想内視鏡画像における視線の向きに相当する。また、第２芯線上の向きが、カプセル内視鏡の視線の向きに相当する。
具体的には、カプセル内視鏡画像選択部１７は、ＧＵＩ２０による第１芯線上の位置の入力を受けて、その位置に対応する第２芯線上の位置を、対応関係記憶部１６に記憶された対応関係に基づいて求める。さらに、カプセル内視鏡画像選択部１７は、カプセル内視鏡画像記憶部１２に記憶されているカプセル内視鏡画像の中から第２芯線上の位置の周辺で撮影された画像群を抽出する。さらに、カプセル内視鏡画像選択部１７は、その画像群のうち、第１芯線上の向きに対し相対的に最も近い第２芯線上の向きを求め、さらに、第２芯線上の向きに対応する第２芯線上の位置を求める。さらに、カプセル内視鏡画像選択部１７は、求めた第２芯線上の位置及び向きに関連付けられたカプセル内視鏡画像を、カプセル内視鏡画像記憶部１２に記憶されているカプセル内視鏡画像の中から選択する。選択されたカプセル内視鏡画像を、第１芯線上の位置及び向きを基に作成された仮想内視鏡画像に最も近いカプセル内視鏡画像とする。
（仮想内視鏡画像生成部）
仮想内視鏡画像生成部１８は、ＧＵＩ２０により第１芯線上の位置及び向きを受けて、３次元画像記憶部１１から読み出した３次元画像を用いて、第１芯線上の位置及び向きに基づき、透視投影法を用いた３次元画像処理することにより、仮想内視鏡画像を作成する。
（ＧＵＩ）
ＧＵＩ２０は、入力部２１、表示制御部２２、及びモニタ２３を有している。
入力部２１の一例としては、キーボード、マウス、ジョイスティックなどのポインティングデバイスを含む。
表示制御部２２は、モニタ２３に３次元画像、仮想内視鏡画像（第１芯線含む）、カプセル内視鏡画像などを表示させるとともに、入力部２１により指示された表示領域に対応する第１芯線上の位置をカプセル内視鏡画像選択部１７に出力する。なお、ＧＵＩ２０の内部メモリ（図示省略）には、第１芯線上の初期位置及び初期向きが予め記憶されている。
［医用画像表示装置の動作］
次に、医用画像表示装置の一連の動作について図８及び図９を参照して説明する。図８は第１芯線と第２芯線との対応関係を求める一連の動作を示すフローチャートである。
（Ｓ１０１）
図８に示すように、Ｓ１０１では、第１芯線抽出部１３が、３次元画像記憶部１１から読み出された３次元画像に基づき、第１芯線及び病変候補位置を抽出する（図２参照）。
３次元画像記憶部１１には、抽出された第１芯線（点列データ）及び病変候補位置が記憶される。
（Ｓ１０２）
Ｓ１０２では、第２芯線抽出部１４は、カプセル内視鏡画像記憶部１２に記憶されたカプセル内視鏡の位置（３次元位置）に基づいて、カプセル内視鏡が通過した第２芯線（点列データ）を抽出する。
（Ｓ１０３）
Ｓ１０３では、対応関係算出部１５は、Ｓ１０１で得られた第１芯線の位置とＳ１０２で得られた第２芯線の位置との対応関係を求める。求めた対応関係が対応関係記憶部１６に記憶される。
以上のような第１芯線と第２芯線との対応関係を予め求めておく。対応関係を用いて、例えば、ＣＴ１による大腸解析や小腸解析において洗い出された病変候補を基に、カプセル内視鏡検査において確定診断を行う。なお、カプセル内視鏡検査における確定診断をするとき、対応関係を求めるようにしてもよい。
次に、対応関係を用いて、カプセル内視鏡検査における確定診断をするときの一連の動作について図９を参照して説明する。図９は、病変候補が表示されるカプセル内視鏡画像を選択する一連の動作を示すフローチャートである。
（Ｓ２０１：第１芯線上の初期位置等の読み出し）
ＧＵＩ２０の内部メモリには、第１芯線上の初期位置及び初期向きが記憶されている。図９に示すように、Ｓ２０１では、仮想内視鏡画像及びカプセル内視鏡画像をモニタ２３に表示する開始の指示を受けて、カプセル内視鏡画像選択部１７は、ＧＵＩ２０の内部メモリから第１芯線上の初期位置及び初期向きを読み出す。
（Ｓ２０２：カプセル内視鏡画像の選択）
Ｓ２０２では、カプセル内視鏡画像選択部１７は、読み出した第１芯線上の初期位置を基に、対応関係記憶部１６に記憶されたテーブルに基づいて、第１芯線上の位置に対応する第２芯線上の位置を求める。
次に、カプセル内視鏡画像選択部１７は、カプセル内視鏡画像記憶部１２に記憶されているカプセル内視鏡画像の中から第２芯線上の位置の周辺で撮影された画像群を抽出する。
次にカプセル内視鏡画像選択部１７は、その画像群のうち、ＧＵＩ２０に予め記憶されている第１芯線上の初期向きに、最も近い第２芯線上の向きで撮影された画像を選択する。選択された画像を、第１芯線上の初期位置及び初期向きに最も近いカプセル内視鏡画像とする。
（Ｓ２０３：画像表示）
Ｓ２０３では、仮想内視鏡画像生成部１８は、ＧＵＩ２０に予め設定されている第１芯線上の初期位置及び初期向きに基づいて、３次元画像記憶部１１に記憶されている３次元画像を用いて仮想内視鏡画像を生成する。
表示制御部２２は、第１芯線上の初期位置及び初期向きに基づき、Ｓ２０２で求められたカプセル内視鏡画像と、Ｓ２０３で生成された仮想内視鏡画像とをモニタ２３に連動表示させる。
ここで、連動表示とは、芯線上の位置及び向きに基づき互いに対応関係を有する二つの画像において、芯線の位置及び／又は向きに基づいて、二つの画像を関連付けて表示することをいう。
連動表示について図６及び図７を参照して説明する。図６は、管状体のＶＲ画像、仮想内視鏡画像、及びカプセル内視鏡画像が並列表示された図、図７は、さらに、フィレビュー画像が配列表示された図である。
なお、図６に、仮想内視鏡画像における視線の位置Ｌ１Ｐ、視線の向きＬ１Ｄ、仮想内視鏡の位置Ｌ２Ｐ、視線の向きＬ２Ｐを示す。また、並列表示された管状体のＶＲ画像Ｇ１、仮想内視鏡画像Ｇ２、及びカプセル内視鏡画像Ｇ３を示す。図７には、配列表示されたフィレビュー画像Ｇ４及び他の画像Ｇ１〜Ｇ３とを示す。
具体的な連動表示方法としては、上下や左右に並列表示したり、ＧＵＩ２０による操作者による操作などをきっかけとして切り換えて表示したりする。
図６及び図７に示すように、３次元画像記憶部１１に記憶されている３次元画像を用いてＣＴのＶＲ（ｖｏｌｕｍｅ Ｒｅｎｄｅｒｉｎｇ）画像を並列表示し、ＶＲ画像上に、第１芯線、第２芯線、仮想内視鏡画像及びカプセル内視鏡画像の現在の視線及び視点、病変候補位置などをグラフィックで表示する（図６参照）。それにより、表示されている仮想内視鏡画像とカプセル内視鏡画像との位置関係により、病変候補位置などを把握しやすくする。
同様の目的で、第１芯線に沿って管状体を切り開いたＶＲ画像であるフィレビュー（Ｆｉｌｌｅｔ Ｖｉｅｗ）画像を表示する（図７参照）。
（Ｓ２０４）
Ｓ２０４では、画像の表示が終了であるかどうかを判断する。画像の表示が終了であるとき（Ｓ２０４：Ｙｅｓ）、画像の表示を終了する。画像の表示が終了でないとき（Ｓ２０４：Ｎｏ）、第１芯線上の位置を変更したか否かを判断するＳ２０５に移行する。
（Ｓ２０５）
Ｓ２０５では、ＧＵＩ２０による操作により、操作者が仮想内視鏡画像及び／又はカプセル内視鏡画像の視点及び視線を変更するとき（Ｓ２０５：Ｙｅｓ）、視点及び／又は視線の変更を受けて、カプセル内視鏡画像選択部１７は、カプセル内視鏡画像を再選択する（Ｓ２０２）。
表示制御部２２は、変更された第１芯線上の位置及び／又は向きに基づき、Ｓ２０２で求められたカプセル内視鏡画像と、Ｓ２０３で生成された仮想内視鏡画像とをモニタ２３に連動表示させる。
ＧＵＩ２０による操作の例としては、ＣＴのＶＲ画像上で観察したい位置及び向きを入力部２１で指定することにより、視点の位置及び視線の向きが変更されるようにする。この操作により、操作者がＶＲ画像上に表示されている病変候補位置を指定することにより、ＶＲ画像Ｇ１上の現在の視点の位置及び視線の向きに基づき、仮想内視鏡画像及びカプセル内視鏡画像の表示を更新する。それにより、視点の位置及び視線の向きに応じて、カプセル内視鏡画像を瞬時に観察できる。
ＧＵＩ２０による操作の他の例としては、仮想内視鏡画像上、又はカプセル内視鏡画像上にて操作者が観察したい方向に入力部２１例えばマウスを動かすことにより、両画像の視線が連動して変更されるようにする。この操作により、カプセル内視鏡画像でも病変候補を様々な角度から立体的に観察することができる。
なお、視点及び視線を変更しないとき（Ｓ２０５：Ｎｏ）、画像の表示が終了であるかどうかを判断するＳ２０４に戻る。
［第２実施形態］
次に、第２の実施形態に係る医用画像表示装置について図１０〜図１２を参照して説明する。
図１０は医用画像表示装置の構成ブロック図である。
図１及び図１０に示すように、第１の実施形態との違いは、第１の実施形態に係る対応関係算出部１５が第１芯線と第２芯線との対応関係により第１芯線と第２芯線との対応関係を求めるのに対し、第２の実施形態に係る対応関係算出部１５は、第１芯線とカプセル内視鏡が管状体の管内を通過するときの通過時間との対応関係を求める点が異なる。
以下異なる点について説明し、第１の実施形態と同じ構成についてはその説明を省略する。
対応関係算出部１５は、カプセル内視鏡が管状体の管内を移動する統計的な平均速度に基づいて、第１芯線上の位置とカプセル内視鏡の通過時間との対応関係を求める。
次に、対応関係を求める一例を説明する。
カプセル内視鏡による撮影における撮影開始時間をｔｓ、撮影終了時間をｔｅ、通過時間ｔａ、カプセル内視鏡の移動時の平均速度をｖとする。なお、通過時間ｔａは、その撮影時のカプセル内視鏡画像に付帯してカプセル内視鏡画像記憶部１２に記憶されている。
撮影所要時間Ｔｏは撮影終了時間から撮影開始時間を減算することで求められる（ｔｅ−ｔｓ）。また、通過時間ｔａまでの所要時間Ｔａは、通過時間ｔａから撮影開始時間を減算することで求められる（ｔａ−ｔｓ）。
撮影所要時間Ｔｏ、Ｔａとを比較することで、通過時間ｔａにおいて、カプセル内視鏡が全移動経路の中のどこの辺りに位置するかが求められる（Ｔａ／Ｔｏ）。
第１芯線の全長Ｌｏは、開始点Ｌ１Ｓから終了点Ｌ１Ｅまでの各点間の微小距離を積分することで求めることができる。また、開始点Ｌ１Ｓからの第１芯線上の位置Ｌ１Ｐまでの長さＬａは、開始点Ｌ１Ｓから第１芯線上の位置Ｌ１Ｐまでの各点間の微小距離を積分することで求められる。
第１芯線の全長Ｌｏと開始点から第１芯線上の位置Ｌ１Ｐまでの長さＬａとを比較することで、第１芯線上の位置Ｌ１Ｐが、第１芯線の全長の中のどの辺りに位置するかが求められる（Ｌａ／Ｌｏ）。
求められる両者は対応関係にある〔（Ｔａ／Ｔｏ）≒（Ｌａ／Ｌｏ）〕。それにより、通過時間ｔａ（又はＴａ）、撮影所要時間Ｔｏ、及び第１芯線の全長Ｌｏから、開始点Ｌ１Ｓからの第１芯線上に沿った長さＬａが求められ、さらに、第１芯線上の位置Ｌ１Ｐが求められる。
以上のように対応関係算出部１５を構成したことにより、対応関係記憶部１６及びカプセル内視鏡画像選択部１７は次のように構成される。
対応関係記憶部１６は、第１芯線上の位置と通過時間との対応関係を記憶する。さらに、カプセル内視鏡画像選択部１７は、第１芯線上の位置に対応する通過時間を対応関係記憶部１６から読み出し、通過時間に近い時間に撮影された画像を、カプセル内視鏡画像記憶部１２に記憶されているカプセル内視鏡画像の中から選択する。
次に、第１芯線とカプセル内視鏡の通過時間との対応関係を求める一連の動作について図１１を参照して説明する。図１１は、第１芯線とカプセル内視鏡の通過時間との対応関係を求める一連の動作を示すフローチャートである。
（Ｓ３０１）
Ｓ３０１では、第１の実施形態におけるＳ１０１と同様に、３次元画像を基に第１芯線及び病変候補を抽出する。
（Ｓ３０２）
Ｓ３０２では、対応関係算出部１５は、カプセル内視鏡画像記憶部１２から撮影時おけるカプセル内視鏡の通過時間を読み出す。
（Ｓ３０３）
次に、Ｓ３０３では、対応関係算出部１５は、第１芯線の位置と通過時間との対応関係を求める。対応関係は対応関係記憶部１６に記憶される。
次に、対応関係を用いて、カプセル内視鏡検査における確定診断をするときの一連の動作につい説明する。図１２は、病変候補が表示されるカプセル内視鏡画像を選択する一連の動作を示すフローチャートである。
（Ｓ４０１）
図１２に示すように、Ｓ４０１では、仮想内視鏡画像及びカプセル内視鏡画像をモニタ２３に表示する開始の指示を受けて、カプセル内視鏡画像選択部１７は、ＧＵＩ２０の内部メモリから第１芯線上の初期位置及び初期向きを読み出す。
（Ｓ４０２）
Ｓ４０２では、カプセル内視鏡画像選択部１７は、読み出した第１芯線上の初期位置を基に、対応関係記憶部１６に記憶されたテーブルに基づいて、第１芯線上の位置に対応するカプセル内視鏡の通過時間を求める。
次に、カプセル内視鏡画像選択部１７は、カプセル内視鏡画像記憶部１２に記憶されているカプセル内視鏡画像の中から通過時間の周辺で撮影された画像群を抽出する。
次にカプセル内視鏡画像選択部１７は、その画像群のうち、ＧＵＩ２０に予め記憶されている第１芯線上の初期向きに、最も近い向きで撮影された画像を選択する。選択された画像を、第１芯線上の初期位置及び初期向きに最も近いカプセル内視鏡画像とする。
（Ｓ４０３）
Ｓ４０３では、仮想内視鏡画像生成部１８は、ＧＵＩ２０に予め設定されている第１芯線上の初期位置及び初期向きに基づいて、３次元画像記憶部１１に記憶されている３次元画像を用いて仮想内視鏡画像を生成する。
表示制御部２２は、第１芯線上の初期位置及び初期向きに基づき、Ｓ４０２で求められたカプセル内視鏡画像と、Ｓ４０３で生成された仮想内視鏡画像とをモニタ２３に連動表示させる。
（Ｓ４０４）
Ｓ４０４では、画像の表示が終了であるかどうかを判断する。画像の表示が終了であるとき（Ｓ４０４：Ｙｅｓ）、画像の表示を終了する。画像の表示が終了でないとき（Ｓ４０４：Ｎｏ）、第１芯線上の位置を変更したか否かを判断するＳ４０５に移行する。
（Ｓ４０５）
Ｓ４０５では、ＧＵＩ２０による操作により、操作者が仮想内視鏡画像及び／又はカプセル内視鏡画像の視点及び視線を変更するとき（Ｓ４０５：Ｙｅｓ）、視点及び／又は視線の変更を受けて、カプセル内視鏡画像選択部１７は、カプセル内視鏡画像を再選択する（Ｓ４０２）。
表示制御部２２は、変更された第１芯線上の位置及び／又は向きに基づき、Ｓ４０２で求められたカプセル内視鏡画像と、Ｓ４０３で生成された仮想内視鏡画像とをモニタ２３に連動表示させる。
［変形例１］
以上、ＣＴ大腸解析を例に実施例を説明した。
次に、実施形態の変形例１について図１３を参照して説明する。図１３は胃の検査を対象とした表示例を示す図である。図１３に、並列表示された管状体のＶＲ画像Ｇ１、仮想内視鏡画像Ｇ２、及びカプセル内視鏡画像Ｇ３、さらに、ＶＲ画像Ｇ１中に病変候補Ｔ及びカプセル内視鏡ＣＥを示す。
図１３に示すように、同様の手法で胃の解析など消化管全般にわたって本発明を適用可能である。
この実施形態では、ＣＴ１など３次元の医用診断装置による消化管解析で洗い出されたポリープ病変候補位置に対応するカプセル内視鏡画像のみに注目して観察できるので、大量の撮影画像を全て確認する手間が省け、ポリープ病変の確定診断における検査効率が向上する。
また、ＣＴ１などの仮想内視鏡画像上でポリープ病変候補を観察する向きを微調整するのに連動して、対応する向きのカプセル内視鏡画像にその都度更新表示することにより、カプセル内視鏡画像を擬似的な３次元画像として観察でき、病変候補を立体的な内視鏡画像で診断することが可能となり、ポリープ病変の確定診断における診断精度が向上する。
［変形例２］
次に、実施形態の変形例２について図７を参照して説明する。
上記実施形態では、仮想内視鏡画像が選択されると、その仮想内視鏡画像の視点の位置に基づいて、カプセル内視鏡画像を表示させるものであった。これに対し、変形例２では、カプセル内視鏡画像が選択されると、選択されたカプセル内視鏡画像が収集されたときのカプセル内視鏡の通過時間または通過位置に対応する視点の位置を求め、求められた視点の位置に基づいて仮想内視鏡画像を表示させるものである。
図７は、仮想内視鏡画像Ｇ２及びカプセル内視鏡画像Ｇ３を並列して表示するときの一例を示す図である。図７に、カプセル内視鏡画像Ｇ３の辺縁に沿うように配置されたスケール画像を”ＳＧ”で示す。
図７に示すように、スケール画像ＳＧの左端位置が通過開始時間または通過開始位置であって、図６に示す仮想内視鏡の開始点Ｌ２Ｓに相当している。スケール画像ＳＧの右端位置が通過終了時間または通過終了位置であって、図６に示す仮想内視鏡の終了点Ｌ２Ｅに相当している。
また、図７に、管内をカプセル内視鏡が通過することにより収集された複数のカプセル内視鏡画像上の色であって、カプセル内視鏡の通過時間または通過位置に対応する組織の代表色がスケール画像ＳＧ上に表示されている。例えば、病変部の代表色は、”赤”（図７で示すハッチング）で表示されている。
図７に三角形の形状で表されたマーカーを”ＭＫ”で示す。カプセル内視鏡画像選択部１７は、入力部２１及び表示制御部２２を有している。入力部（例えばマウス）２１の操作により、マーカーＭＫの位置がスケール画像ＳＧに沿って移動可能に表示される。マーカーＭＫの位置は、カプセル内視鏡の通過時間または通過位置に相当している。
表示制御部２２は、入力部２１の操作によるマーカーＭＫの位置の指定を受けて、その位置に対応する通過時間または通過位置に収集されたカプセル内視鏡画像を選択し、選択されたカプセル内視鏡画像を表示させる。
対応関係算出部１５は、カプセル内視鏡画像の選択を受けて、選択されたカプセル内視鏡画像が収集されたときのカプセル内視鏡の通過時間または通過位置に対応する視点の位置（第１芯線上の位置）を求める。表示制御部２２は、求められた視点の位置に基づく仮想内視鏡画像を表示させる。
前記実施形態では、仮想内視鏡画像とカプセル内視鏡画像とが対応付けられ、例えば、仮想内視鏡画像上で病変候補を指定すると、それに相当する病変候補が表示されているカプセル内視鏡画像を選択し易くなり、カプセル内視鏡検査における確定診断の作業性を上げることが可能となる。
なお、実施形態では、図６及び図７に示すように、表示制御部２２がＶＲ画像Ｇ１、仮想内視鏡画像Ｇ２、及びカプセル内視鏡画像Ｇ３等を並列表示させるものを示したが、ＶＲ画像Ｇ１、仮想内視鏡画像Ｇ２、及びカプセル内視鏡画像Ｇ３等を切り換えて表示させてもよい。
さらに、表示制御部２２が仮想内視鏡画像にカプセル内視鏡の位置を重ねて表示させてもよい。カプセル内視鏡画像選択部１７が、仮想内視鏡画像における視点の位置（第１芯線上の位置）および視線の向き（第１芯線上の方向）を基に、第１芯線上の位置及び向きに最も近いカプセル内視鏡画像を求める。表示制御部２２は、求められたカプセル内視鏡画像における第２芯線上の位置（カプセル内視鏡の位置）を、仮想内視鏡画像に重ねて表示させる。それにより、仮想内視鏡画像とカプセル内視鏡画像との対応付けが容易となる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、書き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるととともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１ ＣＴ
２ カプセル内視鏡装置
１１ ３次元画像記憶部
１２ カプセル内視鏡画像記憶部
１３ 第１芯線抽出部
１４ 第２芯線抽出部
１５ 対応関係算出部
１６ 対応関係記憶部
１７ カプセル内視鏡画像選択部
１８ 仮想内視鏡画像生成部
２０ ＧＵＩ
２１ 入力部
２２ 表示制御部
２３ モニタ

Claims (12)

  1. 管状体の３次元画像を用いて、前記管状体の管内に置かれる視点に基づく前記管内の仮想内視鏡画像を表示可能な医用画像表示装置において、
    前記管内をカプセル内視鏡が通過することにより収集されたカプセル内視鏡画像を記憶するカプセル内視鏡画像記憶部と、
    前記視点の位置に基づいて、前記カプセル内視鏡画像を表示させる表示制御部と、
    を有する
    ことを特徴とする医用画像表示装置。
  2. 前記表示制御部は、前記カプセル内視鏡画像を、前記仮想内視鏡画像上で指定された前記視点に基づいて表示させる
    ことを特徴とする請求項１に記載の医用画像表示装置。
  3. 前記表示制御部は、前記カプセル内視鏡の位置を前記仮想内視鏡画像に重ねて表示させる
    ことを特徴とする請求項１または請求項２に記載の医用画像表示装置。
  4. 前記３次元画像に基づいて前記管状体の第１芯線を予め抽出する第１芯線抽出部と、
    前記カプセル内視鏡の位置に基づいて前記管状体の第２芯線を予め抽出する第２芯線抽出部と、
    前記第１芯線と前記第２芯線との対応関係を求める対応関係算出部と、
    をさらに有し、
    前記表示制御部は、前記対応関係に基づいて前記カプセル内視鏡画像を表示させる
    ことを特徴とする請求項１に記載の医用画像表示装置。
  5. 前記対応関係算出部は、前記第１芯線と前記第２芯線における芯線の方向を表す３次元接線ベクトルの類似度に基づき、前記対応関係を求めることを特徴とする請求項４に記載の医用画像表示装置。
  6. 前記カプセル内視鏡画像記憶部は、前記カプセル内視鏡画像を前記カプセル内視鏡の位置である第２芯線の位置及びカプセル内視鏡の向きである第２芯線の向きに関連付けて記憶し、
    前記第１芯線上の位置に対応する第２芯線上の位置を前記対応関係を参照して求め、当該求めた前記第２芯線上の位置の周辺で撮影された画像群を、前記カプセル内視鏡画像記憶部に記憶されているカプセル内視鏡画像の中から抽出し、当該抽出した前記画像群のうち、前記第１芯線上の向きに対し相対的に最も近い前記第２芯線上の向きを求め、当該求めた前記第２芯線上の向きに対応する前記第２芯線上の位置を求め、当該求めた前記第２芯線上の前記位置及び前記向きに関連付けられた前記カプセル内視鏡画像を前記カプセル内視鏡画像記憶部に記憶されているカプセル内視鏡画像の中から選択するカプセル内視鏡画像選択部を有する請求項４または請求項５に記載の医用画像表示装置。
  7. 前記３次元画像を用いて前記管状体の第１芯線を予め抽出する第１芯線抽出部と、
    前記第１芯線と前記カプセル内視鏡が前記管内を通過するときの通過時間との対応関係を求める対応関係算出部と、
    を有し、
    前記表示制御部は、前記対応関係に基づいて前記カプセル内視鏡画像を表示させる
    ことを特徴とする請求項１に記載の医用画像表示装置。
  8. 前記表示制御部は、前記仮想内視鏡画像と前記カプセル内視鏡画像とを並列して表示させることを特徴とする請求項１から請求項７のいずれかに記載の医用画像表示装置。
  9. 前記表示制御部は、前記仮想内視鏡画像と前記カプセル内視鏡画像とを切り換えて表示させることを特徴とする請求項１から請求項８のいずれかに記載の医用画像表示装置。
  10. 前記仮想内視鏡画像は、前記管状体の芯線に沿って前記管内を開いた展開画像を含むことを特徴とする請求項１から請求項９のいずれかに記載の医用画像表示装置。
  11. 管状体の３次元画像を用いて、前記管状体の管内に置かれる視点に基づく前記管内の仮想内視鏡画像を表示可能な医用画像表示装置において、
    前記管内をカプセル内視鏡が通過することにより収集された複数のカプセル内視鏡画像を記憶するカプセル内視鏡画像記憶部と、
    前記カプセル内視鏡画像の選択を受けて、前記選択されたカプセル内視鏡画像が収集されたときの前記カプセル内視鏡の通過時間または通過位置に対応する前記視点の位置を求める手段と、
    前記求められた前記視点の位置に基づく仮想内視鏡画像を表示させる表示制御部と、
    を有する
    ことを特徴とする医用画像表示装置。
  12. 前記請求項１から請求項１１のいずれかに記載の医用画像表示装置を有することを特徴とする医用画像診断装置。
JP2012124553A 2011-06-01 2012-05-31 医用画像表示装置及び医用画像診断装置 Pending JP2013009956A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012124553A JP2013009956A (ja) 2011-06-01 2012-05-31 医用画像表示装置及び医用画像診断装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011123337 2011-06-01
JP2011123337 2011-06-01
JP2012124553A JP2013009956A (ja) 2011-06-01 2012-05-31 医用画像表示装置及び医用画像診断装置

Publications (1)

Publication Number Publication Date
JP2013009956A true JP2013009956A (ja) 2013-01-17

Family

ID=47259424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012124553A Pending JP2013009956A (ja) 2011-06-01 2012-05-31 医用画像表示装置及び医用画像診断装置

Country Status (4)

Country Link
US (1) US9655498B2 (ja)
JP (1) JP2013009956A (ja)
CN (1) CN103327900B (ja)
WO (1) WO2012165572A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017108971A (ja) * 2015-12-17 2017-06-22 キヤノンマーケティングジャパン株式会社 画像診断支援装置及びその制御方法、並びにコンピュータプログラム及び記憶媒体
WO2018117427A1 (ko) * 2016-12-21 2018-06-28 주식회사 인트로메딕 3d 영상을 재생을 위한 캡슐 내시경 장치, 상기 캡슐 내시경의 동작 방법, 캡슐 내시경과 연동하여 3d 영상을 재생하는 수신기, 캡슐 내시경과 연동하여 수신기의 3d 영상을 재생하는 방법, 및 캡슐 내시경 시스템
WO2019087969A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 内視鏡システム、報知方法、及びプログラム
WO2019155724A1 (ja) * 2018-02-09 2019-08-15 富士フイルム株式会社 位置合わせ装置、方法およびプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5690447B2 (ja) * 2012-10-15 2015-03-25 オリンパスメディカルシステムズ株式会社 情報管理装置及びカプセル型内視鏡検査システム
CN106028946B (zh) * 2014-02-12 2020-01-31 皇家飞利浦有限公司 用于监测病变尺寸趋势的系统及其操作方法
WO2015164596A2 (en) * 2014-04-24 2015-10-29 Gentex Corporation Roof mounted imager module
CN105942959B (zh) * 2016-06-01 2018-08-24 安翰光电技术（武汉）有限公司 胶囊内窥镜系统及其三维成像方法
WO2020044523A1 (ja) * 2018-08-30 2020-03-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
CN109602383B (zh) * 2018-12-10 2020-04-14 吴修均 一种多功能智能支气管镜检查系统
JP7096445B2 (ja) * 2019-09-20 2022-07-05 Hoya株式会社 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6590999B1 (en) * 2000-02-14 2003-07-08 Siemens Corporate Research, Inc. Real-time tracking of non-rigid objects using mean shift
JP4022114B2 (ja) * 2002-08-30 2007-12-12 オリンパス株式会社 内視鏡装置
US9373166B2 (en) * 2004-04-23 2016-06-21 Siemens Medical Solutions Usa, Inc. Registered video endoscopy and virtual endoscopy
JP2006061274A (ja) * 2004-08-25 2006-03-09 Konica Minolta Medical & Graphic Inc プログラム、及び内視鏡システム
JP2006230906A (ja) * 2005-02-28 2006-09-07 Toshiba Corp 医用診断システム、医用診断装置及び内視鏡
JP4813190B2 (ja) * 2005-05-26 2011-11-09 オリンパスメディカルシステムズ株式会社 カプセル型医療装置
JP5372406B2 (ja) * 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
JP5188879B2 (ja) * 2008-05-23 2013-04-24 オリンパスメディカルシステムズ株式会社 医療機器
US8241206B2 (en) * 2008-07-08 2012-08-14 Olympus Medical Systems Corp. System for guiding capsule medical device
JP4676021B2 (ja) * 2009-04-16 2011-04-27 富士フイルム株式会社 診断支援装置、診断支援プログラムおよび診断支援方法
JP5322794B2 (ja) * 2009-06-16 2013-10-23 株式会社東芝 内視鏡検査支援システム
JP5377153B2 (ja) * 2009-08-18 2013-12-25 株式会社東芝 画像処理装置、画像処理プログラムおよび医用診断システム
JP5457764B2 (ja) * 2009-09-02 2014-04-02 株式会社東芝 医用画像処理装置
JP2011092681A (ja) * 2009-09-30 2011-05-12 Fujifilm Corp 医用画像処理装置および方法並びにプログラム
JP4923096B2 (ja) * 2009-11-30 2012-04-25 オリンパスメディカルシステムズ株式会社 画像表示装置
JP5551957B2 (ja) * 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017108971A (ja) * 2015-12-17 2017-06-22 キヤノンマーケティングジャパン株式会社 画像診断支援装置及びその制御方法、並びにコンピュータプログラム及び記憶媒体
WO2018117427A1 (ko) * 2016-12-21 2018-06-28 주식회사 인트로메딕 3d 영상을 재생을 위한 캡슐 내시경 장치, 상기 캡슐 내시경의 동작 방법, 캡슐 내시경과 연동하여 3d 영상을 재생하는 수신기, 캡슐 내시경과 연동하여 수신기의 3d 영상을 재생하는 방법, 및 캡슐 내시경 시스템
WO2019087969A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 内視鏡システム、報知方法、及びプログラム
JPWO2019087969A1 (ja) * 2017-10-31 2020-11-12 富士フイルム株式会社 内視鏡システム、報知方法、及びプログラム
WO2019155724A1 (ja) * 2018-02-09 2019-08-15 富士フイルム株式会社 位置合わせ装置、方法およびプログラム

Also Published As

Publication number Publication date
US9655498B2 (en) 2017-05-23
US20140081079A1 (en) 2014-03-20
WO2012165572A1 (ja) 2012-12-06
CN103327900A (zh) 2013-09-25
CN103327900B (zh) 2016-01-20

Similar Documents

Publication Publication Date Title
WO2012165572A1 (ja) 医用画像表示装置及び医用画像診断装置
JP5675227B2 (ja) 内視鏡画像処理装置および作動方法、並びに、プログラム
JP4676021B2 (ja) 診断支援装置、診断支援プログラムおよび診断支援方法
JP5918548B2 (ja) 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
EP2430979B1 (en) Biopsy support system
CN108475436A (zh) 使用轮廓标志的外科手术图像采集设备的配准
US9375132B2 (en) Medical image processing apparatus and medical image diagnosis apparatus
CA3186030A1 (en) Endoscopic system and methods having real-time medical imaging
JP2010517632A (ja) 内視鏡の継続的案内のためのシステム
EP2413777B1 (en) Associating a sensor position with an image position
JP2009039449A (ja) 画像処理装置
WO2012014438A1 (ja) 内視鏡観察を支援する装置および方法、並びに、プログラム
CN103025227A (zh) 图像处理设备、方法和程序
JP4686279B2 (ja) 医用診断装置及び診断支援装置
JP6633383B2 (ja) 画像診断支援装置及びその制御方法、並びにプログラム及び記憶媒体
JP5226244B2 (ja) 医用ガイドシステム
JP4445792B2 (ja) 挿入支援システム
JP2011135937A (ja) 医用画像処理装置、医用画像処理プログラム及び医用画像診断装置
US20220020160A1 (en) User interface elements for orientation of remote camera during surgery
JP6199267B2 (ja) 内視鏡画像表示装置、その作動方法およびプログラム
JP2017108934A (ja) 医用画像処理装置、その制御方法、及びプログラム
WO2023275974A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
JP5523784B2 (ja) 画像処理装置および医用画像診断装置
US20220078343A1 (en) Display system for capsule endoscopic image and method for generating 3d panoramic view
JP4190454B2 (ja) 挿入支援装置