JP2004500213A - デジタル腸サブトラクションおよびポリープ検出システムならびに関連技術 - Google Patents

デジタル腸サブトラクションおよびポリープ検出システムならびに関連技術 Download PDF

Info

Publication number
JP2004500213A
JP2004500213A JP2001575386A JP2001575386A JP2004500213A JP 2004500213 A JP2004500213 A JP 2004500213A JP 2001575386 A JP2001575386 A JP 2001575386A JP 2001575386 A JP2001575386 A JP 2001575386A JP 2004500213 A JP2004500213 A JP 2004500213A
Authority
JP
Japan
Prior art keywords
image
intestinal
pixel
region
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001575386A
Other languages
English (en)
Other versions
JP5031968B2 (ja
JP2004500213A5 (ja
Inventor
ザリス,マイケル・イー
Original Assignee
ザ ゼネラル ホスピタル コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ザ ゼネラル ホスピタル コーポレーション filed Critical ザ ゼネラル ホスピタル コーポレーション
Publication of JP2004500213A publication Critical patent/JP2004500213A/ja
Publication of JP2004500213A5 publication Critical patent/JP2004500213A5/ja
Application granted granted Critical
Publication of JP5031968B2 publication Critical patent/JP5031968B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • G06T2207/30032Colon polyp
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

仮想結腸鏡検査を実施するためのシステムは、デジタル画像を作成するためのシステムと、デジタル画像を記憶するための記憶装置と、記憶装置から結腸の画像を受領するために結合され、腸の内容物を画像から除去するデジタル腸サブトラクション・プロセッサと、記憶装置から結腸の画像を受領するために結合され、結腸の画像におけるポリープを検出する自動ポリープ検出プロセッサとを含む。

Description

【0001】
(発明の分野)
本発明は、一般には結腸鏡検査手法に関し、より詳細には、腸の画像を処理して画像から腸内容物を除去するとともに、デジタル画像におけるポリープを検出するためのシステムに関する。
【0002】
(発明の背景)
当該技術分野において知られているように、結腸鏡検査法は、結腸を検査して、結腸の解剖学的組織におけるポリープ、腫瘍または炎症の如き病変を検出するための医学的手法である。結腸鏡検査法は、その一端に光ファイバまたはビデオ記録機能を有する結腸鏡として知られるフレキシブルな環状構造体による直接的な内視鏡検査からなる手法である。結腸鏡を患者の肛門から挿入し、結腸の長さ方向に沿って誘導することによって、結腸のポリープや腫瘍を直接内視鏡で視覚化するとともに、場合によっては内視鏡生検やポリープ除去のための機能を提供する。結腸鏡検査法は、結腸鏡検査の厳密な手段を提供するが、実施するのに多くの時間と費用がかかるとともに、検査者の多大な注意力と技能を必要とする。また、この手法は、下剤の服用や浣腸、さらに通常は適度の麻酔を含む患者の周到な準備を必要とする。さらに、結腸鏡検査法は、侵襲的手法であるため、結腸を傷つけるリスクが大きいとともに、致命的ともいえる結腸の貫通や腹膜炎を生じる可能性がある。
【0003】
これらの欠点を克服するために、仮想結腸鏡検査法が検討された。仮想結腸鏡検査法は、コンピュータ断層撮影(CT)映像システム(コンピュータ支援断層撮影(CAT)映像システム)によって作成される画像を利用する。CT(またはCAT)映像システムでは、コンピュータを使用して、身体の断面に測定X線速度減衰を用いることにより身体部位の断面の画像を作成する。仮想結腸鏡検査法において、CT映像システムは腸の内部の二次元画像を作成する。当該一連の二次元画像を組み合わせて結腸の三次元画像を作成することが可能である。この手法は、内視鏡を患者に挿入する必要がないため、結腸を傷つけるリスク、および結腸の貫通や腹膜炎を引き起こす可能性が避けられるが、それでも下剤や浣腸を含む患者の周到な準備を必要とする。一般に、患者は食べるのを止め、比較的多量の下剤を服用する(典型的にはのむ)ことによって腸を洗浄する。仮想結腸鏡検査法に伴う他の問題は、仮想結腸鏡検査手法を用いた検査および診断の精度が、望まれるレベルほど高くないことである。これは、少なくとも一部に、検査者(例えば医師)が、結腸にポリープ、腫瘍または病変があるかどうかを判断するのに検査しなければならない画像の数が比較的多いことに起因する。
【0004】
したがって、腸の洗浄を必要としない仮想結腸鏡検査手法を提供することが望まれる。また、周到な患者の準備を必要としない仮想結腸鏡検査手法を提供することが望まれる。
【0005】
さらに、仮想結腸鏡検査法を用いた検査および診断の精度を高める手法を提供することが望まれる。さらに、検査者(例えば医師)が、結腸にポリープ、腫瘍または病変が存在するかどうかを判断するのに検査しなければならない画像の数を減らす手法を提供することが望まれる。さらに、結腸におけるポリープ、腫瘍または他の病変を自動的に検出する手法を提供することが望まれる。
【0006】
(発明の概要)
本発明によれば、仮想結腸鏡検査(virtual colonoscopy)を実施するための装置は、デジタル画像を作成するためのシステムと、デジタル画像を記憶するための記憶装置と、記憶装置から結腸の画像を受領するために結合されたデジタル腸サブトラクション・プロセッサ(digital bowel subtraction processor)であって、受領した結腸のデジタル画像を処理して、画像から結腸の内容物をデジタル的に除去するためのデジタル腸サブトラクション・プロセッサとを含む。この特定の構成により、患者の周到な準備(例えば腸の洗浄)を必要とせずに高精度な結果を与えるシステムが提供される。デジタル腸サブトラクション・プロセッサ(DBSP)は、画像データベースから画像データを受領し、画像データを処理してデジタル画像から腸の内容物をデジタル的に除去する。次いで、DBSPは、画像を画像データベースに戻すことができる。DBSPは、腸の内容物をデジタル的にサブトラクトするため、仮想結腸鏡検査を受ける患者は、患者にとって不愉快なものであることが知られている従来の方法で腸を洗浄する必要はない。該システムは、記憶装置から結腸の画像を受領するために結合された自動ポリープ検出プロセッサであって、受領した結腸のデジタル画像を処理して、結腸画像におけるポリープを検出するための自動ポリープ検出プロセッサをさらに含むことができる。
【0007】
自動ポリープ検出プロセッサ(APDP)は、(例えば画像データベースとして提供できる)画像記憶装置から画像データを受領し、画像データを処理して、ポリープ、腫瘍、または結腸の組織における他の異変を検出および/または識別する。したがって、APDPは、検査者(例えば医師)が、すべての画像を検査せずに、ポリープまたは他の異変を有する可能性のある画像の部分集合体に絞ることができるように、それぞれの画像をあらかじめ選別することが可能である。CTシステムは、仮想結腸鏡検査を受ける患者毎に比較的多くの画像を作成するため、検査者は、ポリープまたは結腸における他の異変を検出する可能性が最も高い画像により多くの時間を当てることが可能になる。APDSは、従来の仮想結腸鏡検査手法(例えばCTスキャンに先立って患者が腸を洗浄する手法)を用いて作成された画像を処理することもでき、あるいはAPDPは、腸内容物がデジタル的にサブトラクトされた画像(例えばDBSPによって作成された画像)を処理することもできる。
【0008】
本発明のさらなる態様によれば、デジタル腸サブトラクション手法は、画像データにしきい値関数を適用し、しきい値を上回るすべての画像要素を選択してさらに処理するステップと、本来の画像に勾配を適用して「ショルダ域」を識別し、次いでショルダ域上での画像拡大ステップを実施する(すなわち、ショルダ域内の選択画素を拡大する)ステップとを含む。腸内容物は、勾配解析に基づいてデジタル的にサブトラクトする。したがって、勾配を選択および拡大した後に、腸内容物のサブトラクションを実施する。数学的には、これをサブトラクテド画像値(本来の画像値−(しきい値+勾配値))として表すことができる。
【0009】
本発明のさらなる態様によれば、デジタル腸サブトラクション手法は、画像を表すデジタル値の行列を走査するステップと、結腸域に対応する領域を識別するステップと、結腸における空気と超内容物の領域に対応する領域を識別し、一方の領域を他方の領域からサブトラクトして、腸内容物が除去された画像を提供するステップとを含む。この手法によって、レーザをベースとした検索方法が提供される。レーザ・パターンで画像を走査し、所定の論理シーケンスのしきい値を適用することによって、腸壁を表す画素に近接する、空気を表す画素を見いだす。腸内容物と腸壁の間の境界領域に対応する領域が見いだされると、腸内容物を表す画素を画像からサブトラクトすることができる。一実施形態では、空気に対応する値に対して画素の値を設定することによって、腸内容物を表す画素を画像からサブトラクトする。
【0010】
本発明のさらなる態様によれば、自動ポリープ検出手法は、ポリープを含むCT画像を取得し、画像からポリープを切除することによってポリープ・テンプレートを作成し、切除したポリープ画像をテンプレートとして使用するステップを含む。次に、CT画像の一部を選択し、選択したCT画像の一部にポリープ識別関数を適用する。次に、識別関数の出力と画像を関連づける。この特定の構成により、自動ポリープ検出手法が提供される。
【0011】
本発明のさらなる態様によれば、第2の自動ポリープ検出手法は、腸の境界に沿って試験要素を移動させるステップを含む。試験要素を腸の境界の周囲を回転させているときに、試験要素の変化が生じるとその変化が検出される。腸の境界の特徴は、試験要素の経路に基づいて分類される。したがって、ポリープ、または検出されている他の病変の幾何学的特性についての予備知識が必要になる。腸の特徴を分類する方法は、折り返し点が存在する3つの点を記録することによって達成される。それらの点は、傾きの変化(例えば導関数)を調べることによって選択される。次に、記録された点の間の距離を計算し、それらの距離の比を用いて、腸の特徴または腸の特性を識別する。一実施形態では、円形の試験要素を提供し、それを仮想回転ボール、仮想ボール、またはより単純にボールと呼ぶ。 【0012】
本発明のさらなる態様によれば、ポリープなどを含む構造体を自動検出するための第3の手法は、腸の境界に対応する分割された腸の画像にテンプレートを適用し、テンプレート境界上の点の間の距離、およびウィンドウ内に存在する腸の境界の点の間の距離を計算するステップを含む。次に、それらの距離が等しいかどうかを判断する。テンプレートが病変内の中心にくれば、テンプレート上の1つまたは複数の点から構造体(例えば病変)の腸の境界点までの距離が実質的にひとしくなる。テンプレート上のいくつかの点までの距離を測定することができる。例えば、テンプレートの中心点、テンプレートの境界点、またはテンプレート上の他の点を用いることができる。テンプレート上で用いられる特定の点は、テンプレート形状、および検出されている構造の物理的特性(例えば形状)などを含む様々な要因に従って選択される。計算された距離がいつ実質的に等しくなるかについての判断を行うために、それらの距離のグループの標準偏差を計算することが可能である。標準偏差値が最小値に近づくテンプレート位置は、テンプレート形状に類似した形状を有する構造体が存在する位置に対応する。あるいは、テンプレート上の点(例えばテンプレートの中心点)から境界構造の境界(例えば腸壁)までの平均距離を計算することが可能である。この場合は、テンプレート上の点から境界構造体の境界点までの平均距離が最小値に達したときに、テンプレート形状に類似した形状を有する構造体が存在する位置を突き止めることが可能になる。1つの平面、または3つの直交平面において上述の方法を実施することができる。それらの距離のグループの標準偏差が最小値に近づく点は、疑わしい病変の中心として記録されるべき点である。その手法を3つの直交面において実施する場合は、3つの平面のうち2つの平面、または3つの平面のうち3つの平面において標示された病変を、最終的に疑わしい領域として標示することができる。したがって、この手法を利用して、ひだとポリープとを区別することが可能である。この特定の構成によって、距離のパターンを調べる手法が提供される。したがって、その手法は、計算上は比較的高価であるが、比較的厳密でもある。この手法の1つの利点は、ポリープに対するテンプレートの相対的な大きさを問題としないため、すべての病変に対してスキャニング操作が行われることである。
【0013】
本発明の前述の特徴、ならびに本発明そのものは、図面についての以下の詳細な説明を読めばより十分に理解することができるであろう。
(好ましい実施形態の説明)
デジタル腸サブトラクション・プロセッサ(DBSP)および/または自動ポリープ検出プロセッサ(APDP)を含む仮想結腸鏡検査システム、ならびに腸をデジタル洗浄し、自動的にポリープを検出するために実施される動作を説明する前に、いくつかの初歩的なコンセプトおよび用語について説明する。
【0014】
コンピュータ断層撮影(CT)システムは、コンピュータまたは他のデジタル処理装置の記憶装置にデジタル値のマトリックスとして記憶することができる信号を生成する。ここに記載されているように、CT画像は、各々がデジタル・ワードで表される二次元の画素アレイに分割される。ここに記載されている手法は、様々なサイズおよび形状のアレイに応用可能であることを当業者なら認識するであろう。二次元の画素アレイを組み合わせて三次元の画素アレイを形成することが可能である。各デジタル・ワードの値は、その画素における画像の強度に対応する。このようにして表現される画像を表示するための手法、ならびに当該画像を1つのプロセッサから他のプロセッサに伝送するための手法が知られている。
【0015】
ここに記載されているように、デジタル・データ値のマトリックスは、一般に「デジタル画像」、またはより単純に「画像」と呼ばれ、場面内の異なる波長におけるエネルギーの空間分布を表す数字のアレイとして、例えばメモリの如きデジタル・データ記憶装置に記憶することができる。
【0016】
アレイ内の各々の数字は、典型的には「画像要素」または「画素」あるいは「画像データ」と呼ばれるデジタル・ワードに対応する。その画像は、各々の画素がデジタル・ワードで表される二次元の画素アレイに分割されうる。したがって、画素は、画像における特定の空間座標に配置される単一のサンプルを表す。
【0017】
デジタル・ワードは特定数のビットから構成され、また任意の数のビットを有するデジタル・ワードに本発明の手法を応用できることを理解されたい。例えば、デジタル・ワードを8ビットの二進値、12ビットの二進値、16ビットの二進値、32ビットの二進値、64ビットの二進値、または任意の数のビットを有する二進値として与えることができる。
【0018】
また、ここに記載の手法は、グレー・スケール画像にもカラー画像にも十分に応用できることに留意されたい。グレー・スケール画像の場合は、各デジタル・ワードの値は、画素、そしてその特定の画素の位置の画像の強度に対応する。カラー画像の場合は、ここでは、各画素に対する明度および輝度値をRGB値から計算することができるいわゆるRGBカラー・スキームを用いて、赤色を表す所定数のビット(例えば8ビット)(Rビット)、緑色を表す所定数のビット(例えば8ビット)(Gビット)、および青色を表す所定数のビット(8ビット)(Bビット)によって表現される各画素がときとして参照される。したがって、8ビットカラーRGB表示では、24ビットのデジタル・ワードによって画素を表現することができる。
【0019】
いうまでもなく、RGB値の各々に対して8ビットより大きいまたは小さいビット数を使用することが可能である。色相、色彩、輝度(HSB)スキーム、またはシアン、マゼンタ、イエロー、ブラック(CMYK)スキームの如き他のカラー・スキームを用いてカラー画素を表現することも可能である。したがって、ここに記載されている手法は、上記のRGB、HSB、CMYKスキーム、ならびにルミノシティおよびカラー軸a&b(Lab)YUV色差色座標系、Karhunen−Loeve色座標系、網膜錐色座標系およびX、Y、Zスキームなどを含む複数のカラー・スキームに応用可能であることに留意されたい。
【0020】
ここでは、二次元の画素アレイとしての画像もときとして参照される。アレイ・サイズの例としては、512×512サイズが挙げられる。いうまでもなく、ここに記載されている手法は、不規則な形状を有する画素アレイを含めて、様々なサイズおよび形状の画素アレイに応用可能であることを当業者なら認識するであろう。
【0021】
「画像領域」、またはより単純に「領域」は画像の一部である。例えば、32×32の画素アレイとしての画像が与えられる場合は、一領域は、32×32の画素アレイの4×4の部分に対応しうる。
【0022】
多くの場合、画像内の画素のグループを選択して同時に検討する。当該1つの選択手法は、「マップ」または「ローカル・ウィンドウ」と呼ばれる。例えば、3×3の画素のサブアレイを検討しようとする場合は、そのグループは3×3のローカル・ウィンドウにあるといわれる。いうまでもなく、ここに記載されている手法は、不規則な形状を有するウィンドウを含めて、様々なサイズおよび形状のローカル・ウィンドウに応用可能であることを当業者なら認識するであろう。
【0023】
画像から形成することが可能な当該画素のグループをすべて処理することがしばしば必要である。そのような場合、ローカル・ウィンドウは1つの画素の上に配置され、次いで移動して他の画素の上に配置され、次いで順次他の画素の上に配置されるため、画像間を「摺動する」ものと考えられる。その「摺動」はラスタ・パターンで行われることもある。しかし、他のパターンも利用できることに留意されたい。
【0024】
ここに記載されている手法は、結腸内のポリープを検出するという観点で説明されているが、該検出手法は、ポリープ以外の構造体の検索および検出にも利用でき、また該手法は、腸または結腸以外の身体の部位にも応用可能であることを当業者なら認識することも理解されたい。
【0025】
次に図1を参照すると、仮想結腸鏡検査を実施するためのシステム10は、データベース14が結合されたコンピュータ断層撮影(CT)映像システム12を含む。知られているように、CTシステム10は、身体の断面を通じてのX線の減衰を測定することによって、人体の部位の断面の二次元画像を作成する。画像はデジタル画像として、画像データベース14に格納される。既知の手法を利用して一連の当該二次元画像を組み合わせて、結腸の三次元画像を設ける。ユーザ・インターフェース16は、ユーザがCTシステムを操作することを可能にするとともに、ユーザが画像データベースに記憶された画像にアクセスしてそれを見ることを可能にする。
【0026】
デジタル腸サブトラクション・プロセッサ(DBSP)18が、画像データベース14およびユーザ・インターフェース16に結合される。DBSPは、画像データベースから画像データを受領し、その画像データを処理して、デジタル画像から腸の内容物をデジタル的に除去する。次いで、DBSPは、画像を画像データベース14内に記憶することができる。DBSPが画像を処理して画像から腸の内容物をサブトラクトまたは除去する具体的な方法については、図2から図6を用いて以下に詳細に説明する。ここでは、DBSPは、DBSPに提供された画像から腸の内容物をデジタル的にサブトラクトまたは除去するため、仮想結腸鏡検査を受ける患者は、患者に不快感を与えることが知られる従来の方法で腸を洗浄する必要がないことだけを記しておく。
【0027】
DBSP18は、少なくとも2つのモードのうちいずれかで動作することができる。第1のモードは、DBSPが、所定のパターンで画像を移動するマップまたはウィンドウを利用するラスタ・モードと呼ばれる。好ましい実施形態において、そのパターンはラスタ・パターンに対応する。ウィンドウは画像全体を走査し、所定の論理シーケンスで画像内の画素にしきい値が適用される。しきい値処理によって、絶対しきい値が交差したかどうか、またそれらの交差率を査定する。ラスタ捜査手法は、主に、「空気」画素に近接する(隣接することも含む)腸の画素を調べるものである。該プロセッサは、各々の画素を検査して、強化されていない在来軟質組織を突き止める。軟質組織(例えば腸壁)と腸内容物の間の境界が確定されると、境界のどちら側に画素が現れるかに応じて画素を所定の値に再設定する。
【0028】
DBSP18の第2のモードは、いわゆる勾配プロセッサ・モード(gradient processor mode)
である。勾配プロセッサ・モードでは、軟性組織しきい値(ST)、空気しきい値(AT)および腸しきい値(BT)を選択する。画像に第1のマスクが適用され、腸しきい値より大きい値を有するすべての画素を記録する。次に、画像内の画素に勾配を適用して、空気値および腸値を有するべき画像内の画素を識別する。その勾配関数は、急激に変化する画素値を有する領域を識別する。経験から、勾配しきい値の適切な選択によって画像内の腸/空気および軟性組織/空気遷移領域を選択することができる。勾配処理は、BT値より大きい値を有する画素の各々が標示(mark)された後に、第2のマスクを使用して遷移領域における第1のショルダ域をとらえる。
【0029】
DBSP18が画像から腸内容物を除去すると、腸壁の縁から腸の内腔の「空気」まで移動する際に比較的シャープな境界および勾配が存在する。これは、サブトラクション処理によって、サブトラクトされたすべての腸が同じ空気画素値を有するためである。したがって、サブトラクションの後、腸壁の縁から腸のない腔の「空気」まで移動する際にシャープな境界および勾配が存在する。この状況において、「空気」は、空気密度に対応する値に再設定された画像画素の値を示す。そのまま放置すると、シャープなエッジがモデル内で高輝度の反射鏡として現れて視覚的に混乱させるため、このシャープな境界(および勾配)は結腸モデルの三次元腔内評価を妨害することになる。
【0030】
粘膜挿入プロセッサ19を使用して、シャープな境界をさらに処理して、視覚的混乱をもたらす領域の影響を小さくするか、またはそれらの領域を除去する。そこから腸の内容物が抽出された画像に勾配演算子を適用することによってシャープなエッジを突き止める。勾配演算子は、ここに記載されている勾配サブトラクタ手法において境界領域を突き止めるのに使用される勾配演算子と同様のものであってもよい。しかし、この場合に使用される勾配しきい値は、典型的には、腸内容物と腸壁の境界を確定するのに使用されるものと異なる。
【0031】
使用する特定の勾配しきい値を経験的に求めることができる。当該経験的選択は、同様の走査および腸調製手法によって検出された画像の集合体についての勾配選択の結果を調査し、手動で勾配しきい値調節して適切な勾配(組織遷移セレクタ)結果を取得することによって達成することができる。
【0032】
シャープなエッジは、サブトラクト画像内で最も大きな勾配を有することになる。次いで、エッジを「平滑化する」ために、これらの境界(エッジ)画素に限定的ガウス・フィルタを適用する。限定とは、境界の所定の幅に対してのみ平滑化が可能であることを意味する。所定の幅は、平滑化処理によって、対象となる他の腸の構造体のポリープを不明瞭にしないように選択される必要がある。一実施形態では、所定の幅は、10画素未満の幅に対応する。好ましい実施形態では、所定の幅は、2から5の画素の範囲の幅に対応し、最も好ましい実施形態では、該幅は3画素の幅に対応する。結果は実質的に同じで、場合によっては接触されていない腸壁に見られる在来粘膜と区別がつかず、サブトラクト画像の内腔評価を可能にする。
【0033】
また、画像データベース14とユーザ・インターフェース16の間には自動ポリープ検出プロセッサ(APDP)20が結合されている。APDP20は、画像データベースから画像データを受領し、その画像データを処理して、ポリープ、腫瘍、炎症、または結腸の解剖学的組織における他の病変を検出かつ/または識別する。したがって、APDP20は、検査者(例えば医師)が、あらゆる画像を調べる必要はなく、ポリープまたは他の病変を有する可能性のある画像の部分集合に集中できるように、データベース14内の各画像をあらかじめ選別することができる。CTシステム10は、仮想結腸鏡検査を受ける患者毎に比較的多くの数の画像を作成するため、検査者は、結腸内のポリープまたは他の病変を検出する確率が高い画像により多くの時間を充てることができる。APDP20が画像を処理して画像内のポリープを検出かつ/または識別する具体的な方法については、図7から図9を用いて以下に詳細に説明する。ここでは、APDP20を使用して結腸の二次元または三次元画像を処理できることだけを記しておく。APDP20は、従来の仮想結腸鏡検査手法(例えば患者がCTスキャンに先立って腸を洗浄する手法)を用いて作成された画像を処理することができるし、腸内容物がデジタル的にサブトラクトされた画像(例えばDBSP18によって作成された画像)も処理することができることに留意されたい。
【0034】
ポリープ検出システム20はそれによって得られた結果を、(例えばマーカ、アイコンまたは他の手段を付加することによって)注釈を加え、あるいは検出システム20によって処理された画像内の対象領域を(画像内の領域に沿って線を描くか、または画像内の領域の色を変更することによって)識別するのに使用できるインジケータ・システムに提供することができる。
【0035】
次に、いくつかの図面を通じて同様の参照符号を有する同様の要素が示されている図1Aから図1Dを参照すると、DBSP18による処理(図1)の前(図1Aおよび図1B)と後(図1Cおよび図1D)の腸を示す一連の画像19a〜19dが示されている。
【0036】
図1Aにおいて、画像19aはCTスキャンの単一スライス(a single slice)に対応する。画像19aは、不透明化された複数の腸内容物20(明色領域で示される)と、空気22の領域(暗色領域で示される)とを含む。画像19aは、在来軟質組織に対応する領域24と、腸壁の部分に対応する領域26とを含む。
【0037】
画像19b(図1B)は、一連の単一スライスCTスキャンより形成された結腸の三次元画像である。不透明化した腸内容物20が示されている。腸内容物20は、腸壁の視界を損ない、そのため腸壁に沿って対象領域を検出する能力を制限する。
【0038】
図1Cにおいて、単一スライスCTスキャン画像19cは、画像19a(図19A)内に存在する腸内容物が画像19aからデジタル的にサブトラクトされたことを除いては画像19aと同じである。画像19cは、図19Aに存在する不透明化された腸内容物を含まない。腸内容物20(図19A)が、空気に対応する領域22(暗色領域で示されている)に置き換えられている。画像19cは、それぞれ在来軟質組織ならびに腸壁域24および26をも含む。
【0039】
上述したように、DBSP18は、腸の一部の画像を受領し、該腸の部分の内容物20をデジタル的にサブトラクトする。ここでは、二次元画像に対して処理を行い、(それぞれDBSP18によって処理された)一連の当該二次元画像を組み合わせて、該腸の部分の三次元画像を設けることができる。次いで、APDP20(図1)を介して当該二次元および三次元画像を処理して、ポリープ、腫瘍、炎症、または結腸の解剖学的組織における他の病変を検出することができる。
【0040】
図2から図9は、例えば、図1を用いて上述したシステムの如き仮想結腸鏡検査システム10の一部として設けて、デジタル腸サブトラクションおよび自動ポリープ検出を行うことができる処理装置によって実施される処理を示す一連の流れ図である。ここでは「処理ブロック」と呼ぶ長方形の要素(図2の要素30に代表される)は、コンピュータ・ソフトウェア命令または命令群を表す。ここでは「判定ブロック」と呼ぶダイアモンド形の要素(図5の要素64に代表される)は、処理ブロックによって示されるコンピュータ・ソフトウェア命令の実行に影響を与えるコンピュータ・ソフトウェア命令または命令群を表す。
【0041】
あるいは、処理ブロックおよび判定ブロックは、デジタル信号プロセッサ回路または特定用途向け集積回路(ASIC)のごとき機能的に同等の回路によって実行されるステップを表す。それらの流れ図は、特定のプログラミング言語のシンタックスを示すものではない。むしろ、それらの流れ図は、当業者が回路を製造したり、または特定の装置に必要な処理を実行するためのコンピュータ・ソフトウェアを作成したりするのに必要とする機能的情報を示す。ループや変数のような多くのルーチン・プログラム要素、および仮の変数の用途が示されていないことに留意されたい。ここに特に指定されていない限り、具体的なステップの順序は単に例示として記載されているもので、本発明の主旨を逸脱することなく変更できることを当業者なら認識するであろう。
【0042】
次に図2を参照すると、仮想結腸鏡検査法におけるステップが示されている。ステップ30に示されるように、仮想結腸鏡検査処理は、CTスキャンが実施されることになる結腸域にコントラスト剤(contrast agent)を仕込むことによって開始される。典型的には、患者がコントラスト剤を摂取する。ただし、腸にコントラスト剤を仕込むための任意の手法を利用できることを理解されたい。予定されているCT検査の約48時間前に始まる食事とともに少量のコントラスト剤を摂取してもよい。コントラスト剤は、ガストログラフィン、バリウムまたはオキシランの如き任意の市販品を使用できる。
【0043】
次に、ステップ32に示されるように、CT検査を行い、ステップ34に示されるように身体領域(例えば腹部全体)の画像を作成する。
次いで、ステップ36に示されるように、画像データを解析システムにおくって解析する。解析に向けて1つまたは複数の画像を選択する(単一スライスであってもよいし、一連のスライスであってもよい)。これは、バイタル・イメージ社(ミネソタ州ミネアポリス)から入手可能なバイトレア・システムの如き市販のシステムを使用して達成することが可能である。
【0044】
次いで、ステップ38に示されるように、腸の内容物をCT画像からデジタル的にサブトラクトする。デジタル・サブトラクション・ステップは、図3および図5を用いて以下に説明する手法のいずれを用いても実行することが可能である。
【0045】
デジタル・サブトラクション・ステップの後に、ステップ40に示されるように、その内容物がデジタル的に除去された腸の画像の結果を表示する。
次に図3を参照すると、腸の内容物をデジタル的にサブトラクトするための第1の手法は、MATLABコンピュータ・プログラム(マスワークス(マサチューセッツ州ナティックから入手可能))に見いだされるいわゆる「ツールボックス」からの機能を利用する。この手法は、画像データにしきい値関数を適用し、しきい値を上回るすべての画像要素を選択することによって開始される。
【0046】
次に、ステップ44に示されるように、本来の画像に勾配を適用して、「ショルダ域」を識別する。ショルダ域が識別されると、ショルダ域を対象に画像拡大ステップを実行する(すなわち、ショルダ域内の選択された画素を対象に拡大を行う)。勾配関数は、ロバートまたはソベル勾配関数などを含む任意の数の関数として提供されうる。一般に、気液界面が水平である領域では、水平勾配を使用するのが望ましい。
【0047】
次に、ステップ46に示されるように、勾配解析に基づいて腸内容物をデジタル的にサブトラクトする。したがって、勾配を選択して拡大した後に、腸内容物のサブトラクションを行う。数学的には、これを以下のように表すことが可能である。
【0048】
サブトラクト画像値 本来の画像値−(しきい値+勾配値)
ただし:
本来の画像値=CTシステムによって測定され、必要に応じてDBS処理前に伝送されるデジタル画像の値
しきい値=選択されたしきい値
勾配値=選択された勾配関数から得られた値
図4から図4Cを手短に参照すると、腸域49の画像(図4)は、不透明化されていない領域50(図4)と、不透明化された領域53(図4)と、部分51および52から構成される容量平均領域(図4)とを含む。摂取されたコントラスト剤は、腸内容物(不透明化された領域53で表される)と空気(不透明化されていない領域50で表される)との間のコントラストを高める。領域51および52は、不透明化されていない領域53と不透明化された領域53の間の境界領域に対応する。すなわち、不透明化されていない領域と不透明化された領域49と53の間には明確に定められた境界が存在しない。
【0049】
次に図4Aを参照すると、ハウンスフィールド単位(HU)の画素値とCT画像内の画素位置との関係を示すグラフ55が、軟質組織領域に対応する第1の領域55a、不透明化された腸内容物の領域に対応する第2の領域55b、および空気領域に対応する第3の領域55cを表している。したがって、軟質組織領域55aと空気領域55cの間には、遷移領域が存在する。勾配関数を曲線55に適用すると、図4Bに示される境界57が生じる。したがって、図4Bに示されるように、勾配関数の適用およびサブトラクションの後には、領域55aと55cの間に比較的シャープな遷移57aが現れる。粘膜挿入プロセッサ19が図1を用いて上述したように動作するのはこの遷移に基づくものである。
【0050】
図4Cに示されるように、粘膜挿入処理を適用した後に、軟質組織領域55aと空気領域55cの間に遷移57aが与えられる。
次に図5を参照すると、腸の内容物をデジタル的にサブトラクトするための第2の手法は、ステップ60に示されるように、画像からが解析マップ(PAM)を作成するステップを含む。1つの具体的な実施形態では、画像は512×512画像として与えられ、PAMは、画像から作成された7×8マトリックスとして与えられる。
【0051】
PAMはラスタ・パターンで画像を移動する。PAMが画像の異なる領域間を転々と移動しているときに、ステップ62〜79を実施する。ステップ62に示されるように、PAMの中心要素(図5Aに示される左上(ul)、右上(ur)、左下(ll)、右下(lr))が解析の焦点となる。ステップ64および66は、空気領域が見つかるまで検索が行われるループを実施する。
【0052】
空気領域が見つかると、ステップ68に進み、空気要素の周囲の領域を検索して、ステップ70に示されるように腸域を突き止める。その領域が腸域に対応していれば、ステップ74に進み、その腸域が空気領域に隣接しているかどうかを判断する。その腸域が空気領域に隣接していれば、ステップ76に示されるように腸内容物をサブトラクトする。
【0053】
ステップ70において、選択されたPAMが腸に対応していないと判断された場合は、ステップ77および78で、腸域が見つかるまで新しいPAMを選択するループを実施する。
【0054】
ラスタ・パターン・スキャンを通じてローカル・ウィンドウにおけるul、ur、llおよびlrの各々に対してこの処理を繰り返す。
いくつかの図面を通じて同様の参照符号を有する同様の要素が示されている図5Aから図5Cを参照すると、その上に7×8のローカル・ウィンドウ82が配置された、例えばCTシステムによって作成されるタイプの512×512画像80が示されている。ローカル・ウィンドウ82は、参照番号84で示されるラスタ・パターンで画像を移動する。画像80は、腸86の二次元断面の画像である。腸86の部分は腸内容物88a(平行線で示される)を有し、部分88bは空気に対応する。腸86は内部にひだ89、および複数のポリープ90aおよび90bを有する。
【0055】
同様の参照符号を有する図5Aの同様の要素が示されている図5Bにおいてより明確に理解されるように、ポリープ90bは腸内容物88aによって不明瞭になっているため、CTスキャンによって作成された画像での観察が困難になるおそれがある。とりわけ、当該ポリープは三次元(3d)画像で観察するのが特に困難であるといえる。本発明のデジタル・サブトラクション処理を行うと、その後に図5Cに示される画像が得られる。図5Cでは、腸内容物が除去され、ポリープ90bをはっきりと見ることができる。したがって、CT画像の目視検査を行う際に、ポリープ90bを露出させ、容易に観察することができる。
【0056】
次に図5Dを参照すると、画素解析マップ(PAM)82’は、4つの中心要素90a〜90を含む。上述したように、画像(例えば図5Aの画像80)の選択領域をスキャンして、腸のしきい値を上回る画素を再設定するマーチング・スクウェア・ルーチン(marching squares routine)を用いて軸方向デジタル腸洗浄を行うことができる。腸のしきい値はユーザによって設定することができる。1つの手法は、空気のしきい値および軟質組織のしきい値(どちらもハウンスフィールド単位で表される)を使用して、腸の粘膜境界を分割してポリープの検出に用いる。分割された画素(腸の境界)は2500の値に設定される。
【0057】
該手法では、PAM82’の4つの中心要素91a〜91dをマーチング・スクウェアとして使用する。「L」および「R」レベルの画素によって形成された遠方境界を調べることによって、PAM82’が適用される画像の検査を行う。図5Dにおいて、「o」は境界画素を示し、「x」は外側の境界画素を示すことに留意されたい。
【0058】
この手法では、中心画素の1つ(例えばul91a)を選択し、1つの方向(例えば参照線92で示されるSE方向)を選択する。次に、その方向で最も遠い点を調べる。本例では、SEで示される点に対応する最も遠い点が選択される。
【0059】
ul画素91aの値と位置SEにおける画素の値の差を計算する。SEの値とulの値の差が十分に大きい場合は、実質的なしきい値が存在すると結論づけることができる。SE画素よりul画素に近い点を調べる(例えばILおよびLI位置)。次いで、各方向についてこの処理を繰り返す。すべての方向についての試験が完了すると、新たな中心画素(例えば画素91b〜91dの1つ)を選択し、その処理を繰り返す。
【0060】
次に図6を参照すると、PAMならびにul、ur、llおよびlrの1つを選択するステップ100および102により、ローカル・ウィンドウにおける画素ulの周囲を検索する処理が開始される。図6に記載されている例では、ステップ102に示されているように位置ulの画素を選択する。したがって、画素ulから処理を開始し、ulの近隣画素の各々(例えばur、llおよびlr)を調べる。しかし、他の画素(すなわちur、llおよびlr)の1つから処理を開始し、次いで対応する近隣画素を調べることも可能であることを理解されたい。
【0061】
第1の近隣画素urについて考えると、ステップ106に示されるようにurが腸のしきい値より大きいかどうかを判定する。図6Aを用いてこの処理をさらに説明する。urの値が腸のしきい値より大きい場合は、ステップ108に進み、その画素値をサブトラクトして、その値を空気の値に再設定する。次いでステップ114に進み、次の近隣画素を調べる。
【0062】
ステップ106において、urの値が腸のしきい値より大きくないと判断された場合は、ステップ110に示されるように、urの右側にさらなる画素が存在するかどうかを判断する。当該画素が存在する場合は、システムは1画素分右側に視点を移し、ステップ106に戻る。当該画素が存在しない場合は、再びステップ114に進む。
【0063】
ステップ116に示されるように、各々の画素ul、llおよびlrについて上記ステップを繰り返す。
次に図6Aおよび図6Bを参照すると、しきい値処理が示されている。しきい値処理は2つの部に分けられる。第1の部は、空気と腸の境界を定めるものである。第2の部は、ショルダ域120の扱い方についての判断を必要とする。
【0064】
末端近隣画素uEと近接近隣画素P1との差が勾配しきい値より大きい場合は、その差ならびに空気と腸の界面についての指示を利用し、開始画素(すなわち本例ではul)と最末端画素(すなわち本例のuEで、腸の境界である)の間のすべての値を空気の値に再設定する。すなわち、画素P1およびP2に対する値を再設定して、図6Bに示される境界122を与える。得られた画素値(すなわち画素P1およびP2に対する再設定値)は、サブトラクションのベースになる値である。最小の数でトリガするのが計算上効率的で、対象となる最も小さいポリープが2つの画素の距離より大きく、ショルダ域の長さはわずか1〜2画素であるため、このようにして画素値を設定するのが好ましい。したがって、境界を移動する方向は計算上の効率性に応じて選択される。
【0065】
画素値を再設定するための第2の可能性が、図6Bの破線122’によって示されている。この場合は、画素P1およびP2の値を腸の値に設定する。
二次元画像を用いて上記DBS処理を説明したが、三次元画像にも等しく同じコンセプトが適応することを理解されたい。すなわち、画像の任意の軸についてそれらのコンセプトを適用することが可能である。
【0066】
次に図7を参照すると、自動ポリープ検出のための処理が説明されている。図7に従って処理が行われる前に、ポリープ・テンプレートが形成されることに留意されたい。ポリープ・テンプレートは、ポリープを含むCT画像を取得し、画像からポリープを摘出することによって形成される。次いで、摘出したポリープ画像をテンプレートとして使用する。あるいは、ポリープ(または検出しようとする他の構造体)の既知の形態および密度に類似した一群のテンプレートを経験的に作成することが可能である。
【0067】
画像部を選択するステップ130から処理を開始する。次いで、ステップ132に進み、選択した画像部にポリープ識別関数を適用する。次に、ステップ134において、識別関数の出力と画像とを関連づける。
【0068】
関連付けは以下のように行う。
[相関マトリックス]=[2d逆フーリエ変換(T)2d逆フーリエ変換(I)]の2d逆フーリエ変換
ただし:
T=ポリープ・テンプレート
I=画像
球形テンプレートを採取し、知られているように画像間に値を挿入することにより一連の二次元画像から形成されるボクセル(すなわち3D画像要素)にその球形テンプレートを適用することによってもテンプレート・マッチング手法を実施できることを理解されたい。また、本来のテンプレートを置き換えて演算分子を形成する必要がある。演算分子は、画像内のポリープの検索に対応する、テンプレートと画像の間の類似性を有する領域の識別のためにテンプレートの仮の演算的変換として使用される、180度回転したテンプレートである。
【0069】
特定サイズのポリープからテンプレートを形成した場合は、そのテンプレートをスケール調整して異なるサイズのポリープを検出する必要があることに留意されたい。第4の次元をポリープ・テンプレートのスケーリングとする四次元処理を利用することによってこれを実施することができる。ポリープ・テンプレートを修正して、球形でない形状を有するポリープを検出することが必要になりうることにも留意されたい。
【0070】
次に図8を参照すると、ステップ136に示されるような画像を分割するステップにより、いわゆる「ローリング・ボール」手法と呼ばれるポリープの自動検出のための第2の処理が開始される。このステップでは、すべての画像情報を採取し、解析に使用する画像の一部を抽出する。いわゆる「マーチング・キューブ」手法などを含む従来の手法をその分割ステップに用いることができる。上述のDBSP処理を用いて洗浄した画像に対して、分割ステップ、および図8に示されるすべてのステップを実施できることを理解されたい。あるいは、従来の手法を用いて作成した画像(例えば、DBSP手法を用いて洗浄されていない画像)に対して、分割ステップ、および図8に示されるすべてのステップを実施することができる。
【0071】
次にステップ138に示されるように、腸の境界に沿って仮想ボールを回転させる。境界に沿って仮想ボール(virtual ball)を回転させているときに、システムは、ステップ140に示されるように、ボールの方向の変化を検出してポリープを識別する。一般に、ボールの特徴を分類する処理は、折り返し点が存在する3つの点を記録することによって達成される。それらの点は、勾配(例えば導関数)の変化を調べることによって選択される。次に、記録された点の間の距離を計算し、距離間の比を用いて腸の特徴または腸の特性を検出する。したがって、腸の境界の特徴は、ボールの経路に基づいて分類されるため、ポリープまたは検出されている他の病変についての予備知識が必要とされる。
【0072】
ローリング・ボール・ポリープ検出手法の例が、図8Aから図8Gに示されている。まず図8Aを参照すると、画像142は、いくつかの領域143a〜143fを含む。図8Bに示されるように、領域は特徴150および152を含む。図8Cに示されるように、まず特徴150に対してローリング・ボール・ポリープ検出処理を行う。
【0073】
図8Cに示されるように、例えば腸壁の表面に対応する表面156に沿って、円(またはボール)の形状を有する試験要素154を移動または回転させる。本例では、ボールは内腔部155内を移動する。しかし、代替的な実施形態では、円以外の形状を有する試験要素154を与えることができることを理解されたい。いくつかの実施形態では、ボール154を内腔部155以外の領域内を移動させることが望ましいことも理解されたい。ボール154の2つの部分が表面156の2つの部分に接触する位置における表面156の部分にボール154が到達すると、第1の点158が記録される。点158aは、表面156の勾配の符号が変化する点に対応する。
【0074】
点158aが記録された後は、ボールがその経路を維持し、点158bおよび158cが記録される。したがって、折り返し点が存在する3つの点が記録される。勾配(例えば導関数)の変化を調べることによって、点158a〜158cの各々を選択する。次に、記録した点の間の距離を計算する。ここでは、点158aと点158bの間の距離を159aとし、点158bと点158cの間の距離を159bとし、点158aと点158cの間の距離を159cとする。次いで、距離159a〜159c間の比を用いて、腸の特徴または腸の特性を識別する。図8Cにおいて、長さ159aと159bの合計を長さ153cで割ることで比を計算する。点158a〜158cによって定められる経路に沿う長さ159a〜159cの比は、構造体152がポリープの形状を有することを示唆する。比の値と所定のしきい値を比較することによってこれを達成することができる。したがって、上記手法は、試験要素の偏向および移動経路によって形成された比を計算し、この情報を用いて(例えば比の値としきい値とを比較することによって)腸の構造を特徴づけるものである。
【0075】
図8Dに示されるように、点158は、線159aと159bの交差点によって定められる。線159aおよび159bの各々は、ボール154の中心から、ボールのそれぞれの表面が表面156の2つの点に接触する点まで伸びている。
【 0076】
衝突点(例えば点158aおよび158c)と折り返し点(例えば点158b)とを区別することが重要であることに留意されたい。
次に図8Eを参照すると、三角形の構造体152の側面に半円形の構造体153が存在する。この場合は、計算すべき2つの比が存在することを理解されたい。構造体152(すなわち三角形の形状を有する構造体)に対する比の値は、長さ161a〜161eの合計を長さ161fで割ることによって求められる。半円形の構造体153に対する他の比の値は、長さ161c〜161cの合計を長さ161gで割ることによって求められる。
【0077】
次に図8Fから図8Hを参照すると、表面159は構造体160を形成する。ローリング・ボール手法を用いて、構造体160を定める3つの点162a、162bおよび162cを定める。図8Fにおいて、平均中心点164が(例えば分割手法によって)計算されており、それを用いて、「転入」と「転向」に関する十分な情報を提供することができる。これは、衝突から衝突までの勾配(以後予備勾配と称する)の絶対値を評価することによって達成される。予備勾配の絶対値は、ボールの試験点がボールの周囲を移動するに従って変化することになる。衝突が認められると、予備勾配値を用いて折り返し点を査定し、腸壁に戻る。折り返し点は、ボール中心点が壁の衝突から壁の衝突まで移動する際にこの点が遭遇する勾配の最大値および最小値に対応する。
【0078】
図8Dに示されるように、試験ボールの境界が壁の2つの部分に接触した時点を衝突と定めることができる。経験的評価によって定められた境界のように、ボールの境界を正しく設定することによって、腸の境界の凹状バックグラウンドからポリープまたはひだを選択することが可能である。
【0079】
図8Iに示されるように、三次元(すなわち円周、および単管の縦軸に沿う上下方向)においてもローリング・ボール手法を実施できることを理解されたい。図8Iにおいて、一連の軸性スライス165a〜165cを用いて、腸域166(小さな腸のループ)および167(腸のループ)の三次元画像を構成する。領域168a〜168eは、(例えば図1Aおよび図1Cに示されるような)軸性画像内に存在する腸の部分に対応する。ローリング・ボール手法を三次元の腸の画像に適用する場合には、腸「管」の各領域が検査されるように注意を払う必要がある。
【0080】
次に図9を参照すると、ポリープ・テンプレート170を選択するステップにより、いわゆる「距離検索」手法と呼ばれるポリープの自動検出のための第3の処理が開始される。所定の形状を有するテンプレートを選択する。腸の病変に対応する形状を選択するのが好ましい。
【0081】
例えば、手短に図9Aを参照すると、テンプレート180は、ローカル・ウィンドウ境界182とテンプレート・パターン184とを含む。ポリープは2D画像に見られるような実質的に円の形状を有する傾向があるため、ここではテンプレート・パターンを円184とする。3Dに適用する場合は、3D手段を利用することによって球形、半球形または他の形状を用いることが可能である。しかし、検出しようとする病変が円形以外の形状を有する用途では、それに応じてテンプレート・パターンを選択することを理解されたい。例えば、検出しようとする病変が実質的に三角形の形状を有する場合は、テンプレート・パターンも実質的に三角形の形状を有するものが選択されることになる。検出対象となる最も大きな病変と同じ長さを有する、ローカル・ウィンドウ180の側面180aが選択される。検出対象となる最も小さい病変と同じ次元を有するテンプレート・パターン184が選択される。
【0082】
再び図9を参照すると、ウィンドウのサイズならびにテンプレートのパターンおよびサイズが選択されると、腸の境界の画像に対して、それが分割された時点でローカル・ウィンドウ182を走査する。次に、図9のステップ174に示されるように、テンプレート184上の点とウィンドウ182内の境界点の距離が設定される。
【0083】
腸の境界188のみを含むように画像186を分割する図9Bから図9Dを参照すると、これをより明確に理解することができる。腸の境界は、ひだ190および病変192を含む。ウィンドウ182を画像186に重ね、画像186全体にわたって移動させる。腸の境界の一部が(図9Cおよび図9Dに示されるように)ウィンドウ内およびテンプレート184内にくる画像186における位置にウィンドウ182が到達すると、テンプレート184上の点とウィンドウ182内の境界点の距離が設定される。一実施形態では、単位試験サークル上の10から30の試験点と、移動枠内に存在する境界点の距離を最初に設定する必要がある。いうまでもなく、使用される点の厳密な数は重要ではなく、用途によっては10より少ない、または30より多いいくつかの点を用いることが望ましい、または必要でありうることを当業者なら理解するはずである。
【0084】
次にステップ176および図9Eを参照すると、距離が等しいかどうかを判断する。試験サークルが円形の病変内に集中すると、サークル外周と病変の境界点との距離が等しくなるとともに、それらの距離のグループの標準偏差が最小値に近づく(図9Fおよび9Gを参照のこと)。上記の処理は1つの平面で実施され、一体化する3つの直交平面を検索することが必要であることに留意されたい。それらの距離のグループの標準偏差が最小値に近づく点は、疑わしい病変の中心として記録されるべき(すなわち、ステップ178において指示される対象領域として識別されるべき)点である。3つのすべての平面においてこの手法を実施した後で、3つの平面のうち2つまたは3つの平面のうち3つの平面で標示された病変を最終的に疑わしい病変として標示することができる。したがって、この手法を用いて、ひだとポリープとを区別することが可能である。選択される特徴によっては、標準偏差とは別に他の統計学的ツールを利用して、ロービング・テンプレートと分割画像の特徴とが対応する領域を識別することができる。
【0085】
したがって、図9から図9Gを用いて上述した手法は、距離のパターンを調べるものである。したがって、その手法は、計算上は比較的高価であるが、比較的厳密でもある。この手法の1つの利点は、ポリープに対するテンプレートの相対的な大きさを問題としないため、すべての病変に対してスキャニング操作が行われることである。
【0086】
図9Gには、テンプレートの周囲の距離とテンプレート位置との関係を表すグラフ209が示されている。曲線209の領域210は比較的平らであるため、画像の領域が、テンプレートの形状と符合する形状を含んでいたことを示唆する。(図9Eおよび図9Fに示されるように)丸い形状を有するテンプレートが与えられた場合は、平らな領域210は、対応する形状が、調査されている構造体に認められることを示唆する。
【0087】
ここに引用されているすべての参考文献を全面的に本願に引用して援用する。 本発明の好ましい実施形態を説明したが、それぞれのコンセプトを取り入れた他の実施形態を利用できることを当業者なら理解するであろう。したがって、これらの実施形態は開示された実施形態に限定されるものではなく、添付の請求項の主旨および範囲によってのみ制限されるものと考えられる。
【図面の簡単な説明】
【図1】
図1は、デジタル腸サブトラクションおよび自動ポリープ検出のためのシステムの構成図である。
図1Aは、デジタル腸サブトラクション・プロセッサを介して処理を行う前後の腸のデジタル画像を示す図である。
図1Bは、デジタル腸サブトラクション・プロセッサを介して処理を行う前後の腸のデジタル画像を示す図である。
図1Cは、デジタル腸サブトラクション・プロセッサを介して処理を行う前後の腸のデジタル画像を示す図である。
図1Dは、デジタル腸サブトラクション・プロセッサを介して処理を行う前後の腸のデジタル画像を示す図である。
【図2】
デジタル腸サブトラクションを用いて実施される仮想結腸鏡検査のステップを示す流れ図である。
【図3】
デジタル腸サブトラクションを実施するための第1の方法におけるステップを示す流れ図である。
【図4】
図4は、結腸の一部における容量平均領域を示す図である。
図4Aは、腸壁/空気境界の形成における画素値と画素位置との関係を表すグラフである。
図4Bは、腸壁/空気境界の形成における画素値と画素位置との関係を表すグラフである。
図4Cは、腸壁/空気境界の形成における画素値と画素位置との関係を表すグラフである。
【図5】
図5は、デジタル腸サブトラクションを実施するための第2の方法におけるステップを示す流れ図である。
図5Aは、CTシステムによって作成され、ローカル・ウィンドウがその上に配置されるタイプの画像を示す図である。
図5Bは、腸内容物によって不明瞭になったポリープを示す、5B−5Bラインに沿って切り取られた図5Aに示す画像の一部を示す図である。
図5Cは、デジタル腸サブトラクション処理の後の、5B−5Bラインに沿って切り取られた図5Aに示す画像で、ポリープがはっきりと見える画像の一部を示す図である。
図5Dは、画素解析マップを示す図である。
【図6】
図6は、腸内の不透明化された物質と不透明化されていない物質の間の領域における腸内容物をデジタル・サブトラクトするステップを示す流れ図である。
図6Aは、しきい値処理を示すグラフである。
図6Bは、しきい値処理を示すグラフである。
【図7】
腸のCT画像におけるポリープを自動的に検出するためのテンプレート・マッチング手法のステップを示す流れ図である。
【図8】
図8は、腸のCT画像におけるポリープを自動的に検出するためのローリング・ボール手法のステップを示す流れ図である。
図8Aは、ローリング・ボール手法を用いた、腸のCT画像における自動ポリープ検出の例を示す図である。
図8Bは、ローリング・ボール手法を用いた、腸のCT画像における自動ポリープ検出の例を示す図である。
図8Cは、ローリング・ボール手法を用いた、腸のCT画像における自動ポリープ検出の例を示す図である。
図8Dは、ローリング・ボール手法を用いた、腸のCT画像における自動ポリープ検出の例を示す図である。
図8Eは、ローリング・ボール手法を用いた、腸のCT画像における自動ポリープ検出の例を示す図である。
図8Fは、ローリング・ボール手法を用いた、腸のCT画像における自動ポリープ検出の例を示す図である。
図8Gは、ローリング・ボール手法を用いた、腸のCT画像における自動ポリープ検出の例を示す図である。
図8Hは、ローリング・ボール手法を用いた、腸のCT画像における自動ポリープ検出の例を示す図である。
図8Iは、三次元画像におけるローリング・ボール手法を用いた自動ポリープ検出の例を示す図である。
【図9】
図9は、腸のCT画像における構造体を自動的に検出するための距離マッチング手法のステップを示す流れ図である。
図9Aは、距離マッチング手法を用いた、腸のCT画像における自動ポリープ検出の例を示す図である。
図9Bは、距離マッチング手法を用いた、腸のCT画像における自動ポリープ検出の例を示す図である。
図9Cは、距離マッチング手法を用いた、腸のCT画像における自動ポリープ検出の例を示す図である。
図9Dは、距離マッチング手法を用いた、腸のCT画像における自動ポリープ検出の例を示す図である。
図9Eは、距離マッチング手法を用いた、腸のCT画像における自動ポリープ検出の例を示す図である。
図9Fは、距離マッチング手法を用いた、腸のCT画像における自動ポリープ検出の例を示す図である。
図9Gは、距離マッチング手法を用いた、腸のCT画像における自動ポリープ検出の例を示す図である。

Claims (42)

  1. 仮想結腸鏡検査を実施するためのシステムであって、
    (a)デジタル画像作成システムと、
    (b)前記デジタル画像作成システムに結合された記憶装置であって、デジタル画像を記憶するための記憶装置と、
    (c)前記記憶装置から結腸の画像を受領するために結合されたデジタル腸サブトラクション・プロセッサであって、受領した結腸のデジタル画像を処理して、結腸の内容物を画像からデジタル的に除去するための該デジタル腸サブトラクション・プロセッサとを備えたシステム。
  2. 前記記憶装置から結腸の画像を受領するために結合された自動ポリープ検出プロセッサであって、受領した結腸のデジタル画像を処理して、結腸画像におけるポリープを検出するための該自動ポリープ検出プロセッサをさらに備えた、請求項1に記載のシステム。
  3. 前記自動ポリープ検出プロセッサは、前記デジタル腸サブトラクション・プロセッサによって腸内容物が除去された画像を処理する、請求項1に記載のシステム。
  4. 前記デジタル腸サブトラクション・プロセッサは、ラスタ・デジタル腸サブトラクション・プロセッサに対応する、請求項1に記載のシステム。
  5. 前記ラスタ腸サブトラクション・プロセッサは、
    絶対しきい値が交差したかどうか、またはそれらの交差率を査定するためのしきい値回路と、
    画像を走査するとともに、しきい値を所定の論理シーケンスで適用する解析カーネルと、
    開始画素を選択する手段と、
    しきい値を適用する方向を選択する手段と、
    しきい値適用手段と、
    画素再設定手段とを備える、請求項4に記載のシステム。
  6. 前記デジタル腸サブトラクション・プロセッサは、勾配プロセッサデジタル腸サブトラクション・プロセッサに対応する、請求項1に記載のシステム。
  7. 前記勾配プロセッサデジタル腸サブトラクション・プロセッサは、
    軟質組織のしきい値、空気のしきい値および腸のしきい値を定めるためのしきい値回路と、
    骨のしきい値を上回る要素を記録するためのマスク・プロセッサと、
    空気のしきい値および腸のしきい値を適切な領域に適用するための勾配プロセッサであって、第1のマスクを形成して、空気と腸の間の遷移に対応する領域内の第1のショルダ域を取り込む該勾配プロセッサと、
    空気と腸の間の遷移に対応する領域内の第2のショルダ域を識別するための拡大プロセッサと、
    勾配プロセッサから複合マスクをサブトラクトして所望の画像を残すサブトラクタとを備える、請求項6に記載のシステム。
  8. 前記自動ポリープ検出プロセッサは、
    結腸内の軟質組織と空気の間の境界を含む領域における画素を抽出するセグメンタと、
    ローリング・ボール・プロセッサと、
    移動経路に沿って比を計算し、移動経路としきい値とを比較するためのベクトル・プロセッサとを備える、請求項2に記載のシステム。
  9. 前記自動ポリープ検出プロセッサは、
    試験ポリープと試験対象領域の間でコンボルーションを行い、試験対象領域と試験ポリープの類似性を示すためのコンボルーション・プロセッサを備える、請求項2に記載のシステム。
  10. 前記コンボルーション・プロセッサは相関マトリックスを作成し、コンボルーション・ポリープ検出器は、比較的高い相関値を有する試験対象領域の部分を識別するためのフィルタをさらに備える、請求項9に記載のシステム。
  11. 前記自動ポリープ検出プロセッサは、距離テンプレートを画像に重ね合わせるとともに、各々が、距離テンプレート上の選択された点と腸の境界上の点との間の距離に対応し、各々が、腸の境界上の異なる点を用いて計算される複数の距離値を計算するための距離プロセッサを備える、請求項2に記載のシステム。
  12. 前記自動ポリープ検出プロセッサは、複数の距離値の各々を比較するための比較回路をさらに備える、請求項11に記載のシステム。
  13. 前記比較回路は、値をサブトラクトして相対的な距離値を与えることによって、複数の距離値の各々を比較する手段を含む、請求項12に記載のシステム。
  14. 前記自動ポリープ検出プロセッサは、画像から画素を抽出して、結腸内の軟質組織と空気の間の境界を含む領域を与えるセグメンタをさらに備え、前記距離プロセッサは、前記セグメンタによって与えられた領域に距離テンプレートを重ね合わせる、請求項11に記載のシステム。
  15. 前記デジタル腸サブトラクション・プロセッサに結合された検出システムであって、内容物がデジタル的に除去される結腸のデジタル画像において、ポリープの特性に類似した1つまたは複数の特性を有する領域を検出するための検出システムと、
    前記検出システムによって検出された領域を画像上で示すためのインジケータ・システムとをさらに備えた、請求項1に記載のシステム。
  16. 仮想結腸鏡検査を実施するための方法であって、
    コントラスト剤を患者に投与すること、
    コントラスト剤が投与された患者の1つまたは複数の腸の画像を作成すること、および
    作成された1つまたは複数の腸の画像の各々に示される腸の内容物をデジタル的にサブトラクトすることを含む方法。
  17. 前記腸の内容物をデジタル的にサブトラクトすることは、
    しきい値関数を腸の画像に適用すること、
    腸の画像に対する勾配解析を行って、壁域に対応する第1の領域と、腸の内容物の領域に対応する第2の領域とを定めること、および
    腸の画像から第2の領域をデジタル的に除去して、第1の領域を有し、第2の領域を有さない画像を提供することを含む、請求項16に記載の方法。
  18. 前記勾配解析の実行が、
    腸内容物に対応する第1の部分と、腸壁に対応する第2の部分と、腸内容物と腸壁の間の遷移に対応する、第1の部分と第2の部分との間に位置する第3の部分とを有する画像遷移領域に対応する画像の部分を識別すること、
    画像遷移領域における第1のショルダ域を識別すること、
    画像遷移領域における第2のショルダ域を識別すること、
    境界の第1のショルダ域を拡大し、腸の画像に第1のしきい値関数を適用すること、
    腸の画像に対する解析に勾配を適用して、壁域に対応する第1の領域と、腸内容物の領域に対応する第2の領域とを定めること、および
    腸の画像から第2の領域をデジタル的に除去して、第1の領域を有し、第2の領域を有さない画像を提供することを含む、請求項17に記載の方法。
  19. 前記第2のショルダ域を識別することは、
    第2のショルダ域に対応する画像遷移領域の一部の周囲の画素を拡大すること、
    画素値の各々を勾配しきい値と比較すること、
    勾配しきい値より小さい画素値に対しては、内容物の領域および壁域のうち第1の領域に対応する第1の所定値と等しい値にその画素値を設定すること、および
    勾配しきい値より大きい画素値に対しては、内容物の領域および壁域のうち第2の領域に対応する第2の所定値と等しい値にその画素値を設定することを含む、請求項18に記載の方法。
  20. 前記腸の内容物をデジタル的にサブトラクトすることは、
    前記画像から第1の画素解析マップ(PAM)を作成すること、
    前記第1のPAMをラスタ・パターンで画像全体に進めること、
    PAMによって定められた所定の要素の集合体を調べることによって前記画像における空気領域を突き止めること、
    前記空気要素の周囲の領域を検索して前記、空気領域に隣接する腸域を突き止めること、及び
    前記画像から前記腸内容とサブトラクトすること、
    を含む請求項16に記載の方法。
  21. 画素のアレイによって画像を表す映像システムにおいて、腸内容物を表す前記画像における画素を選択する方法であって、
    画素のアレイを含むマップ内の画その所定の画素が空間的関係および所定のしきい値を有する画素解析マップを形成すること、
    前記画素解析マップを前記画像に適用すること、
    前記画素解析マップ内の前記画素の所定の画素の値と、前記画像内の画素とを比較し、前記画像内の対応する画素が腸内容物の1つを表しているか、または腸壁を表しているかを示すこと、および
    腸内容物に対応する前記画像内の画素の値を、空気に対応する画素値および腸に対応する画素値の一方に設定することを含む方法。
  22. 前記画素解析マップを形成することは、
    前記画素解析マップの中心にある複数の中心画素を定めること、
    前記複数の中心画素の周囲に位置する複数の境界画素を定めること、および
    前記複数の境界画素の周囲に位置する複数の外部境界画素を定めることを含む、請求項21に記載の方法。
  23. 前記比較ステップは、
    前記複数の中心画素の第1の画素を選択すること、
    前記第1の画素の位置に隣接する位置にある前記画像内の画素と、前記第1の画素に最も近い外部境界画素との差値を計算すること、および
    勾配しきい値より大きい差値に対しては、前記第1の画素と外部境界画素の間のすべての画素の値を所定の値に設定することを含む、請求項22に記載の方法。
  24. 前記所定の値は空気の値または腸の値の一方に対応する、請求項23に記載の方法。
  25. CT画像内の構造体を検出するための方法であって、
    第1のCT画像から試験構造体テンプレートを取得すること、
    第2のCT画像の部分を選択すること、
    前記試験構造体テンプレートと前記選択された前記第2のCT画像の部分との間でコンボルーションを実施して相関マトリックスを作成すること、および
    ポリープの特性との高い相関性を伴う値を有する前記第2の画像内の領域を識別すること、
    を含む方法。
  26. 前記試験構造体テンプレートを取得することは、
    検出対象となるタイプの構造体を含む第1のCT画像を取得すること、および
    前記CT画像から構造体を摘出して前記試験構造体を与えること、
    を含む請求項25に記載の方法。
  27. 前記第2の画像内の領域を識別することは、
    所定の相関しきい値より小さい値をフィルタリングすること、および
    前記試験構造体の形状と類似した形状を有する構造体を含む可能性の高い画像の領域を指定すること、
    を含む請求項26に記載の方法。
  28. 前記試験構造体テンプレートは、ポリープ・テンプレートに対応し、前記第1のCT画像における検出対象となるタイプの前記構造体はポリープに対応する、請求項26に記載の方法。
  29. ポリープを検出するための方法であって、
    腸の境界に沿って試験要素を移動させること、
    前記試験要素の移動によって定められる経路を追跡すること、
    前記経路における前記試験要素の方向の変化を検出すること、および
    前記試験要素の経路および前記試験要素の方向の変化に基づいて腸の特徴を分類することを含む方法。
  30. 前記経路における試験要素の方向の変化を検出することは、
    前記試験要素によって定められる経路の勾配の変化を計算すること、
    前記経路の勾配の方向が変化する各々の位置における点を標示すること、
    前記標示されたそれぞれの点の間の距離を計算すること、および
    前記各々の距離を用いて比値を計算することを含む、請求項29に記載の方法。
  31. 前記試験要素の経路および試験要素の方向の変化に基づいて腸の特徴を分類することは、比値を用いて腸の特徴を識別することを含む、請求項30に記載の方法。
  32. 前記試験要素が円形を有する試験要素である、請求項31に記載の方法。
  33. 前記試験要素が球形を有する試験要素である、請求項31に記載の方法。
  34. ポリープを検出するための方法であって、
    腸の境界を含む画像の領域にテンプレートを適用すること、および
    各々が、前記テンプレート上の少なくとも1つの点から前記腸の境界上の複数の点の1つまでの距離に対応する、前記テンプレートと前記腸の境界との間の複数の距離を計算することを含む該方法。
  35. 等しい距離に対しては、前記テンプレートの形状と類似した形状を有する構造体を含む画像領域を識別する、請求項34に記載の方法。
  36. 前記腸の境界にテンプレートを適用することは、
    腸の画像を分離して、腸の境界を形成しない画素がフィルタリングされた画像を作成することを含む、請求項34に記載の方法。
  37. 前記テンプレートと腸の境界との間の複数の距離を計算することは、前記テンプレートの境界上の点と前記腸の境界上の点との間の距離を計算することを含む、請求項35に記載の方法。
  38. 前記距離が等しいかどうかを判断することは、前記距離間の標準偏差を計算することを含む、請求項36に記載の方法。
  39. 粘膜層を挿入するための方法であって、
    腸内容物がデジタル的に抽出された画像に勾配演算子を適用して、前記画像における腸壁域領域と非腸壁領域との間の境界に対応する画素を識別すること、および
    前記境界を形成する画素に限定ガウス・フィルタを適用することによって境界を平滑化し、前記境界に沿う所定の幅に対して平滑化が行われることを含む方法。
  40. 前記所定の幅は10画素未満の幅に対応する、請求項38に記載の方法。
  41. 前記所定の幅は2から5画素の範囲の幅に対応する、請求項39に記載の方法。
  42. 前記所定の幅は3画素の幅に対応する、請求項40に記載の方法。
JP2001575386A 2000-04-07 2001-04-09 デジタル腸サブトラクションおよびポリープ検出システムならびに関連技術 Expired - Lifetime JP5031968B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US19565400P 2000-04-07 2000-04-07
US60/195,654 2000-04-07
US09/828,268 2001-04-06
US09/828,268 US6947784B2 (en) 2000-04-07 2001-04-06 System for digital bowel subtraction and polyp detection and related techniques
PCT/US2001/011497 WO2001078017A2 (en) 2000-04-07 2001-04-09 Bowel subtraction and polyp detection in virtual colonscopy

Publications (3)

Publication Number Publication Date
JP2004500213A true JP2004500213A (ja) 2004-01-08
JP2004500213A5 JP2004500213A5 (ja) 2008-05-29
JP5031968B2 JP5031968B2 (ja) 2012-09-26

Family

ID=26891184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001575386A Expired - Lifetime JP5031968B2 (ja) 2000-04-07 2001-04-09 デジタル腸サブトラクションおよびポリープ検出システムならびに関連技術

Country Status (6)

Country Link
US (2) US6947784B2 (ja)
EP (1) EP1272980A2 (ja)
JP (1) JP5031968B2 (ja)
AU (1) AU2001253281A1 (ja)
CA (1) CA2405302C (ja)
WO (1) WO2001078017A2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006142011A (ja) * 2004-11-19 2006-06-08 General Electric Co <Ge> Ctコロノグラフィ・システム
JP2007125373A (ja) * 2005-09-30 2007-05-24 Given Imaging Ltd 生体内のフィーチャーを検出するためのシステム及び方法
JP2008048906A (ja) * 2006-08-24 2008-03-06 Olympus Medical Systems Corp 医療用画像処理装置及び医療用画像処理方法
JP2009511216A (ja) * 2005-10-17 2009-03-19 ザ ジェネラル ホスピタル コーポレイション コンピュータトモグラフィーコロノグラフィー画像のデジタルデジタル洗浄用の構造解析システム、方法、ソフトウェア構成及びコンピュータがアクセス可能な媒体
JP2013208433A (ja) * 2005-10-21 2013-10-10 Koninkl Philips Nv レンダリング方法及び装置
JP2018079012A (ja) * 2016-11-15 2018-05-24 株式会社島津製作所 Drr画像作成装置
US11969143B2 (en) 2018-07-09 2024-04-30 Nec Corporation Target part identification among human-body internal images

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6477401B1 (en) 2000-03-10 2002-11-05 Mayo Foundation For Medical Education And Research Colonography of an unprepared colon
US20020164061A1 (en) * 2001-05-04 2002-11-07 Paik David S. Method for detecting shapes in medical images
US7043064B2 (en) * 2001-05-04 2006-05-09 The Board Of Trustees Of The Leland Stanford Junior University Method for characterizing shapes in medical images
US7453472B2 (en) * 2002-05-31 2008-11-18 University Of Utah Research Foundation System and method for visual annotation and knowledge representation
US7260250B2 (en) * 2002-09-30 2007-08-21 The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services Computer-aided classification of anomalies in anatomical structures
US7272251B2 (en) * 2002-09-30 2007-09-18 The Board Of Trustees Of The Leland Stanford Junior University Method for detecting and classifying a structure of interest in medical images
DE10317367B4 (de) * 2003-04-15 2007-01-11 Siemens Ag Verfahren zur Durchführung der digitalen Subtraktionsangiographie unter Verwendung nativer Volumendatensätze
CN100423029C (zh) * 2003-08-13 2008-10-01 美国西门子医疗解决公司 用于分析曲率分布的局部模式的方法
US7412084B2 (en) 2003-08-13 2008-08-12 Siemens Medical Solutions Usa, Inc. Method of analysis of local patterns of curvature distributions
US7447342B2 (en) * 2003-09-22 2008-11-04 Siemens Medical Solutions Usa, Inc. Method and system for using cutting planes for colon polyp detection
US7440601B1 (en) 2003-10-10 2008-10-21 The United States Of America As Represented By The Department Of Health And Human Services Automated identification of ileocecal valve
US7454045B2 (en) * 2003-10-10 2008-11-18 The United States Of America As Represented By The Department Of Health And Human Services Determination of feature boundaries in a digital representation of an anatomical structure
US7480412B2 (en) * 2003-12-16 2009-01-20 Siemens Medical Solutions Usa, Inc. Toboggan-based shape characterization
US7457445B2 (en) * 2004-03-01 2008-11-25 Siemens Medical Solutions Usa, Inc. Using corner pixels as seeds for detection of convex objects
US20060047227A1 (en) * 2004-08-24 2006-03-02 Anna Jerebko System and method for colon wall extraction in the presence of tagged fecal matter or collapsed colon regions
US7260174B2 (en) 2004-09-13 2007-08-21 General Electric Company Direct conversion energy discriminating CT detector with over-ranging correction
US7606347B2 (en) * 2004-09-13 2009-10-20 General Electric Company Photon counting x-ray detector with overrange logic control
US7616800B2 (en) * 2004-11-08 2009-11-10 The Board Of Trustees Of The Leland Stanford Junior University Polyp identification through subtraction of models of medical images
US7599465B2 (en) 2004-11-19 2009-10-06 General Electric Company Detection of thrombi in CT using energy discrimination
US7382853B2 (en) * 2004-11-24 2008-06-03 General Electric Company Method and system of CT data correction
US7583779B2 (en) * 2004-11-24 2009-09-01 General Electric Company System and method for acquisition and reconstruction of contrast-enhanced, artifact-reduced CT images
US8289381B2 (en) 2005-01-05 2012-10-16 Avantis Medical Systems, Inc. Endoscope with an imaging catheter assembly and method of configuring an endoscope
US8235887B2 (en) 2006-01-23 2012-08-07 Avantis Medical Systems, Inc. Endoscope assembly with retroscope
US8872906B2 (en) 2005-01-05 2014-10-28 Avantis Medical Systems, Inc. Endoscope assembly with a polarizing filter
US8797392B2 (en) 2005-01-05 2014-08-05 Avantis Medical Sytems, Inc. Endoscope assembly with a polarizing filter
JP4146438B2 (ja) * 2005-01-19 2008-09-10 ザイオソフト株式会社 識別方法
WO2007030132A2 (en) * 2005-02-14 2007-03-15 Mayo Foundation For Medical Education And Research Electronic stool subtraction in ct colonography
US7680335B2 (en) * 2005-03-25 2010-03-16 Siemens Medical Solutions Usa, Inc. Prior-constrained mean shift analysis
US7995809B2 (en) * 2005-04-18 2011-08-09 Siemens Medical Solutions Usa, Inc. Refined segmentation of nodules for computer assisted diagnosis
JP5024981B2 (ja) * 2005-04-20 2012-09-12 株式会社東芝 医用画像データ変換装置
US7695592B2 (en) 2005-04-21 2010-04-13 Honeywell International Inc. Method and apparatus for measuring fiber orientation of a moving web
US7164145B2 (en) * 2005-05-12 2007-01-16 Honeywell International Inc. Measuring fiber orientation by detecting dispersion of polarized light
US8249687B2 (en) * 2005-06-02 2012-08-21 Vital Images, Inc. Systems and methods for virtual identification of polyps
US7545971B2 (en) * 2005-08-22 2009-06-09 Honeywell International Inc. Method and apparatus for measuring the crepe of a moving sheet
US7773789B2 (en) * 2005-08-30 2010-08-10 Siemens Medical Solutions Usa, Inc. Probabilistic minimal path for automated esophagus segmentation
US7853062B2 (en) 2005-09-13 2010-12-14 Siemens Medical Solutions Usa, Inc. System and method for polyp detection in tagged or non-tagged stool images
DE102005046385B4 (de) * 2005-09-28 2012-03-22 Siemens Ag Verfahren und Vorrichtung zur Nachbearbeitung eines 3D-Bilddatensatzes, insbesondere für die virtuelle Kolonographie
DE102006001655A1 (de) * 2006-01-12 2007-08-02 Siemens Ag Verfahren und Vorrichtung zur virtuellen Darmreinigung
US20070208331A1 (en) * 2006-03-02 2007-09-06 Chu Michael S Systems and methods of treatment within a gastrointestinal lumen
JP4891637B2 (ja) * 2006-03-14 2012-03-07 オリンパスメディカルシステムズ株式会社 画像解析装置
JP4891636B2 (ja) * 2006-03-14 2012-03-07 オリンパスメディカルシステムズ株式会社 画像解析装置
US8090178B2 (en) * 2006-04-06 2012-01-03 Siemens Medical Solutions Usa, Inc. System and method for automatic detection of internal structures in medical images
US8287446B2 (en) 2006-04-18 2012-10-16 Avantis Medical Systems, Inc. Vibratory device, endoscope having such a device, method for configuring an endoscope, and method of reducing looping of an endoscope
JP2009537283A (ja) 2006-05-19 2009-10-29 アヴァンティス メディカル システムズ インコーポレイテッド ビデオアーチファクトの影響を低減するための装置および方法
US8023703B2 (en) * 2006-07-06 2011-09-20 The United States of America as represented by the Secretary of the Department of Health and Human Services, National Institues of Health Hybrid segmentation of anatomical structure
US20080027315A1 (en) * 2006-07-31 2008-01-31 Icad, Inc. Processing and presentation of electronic subtraction for tagged colonic fluid and rectal tube in computed colonography
US7983463B2 (en) * 2006-11-22 2011-07-19 General Electric Company Methods and apparatus for suppressing tagging material in prepless CT colonography
US8126238B2 (en) * 2006-11-22 2012-02-28 General Electric Company Method and system for automatically identifying and displaying vessel plaque views
US8244015B2 (en) * 2006-11-22 2012-08-14 General Electric Company Methods and apparatus for detecting aneurysm in vasculatures
US8160395B2 (en) * 2006-11-22 2012-04-17 General Electric Company Method and apparatus for synchronizing corresponding landmarks among a plurality of images
WO2008089490A2 (en) * 2007-01-19 2008-07-24 Mayo Foundation For Medical Education And Research Axial centerline following display of ct colonography images
US8564593B2 (en) * 2007-01-19 2013-10-22 Mayo Foundation For Medical Education And Research Electronic stool subtraction using quadratic regression and intelligent morphology
WO2008089489A2 (en) 2007-01-19 2008-07-24 Mayo Foundation For Medical Education And Research Simultaneous dual window/level settings for display of ct colonography images
WO2008089483A2 (en) * 2007-01-19 2008-07-24 Mayo Foundation For Medical Education And Research Oblique centerline following display of ct colonography images
US8160367B2 (en) * 2007-01-29 2012-04-17 Siemens Medical Solutions Usa, Inc. Circular intensity distribution analysis for the detection of convex, concave and flat surfaces
US8064666B2 (en) * 2007-04-10 2011-11-22 Avantis Medical Systems, Inc. Method and device for examining or imaging an interior surface of a cavity
US20090040565A1 (en) * 2007-08-08 2009-02-12 General Electric Company Systems, methods and apparatus for healthcare image rendering components
WO2009021104A2 (en) 2007-08-08 2009-02-12 Cavanaugh Brian J Method and apparatus for delivery of a ligating suture
US8184888B2 (en) * 2007-09-19 2012-05-22 Siemens Medical Solutions Usa, Inc. Method and system for polyp segmentation for 3D computed tomography colonography
US8126244B2 (en) * 2007-09-21 2012-02-28 Siemens Medical Solutions Usa, Inc. User interface for polyp annotation, segmentation, and measurement in 3D computed tomography colonography
US7613274B2 (en) * 2007-11-16 2009-11-03 General Electric Company Method and system of energy integrating and photon counting using layered photon counting detector
EP2068281A1 (en) * 2007-11-28 2009-06-10 Dublin City University A method for detecting flat polyps in the colon
DE102007058687A1 (de) 2007-12-06 2009-06-10 Siemens Ag Verfahren und Bildbearbeitungsvorrichtung zur virtuellen Darstellung eines Kolons
DE102008016655B3 (de) * 2008-04-01 2009-07-09 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Visualisierung eines Bilddatensatzes eines einen Hohlraum umschließenden Organs, insbesondere eines CT-Bilddatensatzes eines Kolons
JP5424584B2 (ja) * 2008-06-17 2014-02-26 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
JP5305747B2 (ja) * 2008-06-17 2013-10-02 キヤノン株式会社 放射線画像撮影装置及びその駆動方法、並びに、プログラム
US8131036B2 (en) * 2008-07-25 2012-03-06 Icad, Inc. Computer-aided detection and display of colonic residue in medical imagery of the colon
DE102008045342B4 (de) * 2008-09-01 2016-03-10 Siemens Aktiengesellschaft Verfahren zur Darstellung von Bilddaten eines Dickdarms eines Patienten auf der Basis tomographischer Untersuchungsdaten und eine Recheneinheit zur Durchführung des Verfahrens
US8208707B2 (en) * 2008-09-02 2012-06-26 General Electric Company Tissue classification in medical images
JP5117353B2 (ja) * 2008-11-07 2013-01-16 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
USD666723S1 (en) * 2010-04-29 2012-09-04 Planmed Oy Extremity CT scanner
USD665911S1 (en) * 2010-04-29 2012-08-21 Planmed Oy Extremity CT scanner
KR20120073887A (ko) * 2010-12-27 2012-07-05 삼성전자주식회사 이미지 처리 장치 및 그 이미지 처리 방법
JP5526044B2 (ja) * 2011-01-11 2014-06-18 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN103501699B (zh) * 2011-02-24 2016-01-13 卡丹医学成像股份有限公司 用于隔离成像数据中的潜在异常的方法和装置和其对医学图像的应用
JP6045417B2 (ja) * 2012-12-20 2016-12-14 オリンパス株式会社 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法
JP5957409B2 (ja) * 2013-03-29 2016-07-27 富士フイルム株式会社 領域抽出装置および方法並びにプログラム
JP6026357B2 (ja) * 2013-06-13 2016-11-16 富士フイルム株式会社 仮想内視鏡画像生成装置および方法並びにプログラム
JP5923067B2 (ja) * 2013-07-26 2016-05-24 富士フイルム株式会社 診断支援装置および診断支援方法並びに診断支援プログラム
US9342881B1 (en) 2013-12-31 2016-05-17 Given Imaging Ltd. System and method for automatic detection of in vivo polyps in video sequences
CN104545978A (zh) * 2015-01-20 2015-04-29 董桂青 一种ct机过滤器
JP6584090B2 (ja) 2015-02-23 2019-10-02 Hoya株式会社 画像処理装置
TR201606363A2 (tr) 2016-05-13 2017-11-21 Sensobright Ind Llc Çok işlevli bir algılama sistemi.
EP3267394A1 (en) * 2016-07-04 2018-01-10 Centre National De La Recherche Scientifique Method and apparatus for real-time detection of polyps in optical colonoscopy
US10631798B2 (en) 2017-01-16 2020-04-28 Biosense Webster (Israel) Ltd. Seeing through mucus in an ENT procedure
US10311554B2 (en) * 2017-03-01 2019-06-04 Fotonation Limited Method of providing a sharpness measure for an image
WO2020254845A1 (en) 2019-04-02 2020-12-24 Autoid Polska S.A. System for analysis and compression of video results of an endoscopic examination
US11423318B2 (en) * 2019-07-16 2022-08-23 DOCBOT, Inc. System and methods for aggregating features in video frames to improve accuracy of AI detection algorithms
US10671934B1 (en) 2019-07-16 2020-06-02 DOCBOT, Inc. Real-time deployment of machine learning systems
CN110916606A (zh) * 2019-11-15 2020-03-27 武汉楚精灵医疗科技有限公司 一种基于人工智能的实时肠道清洁度评分系统和方法
EP4162439A1 (en) * 2020-06-08 2023-04-12 UNITED STATES GOVERNMENT as represented by THE DEPARTMENT OF VETERANS AFFAIRS Methods and systems for determining an object map
US11527329B2 (en) 2020-07-28 2022-12-13 Xifin, Inc. Automatically determining a medical recommendation for a patient based on multiple medical images from multiple different medical imaging modalities
US11100373B1 (en) 2020-11-02 2021-08-24 DOCBOT, Inc. Autonomous and continuously self-improving learning system
US11893745B2 (en) * 2020-12-09 2024-02-06 Raytheon Company System and method for generating and displaying contours

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998011524A1 (en) * 1996-09-16 1998-03-19 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination
WO1998032371A1 (en) * 1997-01-24 1998-07-30 Mayo Foundation For Medical Education And Research System for two-dimensional and three-dimensional imaging of tubular structures in the human body
WO1998037517A1 (en) * 1997-02-25 1998-08-27 Wake Forest University Automatic analysis in virtual endoscopy
WO1999042977A1 (en) * 1998-02-23 1999-08-26 Algotec Systems Ltd. Automatic path planning system and method

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4862081A (en) 1988-11-23 1989-08-29 Picker International, Inc. DC artifact removal in magnetic resonance imaging
JPH06259541A (ja) 1992-10-30 1994-09-16 Toshiba Corp 画像歪み補正方法およびそのシステム
US5467639A (en) 1993-01-19 1995-11-21 Mayo Foundation For Medical Education And Research Universal penetration test apparatus and method
US5633453A (en) 1993-01-19 1997-05-27 Mayo Foundation For Medical Education And Research Universal penetration test apparatus and method
US5748696A (en) 1993-11-26 1998-05-05 Kabushiki Kaisha Toshiba Radiation computed tomography apparatus
US5611342A (en) 1994-02-15 1997-03-18 Molecular Biosystems, Inc. Method of computer tomography imaging the gastrointestinal tract and surrounding upper abdominal tissues and organs using an orally administered low density contrast medium
US5458111A (en) 1994-09-06 1995-10-17 William C. Bond Computed tomographic colonoscopy
US5782762A (en) * 1994-10-27 1998-07-21 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
EP0829068A1 (en) 1995-05-31 1998-03-18 Molecular Biosystems, Inc. Automatic border delineation and dimensioning of regions using contrast enhanced imaging
US5647360A (en) 1995-06-30 1997-07-15 Siemens Corporate Research, Inc. Digital subtraction angiography for 3D diagnostic imaging
US5841148A (en) 1996-02-02 1998-11-24 Fuji Photo Film Co., Ltd. Image processing apparatus
DE19617162C2 (de) 1996-04-29 1998-04-16 Siemens Ag Verfahren zur Anwendung eines 3D-Gridding-Prozesses in einem Computertomographen sowie Computertomograph zur Durchführung des Verfahrens
US6331116B1 (en) * 1996-09-16 2001-12-18 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual segmentation and examination
US6343936B1 (en) 1996-09-16 2002-02-05 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination, navigation and visualization
US5986662A (en) 1996-10-16 1999-11-16 Vital Images, Inc. Advanced diagnostic viewer employing automated protocol selection for volume-rendered imaging
US5848121A (en) 1996-10-28 1998-12-08 General Electric Company Method and apparatus for digital subtraction angiography
US5873824A (en) 1996-11-29 1999-02-23 Arch Development Corporation Apparatus and method for computerized analysis of interstitial infiltrates in chest images using artificial neural networks
US5987347A (en) 1997-12-15 1999-11-16 General Electric Company Method for removing streak artifacts in medical images
US6004270A (en) 1998-06-24 1999-12-21 Ecton, Inc. Ultrasound system for contrast agent imaging and quantification in echocardiography using template image for image alignment
NL1011580C2 (nl) 1999-03-17 2000-09-19 Beele Eng Bv Luminicerende bekleding op basis van een watergedragen polyurethaandispersie.
US6477401B1 (en) 2000-03-10 2002-11-05 Mayo Foundation For Medical Education And Research Colonography of an unprepared colon
US6564892B2 (en) * 2000-06-13 2003-05-20 International Truck Intellectual Property Company, Llc. L-bracket modular front engine mounting
US6633453B1 (en) * 2000-09-01 2003-10-14 International Business Machines Corporation Shallow recessed T-head with reduced side-writing and method for making the same
US6587575B1 (en) * 2001-02-09 2003-07-01 The United States Of America As Represented By The Secretary Of Agriculture Method and system for contaminant detection during food processing
US6728334B1 (en) * 2001-10-24 2004-04-27 Cornell Research Foundation, Inc. Automatic detection of pulmonary nodules on volumetric computed tomography images using a local density maximum algorithm

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998011524A1 (en) * 1996-09-16 1998-03-19 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination
WO1998032371A1 (en) * 1997-01-24 1998-07-30 Mayo Foundation For Medical Education And Research System for two-dimensional and three-dimensional imaging of tubular structures in the human body
WO1998037517A1 (en) * 1997-02-25 1998-08-27 Wake Forest University Automatic analysis in virtual endoscopy
WO1999042977A1 (en) * 1998-02-23 1999-08-26 Algotec Systems Ltd. Automatic path planning system and method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006142011A (ja) * 2004-11-19 2006-06-08 General Electric Co <Ge> Ctコロノグラフィ・システム
JP2007125373A (ja) * 2005-09-30 2007-05-24 Given Imaging Ltd 生体内のフィーチャーを検出するためのシステム及び方法
JP2009511216A (ja) * 2005-10-17 2009-03-19 ザ ジェネラル ホスピタル コーポレイション コンピュータトモグラフィーコロノグラフィー画像のデジタルデジタル洗浄用の構造解析システム、方法、ソフトウェア構成及びコンピュータがアクセス可能な媒体
JP2013208433A (ja) * 2005-10-21 2013-10-10 Koninkl Philips Nv レンダリング方法及び装置
JP2008048906A (ja) * 2006-08-24 2008-03-06 Olympus Medical Systems Corp 医療用画像処理装置及び医療用画像処理方法
JP2018079012A (ja) * 2016-11-15 2018-05-24 株式会社島津製作所 Drr画像作成装置
US11969143B2 (en) 2018-07-09 2024-04-30 Nec Corporation Target part identification among human-body internal images

Also Published As

Publication number Publication date
US20050107691A1 (en) 2005-05-19
WO2001078017A2 (en) 2001-10-18
AU2001253281A1 (en) 2001-10-23
EP1272980A2 (en) 2003-01-08
CA2405302A1 (en) 2001-10-18
US20020097320A1 (en) 2002-07-25
US6947784B2 (en) 2005-09-20
JP5031968B2 (ja) 2012-09-26
CA2405302C (en) 2007-08-07
US7630529B2 (en) 2009-12-08
WO2001078017A3 (en) 2002-08-22

Similar Documents

Publication Publication Date Title
JP5031968B2 (ja) デジタル腸サブトラクションおよびポリープ検出システムならびに関連技術
US7965880B2 (en) Lumen tracking in computed tomographic images
JP6031454B2 (ja) 撮像データにおける潜在異常を特定する方法及び装置並びに医用画像へのその応用
US7840051B2 (en) Medical image segmentation
JP2007532251A (ja) 腸控除システムにおける画像処理のための方法および装置
US20070003131A1 (en) Enhanced virtual navigation and examination
CA2368390A1 (en) System and method for performing a three-dimensional virtual segmentation and examination
US8515200B2 (en) System, software arrangement and method for segmenting an image
JP2000093424A (ja) X線ct装置および画像診断装置
US20080117210A1 (en) Virtual endoscopy
US8237784B2 (en) Method of forming virtual endoscope image of uterus
Karssemeijer et al. Recognition of organs in CT-image sequences: a model guided approach
US7286693B2 (en) Medical viewing system and image processing method for visualization of folded anatomical portions of object surfaces
Cao et al. Computer-aided detection of diagnostic and therapeutic operations in colonoscopy videos
Karargyris et al. A methodology for detecting blood-based abnormalities in wireless capsule endoscopy videos
WO2008024359A2 (en) Method for detection and visional enhancement of blood vessels and pulmonary emboli
US20110285695A1 (en) Pictorial Representation in Virtual Endoscopy
CN116807361B (zh) Ct影像显示方法、电子设备及装置
Erberich et al. Knowledge-based lung nodule detection from helical CT
CN114972228A (zh) 一种用于腔镜手术中目标器官的成像及处理方法及系统
Kim Multiresolutional watershed segmentation with user-guided grouping
Naeppi et al. Computer-aided detection of polyps and masses for CT colonography
Detection et al. CA 94143-0628, USA

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080408

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110415

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110714

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111017

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20111216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120530

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120628

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5031968

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150706

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term