JP2017510406A - 画像内における血管構造の抑制 - Google Patents

画像内における血管構造の抑制 Download PDF

Info

Publication number
JP2017510406A
JP2017510406A JP2017502765A JP2017502765A JP2017510406A JP 2017510406 A JP2017510406 A JP 2017510406A JP 2017502765 A JP2017502765 A JP 2017502765A JP 2017502765 A JP2017502765 A JP 2017502765A JP 2017510406 A JP2017510406 A JP 2017510406A
Authority
JP
Japan
Prior art keywords
data
elements
suppression
model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017502765A
Other languages
English (en)
Other versions
JP6570145B2 (ja
Inventor
クナップ、ジェイソン、エフ.
カクマヌ、プラビーン
ウォーレル、スティーブ、ダブリュ.
Original Assignee
リべレイン テクノロジーズ エルエルシー
リべレイン テクノロジーズ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by リべレイン テクノロジーズ エルエルシー, リべレイン テクノロジーズ エルエルシー filed Critical リべレイン テクノロジーズ エルエルシー
Publication of JP2017510406A publication Critical patent/JP2017510406A/ja
Application granted granted Critical
Publication of JP6570145B2 publication Critical patent/JP6570145B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Pulmonology (AREA)

Abstract

画像処理技術は、異なる取得プロトコルの下で取り込まれた医療画像及び/又はボクセルデータを正規化するための方法論、並びに、医療画像及び/又はボクセルデータからの選択された生体構造を抑制するための方法論を含み得る。これらの結果、他の生体構造の検出の改善、及び/又は、レンダリングの改善につながり得る。本明細書で提示された技術は、例えば、コンピュータ断層撮影(CT)スキャン内での小結節検出の改善に使用され得る。本明細書においては肺内の小結節の文脈で提示されているが、これらの技術は、わずかな修正を加えることで、例えば、胸部における腺状構造、柔組織構造、及び血管構造の抑制に基づき、フルフィールドマンモグラフィー又は胸部トモシンセシスにおける腫瘤、及び/又は微小石灰化の検出など、他の文脈に適用可能であり得る。

Description

関連出願の相互参照
本出願は、2014年3月27日に申請され本明細書に参照によって組み込まれる米国仮特許出願第61/971,042号から優先権を得る非仮特許出願である。
本開示は概して、特徴抽出及び連続的モデルベース予測方法を使用した、医療画像及び/又はボクセルデータ内の望ましくない構造の抑制に関し、更には、コンピュータ断層撮影(CT)スキャン内の肺小結節の検出を改善し得る技術に関し得る。モデルベース予測とは、本開示の文脈において、例えばニューラルネットワークなどの分析モデル、経験モデル、又はそれらの組み合わせの使用法として定義され、それらはピクセル/ボクセルから計算又は得られた尺度に基づき値(例えばピクセル又はボクセル)を予測するものである。
オブジェクト検出は困難な問題であることが広く認識されている。コンピュータ視覚システムにとってオブジェクト検出が困難になる、多くの態様が存在する。それらの態様には、2、3例を挙げると、画像取得における変動、オブジェクト外観の複雑性、オブジェクト背景における大きな変動性(通常はクラッタと呼ばれる)などの要因が含まれる。医療画像の分野において、「オブジェクト」とは、通常の生体構造の特定要素、非生体構造オブジェクトの位置、又は、腫瘍などの疾患の存在を指し得る。
医療画像におけるオブジェクト検出の1つの重要な適用は、胸部CTスキャンにおける肺小結節、又は腫瘤の検出である。20年以上の努力にもかかわらず、機械を用いた小結節検出の一般的問題は未解決のままであり、人間による検出は限られたままである。これに対する大きな理由は、当該問題を困難するもの1つの大きな要素に対処できないことである。すなわち、小結節の肺血管との複雑な相互作用、及び、様々な取得プロトコルに起因する外観の変動である。
本開示の様々な態様は、異なる取得プロトコル下で取り込まれた医療画像及び/若しくはボクセルデータを正規化するための手法、並びに/又は、胸部の医療画像及び/若しくはボクセルデータ内の選択された非小結節構造を抑制するための方法を含み得る。大部分の非小結節構造は、血管内容物であり、従って、「血管抑制」という用語は、本開示において、そのような非小結節構造抑制の総称として使用される。しかしながら、開示されている技術は、例えば、胸部における気管支壁及び裂線、並びに、場合によっては、管状の特性を有する人口のオブジェクトなど、「血管」/血管構造以外の構造にも適用され得る。これは更に、他の身体部分(例えば、胸部、心臓、頭部)、他のモダリティ(例えば、超音波、トモシンセシスなど)、及び/又は他の分野(例えば、ビデオ監視、軍事用の標的設定)に拡大し得る。この技術は、小結節検出の改善、小結節の特性決定、及び/又は、選択された生体構造抑制画像データ又は生体構造強調画像データのレンダリングの改善という目的で使用され得る。この技術は本明細書において、特に肺内における小結節に関して説明されているが、同様の方法論が他の文脈に適用され得る。
本開示の様々な態様の追加の特徴及び利点は、後述する詳細な説明、及び、それに併せた添付図面から明らかになるであろう。これらは共に、例として、本開示の様々な態様の特徴を示す。
添付図面は以下の通りである。
本開示の態様に係る、例えば、CT取得正規化のプロセス図の例を示す。
本開示の様々な態様に係る、更なる処理を示す、更なるプロセス図を示す。
小結節シミュレーションの前のボリュームのスライスの例を示す。 小結節シミュレーションの後のボリュームのスライスの例を示す。 血管抑制後の、図3Bに示されているものと同じスライスを示す。;
本開示の態様に係る、予測段階の例のプロセス図を示す。
本開示の態様に係る、組織分離の概念的な描写を提供する。
血管を除去した、すりガラス小結節の画像例を示したものの1つである。 血管を除去した、すりガラス小結節の画像例を示したものの1つである。 血管を除去した、すりガラス小結節の画像例を示したものの1つである。
本開示の様々な態様が実施され得るシステムの概念図を示す。
小結節検出のために採用される手法は複数存在し、それらには、テンプレートマッチング(例えば、Q. Li, S. Katsuragawa, and K. Doi, "Computer−aided diagnostic scheme for lung nodule detection in digital chest radiographs by use of a multiple−template matching technique," Medical Physics, 2001, 28(10): 2070−2076; 以後「Liその他2001」)、マルチレベル閾値化法(例えば、S. Armato, M. Giger, and H. MacMahon, "Automated detection of lung nodules in CT scans: preliminary results," Medical Physics, 2001, 28, 1552-1561;以後「Armatoその他2001」)、強調フィルタ(例えば、A. Frangi, W. Niessen, K. Vincken, and M. Viergever, "Multiscale vessel enhancement filtering," MICCAI, 1998, 130−137;以後「Frangiその他1998」及びQ. Li, S. Sone. and K. Doi, "Selective enhancement filters for nodules, vessels, and airway walls in two− and three−dimensional CT scans," Medical Physics 2003, 30(8): 2040−2051;以後「Liその他2003」)、及び、ボクセル分類(例えば、D. Wu, L. Lu, J. Bi, Y. Shinagawa, K. Boyer, A. Krishnan, and M. Salganicoff, "Stratified learning of local anatomical context for lung nodules in CT images," CVPR, 2000, 2791−2798.以後「Wuその他2000」)が含まれ得る。
テンプレートマッチング(例えば、Liその他2001)は、テンプレートのセットに対する各ボクセルについての類似性を測定する段階を含み得る。オブジェクトの外観の多様性が高いほど、妥当なパフォーマンスのためにより多くのテンプレートが必要となり得る。このスケーリング挙動によって、困難な分野において、テンプレートマッチングが非効率になり得る。
マルチレベル閾値化法は、一つには、ハンスフィールドユニット(HU)において定義され得るボクセル値は有意義な解釈を有し得るという理由から、CT(例えば、Armatoその他2001)において使用され得る。小結節濃度の情報は、例えば、閾値の設定に使用され得る。この技術は、いくつかの困難に遭遇し得る。そのうちの1つは、所与の閾値に対する、オブジェクト形態の適切な測定であり得る。小結節は周囲の構造に接続され得るので、正確な形態評価が困難になる。これを補償するべく、そのような手法は、接続された構造を除去するための形態的な後処理段階を組み込み得る。しかしながら、形態的な後処理段階は、小結節が検出不能となる程度まで、小結節を変更する可能性がある。より複雑な後処理、例えば、ルール駆動型の適応を使用することによって、このプロセスを適応し得るが、そのようなルール駆動型の適応は、脆性の原因となり得、その方法は、よりテンプレートマッチングに似始め得る。
フィルタ強調法(例えば、Frangiその他1998及びLiその他2003)は、局所的な構造に適応することによって、テンプレートマッチングのときに改善し得る。1つのそのような手法は、局所的なテンソル情報から取得した局所的構造を見積もるためのものであり得る。例示的な2つのテンソルは、3×3ヘッセ行列及び3×3構造テンソルであり、ここで、「3」は空間次元の数を指す。これらのテンソルからの固有値は、各ボクセルでの「チューブネス(tubeness)」、「ブロブネス(blobness)」、又は「プレートネス(plateness)」の程度を定量化するのに使用され得る。これらの指標は、複合特徴指数を導き出すべく、統合され得る。そのような解析は単純かつ解析的に適切である一方で、いくつかの制限に遭遇し得る。第1に、情報を統合するのに使用される式は、現実とは異なり得る、小結節及び血管の理想化に基づき得る。例えば、小結節は概して、完全な球形ではなく、血管は概して、完全な円筒形ではない。この方法は、一次及び二次導関数によって取り込まれた情報のみを使用し得るので、血管が分岐する、又は、小結節が血管構造に付着するなどの、より複雑な領域において、パフォーマンスは低迷し得る。最後に、この方法は理想化に基づくので、複数のスケールにわたる指標の統合は、容易でないことがあり得る。
例えば、Wuその他2000のようなボクセル分類は、CTスキャンから特徴を抽出する段階を含み得る。この特徴は次に、小結節が存在するかどうかを示し得る確率、又は他の出力を生成するべく、分類方法によって使用され得る。ボクセル分類は、手作業でラベルを付けられた大量のデータを必要と得るので、非実用的であり得る。また、ボクセル分類方法は、サンプルの偏りの問題を抱え得る。つまり、トレーニングするために収集された小結節の種類に特異的に調整され得る。その結果、小結節を見逃す原因となり得る。
別の方法が、R.Wiemker,T.Buelow及びT.Klinderの"Visual Suppression of Selective Tissue in Image Data"、米国特許出願公開第2015/0063669号(以後「Wiemkerその他2015」)で見られるWiemkerその他において、発明者は、血管構造を抑制するための方法を、抑制データによるオリジナルデータの加重和として説明している。この種類の方法論は、文献中において、しばしば「インペインティング(inpainting)」と称され得る。オブジェクト除去に対する1つのそのような手法は、ピラミッド合成であり得る。合成に使用される加重は、0と1との間の値に対応し得る「ベセルネス(vesselness)」の局所尤度法から導き出され得る。この尺度が実際どのように得られるかは、Wiemkerその他2015においてまったく説明されておらず、抑制あり、及び抑制なしの状態で画像データを合成るための手段としての使用だけが説明されている。Wiemkerその他は、加重を強調又は非強調するべく、尤度法に対する修正の様々なモードを説明している。Wiemkerその他の「不透明性マッピング」を取得するための機構はより不明確である。この説明は、ボクセルの濃度はルックアップテーブルの種類によって減少することを示唆しているように見える。
また、小結節の検出及び分割の自動化方法を開発することは有用であるが、しかし、それはまた、専門家によって使用可能な例えば二次ボリュームの形式であり得る付属情報も提供し得ると認識されてきた(例えば、B. Van Ginneken, S. Armato,その他, "Comparing and combining algorithms for computer−aided detection of pulmonary nodules in computed tomography scans: The ANODE09 study," Med. Image Analysis, 2010, 14(6), 707−722及びE. M. Van Rikxoort, B. Van Ginneken, "Automated segmentation of pulmonary structures in thoracic computed tomography scans: a review," Physics in Medicine and Biology, 2013, 58, 187−220を参照)。
本開示の様々な態様は、通常の生体構造の抑制のために本発明者らによって形成された枠組みに関し得る(例えば、参照によって本明細書に組み込まれる、Knappその他による米国特許出願公開第2009/0290779(以後Knappその他による2009)、及びKnappその他による米国特許出願公開第2013/0223711(以後Knappその他2013)を参照のこと)。Knappその他2009において、骨の濃度が除去される代替的な画像を予測することによって、モデルが形成された。Knappその他2013において、胸筋抑制技術は、胸筋に関連する偏りが除去される画像データを予測し得る。
本開示の文脈において、「抑制」という用語の使用は、(血管などの)生体構造が、ただ低濃度になるのではなく、画像から実際に除去されることを示唆する。本開示の態様は、詳細は後述するが、望ましくない濃度を「予測で除去」し得る予測モデルを構築することに関連し得る。
ここでは、図面において図示される例示的な実施形態を参照する。その例示的な実施形態を説明するべく、特殊な文言が本明細書で使用される。それでも、本発明の範囲は、それによっていかなる制限も受けないことが意図されていることが理解されよう。本明細書で図示されている発明の特徴に対する変更及び更なる修正、並びに、本開示に接した当業者に想起される、本明細書で示される本発明の原理の追加的な応用は、本発明の範囲内と見なされ得る。
CTスキャンにおける小結節を識別するにあたって、理想的にCTスキャンを撮影して小結節以外の構造を抑制したいことがある。このプロセスを開始するにあたり、取得に関連する変動を考慮するべく、各スキャンが正規化され得る。これは、堅牢性を高め、更なるプロセスを単純化し得る。本開示の態様に係る、この正規化処理における主要な段階は、図1で見ることができる。正規化処理は、身体分割10で開始し得る。この段階において、患者の身体は、入力CT画像の視野内で他の構造から分割され、その後、患者の呼吸器系に関連する空気の領域を分割し得る。この後、肺濃度が固定値の付近のままであるように、空気領域は固定値に合わせて校正11され得る。濃度校正11の後、CTスキャンのノイズ特性が分析され得、ノイズのアーティファクトを抑制する12べく、適応型の局所的な平均化方法が使用され得る。ノイズ抑制12の後、1つのスキャンと次のスキャンとの間でコントラストの詳細を可能な限り一貫させるように13、画像が処理され得る。このことは、例えば、Knappその他2009及びKnappその他の米国特許出願公開第2010/0266189(以後、「Knappその他2010」と称し、Knappその他2010も参照によって本明細書に組み込まれる)において使用される技術と同様の技術を使用することで達成され得る。この技術において、コントラストの詳細を校正するべく、マルチスケール表現でヒストグラムマッチングが使用された。最後に、ボリュームはサイズ変更され得る(例えば、ミリメートル単位で、指定されたサイズに再サンプリングされる)。これは、面内(CT画像内)及び/又は面外(CT画像全体)で実行され得、補間の使用を含み得る。その結果、1つのスキャンから次のスキャンまでのスライスの間隔及び厚さが可能な限り一貫するようになる14。これもやはり、Knappその他2009及び/又はKnappその他2010で説明されている技術を使用し得る。
血管抑制を実行するべく、所与のボリュームについて、小結節などの他の構造を除去しないように注意しつつ、血管が予測で除去されたボリュームを生成することが望ましい場合がある。これは、後の議論で明確にされる、「フォワードシミュレーション、予測による反転」戦略によって達成され得る。
図2は、本開示の態様に係る全体のプロセスの流れの例を示す。プロセスはケース選択、すなわち、通常の(予測される)変動性の代表的な量を取り込む、胸部の一定数のCTボリュームから開始する。取得の変動について正規化され得る、これらの選択された複数のケースを使用することで、標的形成20として図2で示されているモデル構築の目的のために、血管抑制ボリュームが生成され得る。血管抑制ボリュームを作成するのに使用され得る1つの技術において(本発明はそれに限定されない)、最初にCTボリュームの軸方向に沿った、局所的な最小値投影法(min−ip)を計算し得る。min−ip操作は、肺領域内の内容をすべて、又は実質的にすべて抑制することに役立ち得る。min−ipボリュームは、分割された血管マスクのわずかに平滑化されたバージョンを使用するCTボリュームと合成され得る。又は、すべての構造を抑制するべく、既知の小結節位置のマスクを有するCTボリュームと合成され得る。血管及び/又は小結節マスクは、自動化アルゴリズム又は半自動化方法を使用して生成され得るか、手動アウトラインから導き出され得る。これらのマスクは、標的データを作成するオフラインのプロセスのみに使用されるので、それらを作成するのに使用される実際の機構は重要ではないが、しかしながら正確であるほど良い。肺血管と相互作用する小結節の例を十分な数だけ保有するべく、例えばKnappその他2009のような小結節シミュレーションを使用して良い。つまり、合成小結節は、非抑制ボリューム及び/又は血管抑制ボリュームに挿入され得る。その結果は、血管ありのボリューム、及び、欠陥なしのボリュームの組であり得るが、それらは両方とも、未変更の、又は実質的に未変更の小結節である。図3Aは代表的な例からのスライスであるが、図3Bでは、シミュレートされた小結節のみが追加された同じスライスが見られる。図3Cでは、図3Bからのスライスと同じであるが、血管のみが抑制され、小結節は未変更のままであるスライスが見られる。
入力標的ボリュームの組が作成20されたら、特徴生成プロセス21を通過させることで、各画像を処理し得る。このプロセスは、特徴の例のセットが以下のようであり得るボクセルレベルの特徴を抽出するのに使用され得る。・複数のオーダーによるマルチスケールガウス導関数・局所的な最小値及び最大値投影・局所的な最小値及び最大値投影から計算された、及び/又は局所的な最小値及び最大値投影法に基づく面内特徴他の特徴は、位置又は派生的な特徴(形状インデックス、曲率など)自体に基づいて導き出され得るか、パッチ解析又はディープニューラルネットワークなどのモデルベースの手法を使用して学習される。大量のデータがあれば、モデル、又はモデルのセットが生成され得る22。本開示の一態様に係る、多層フィードフォワードニューラルネットワークがこの目的に使用され得る。これらのモデルはその後、Knappその他2013で見られる方法と同様の分割マスク又はオブジェクト指標を使用することなく、抑制データを予測可能であり得る。モデル又はモデルのセットが形成されると、検証データに関するそれらのパフォーマンスが評価される23。これは、モデルの特定のサブセットの選択につながり得る、及び/又は、トレーニングのための追加ケースの選択によって、又は、更なるシミュレートされた小結節の作成によって、トレーニングのプロセスを更にガイドするのに使用され得る。
図4は、本開示の態様に係る、正規化されたCTスキャンから抑制されたスキャンへの高レベルフロー図の例を示す。抽出された特徴40は、モデル生成22で使用されたものと同一であり得る。予測段階41は、出力が統合され得る、例えばニューラルネットワークなどの予測モデルのセットを適用する段階を含み得る。統合は、例えば平均化によって、費用関数を使用することによって実行され、出力の最適な1つ、又は両方を選択し得る(すなわち、平均化するための出力の最適なセットを選択する)。本開示のこの態様において、複数の画像ゾーンについて、複数のモデル出力が得られ得る。複数の画像ゾーンにおいて、各画像ゾーンはその生体構造の位置及び/又はそのピクセル濃度によって識別され得る。コンピュータ支援による検出には不要であり得るが、表示目的のために望ましい場合は、抑制ボリュームがオリジナルの画像データと一致するように、後処理42が正規化処理を調整するのに使用され得る。
図5は、全体的な技術が現実の小結節で動作し得る方法、及び、2つの表現を生成し得る方法の概念的な例を提供する。画像50は、生体構造抑制51を受け、結果、2つの表現52を生じさせ得る。52における上の表現は、小結節のより容易な検出及び分割を可能にし得る抑制ボリュームであり得、52における下の表現は、血管ボリュームであり得るが、これは単にCTデータと抑制データとの間の差であり得る。血管ボリュームは、例えば血管分割又は前のスキャンを用いたレジストレーションに有用であり得る。
図6A−6Cからなる図6は、明らかな血管の重ね合わせを有する、現実のすりガラス小結節の例の拡大図である。図6AはCT画像を示す。図6Bはすりガラス小結節画像の拡大図を示し、図6Cは血管抑制画像を示す。見て分かるように、アルゴリズムは小結節の内容を維持しつつ、血管構造を除去し得る。
本発明の様々な実施形態は、ハードウェア、ソフトウェア、及び/又はファームウェアを含み得る。図7は、本開示の様々な態様に係る、様々な形式、及び/又は、実施形態の一部を実施するのに使用され得る例示的なシステムを示す。そのようなコンピューティングシステムは、1又は複数のシステムメモリ71に接続され得る1又は複数のプロセッサ72を含み得る。そのようなシステムメモリ71は、例えば、RAM、ROM、又は他のそのような機械可読媒体を含み得、システムメモリ71は、例えば、ベーシックI/Oシステム(BIOS)、オペレーティングシステム、プロセッサ72による実行のための命令などを組み込むのに使用され得る。また、システムは、追加のRAM、ROM、ハードディスクドライブ、又は他のプロセッサ可読媒体などの更なるメモリ73を含み得る。また、プロセッサ72は、少なくとも1つのインプット/アウトプット(I/O)インタフェース74と接続され得る。I/Oインタフェース74は、1又は複数のユーザインタフェースに加え、様々な種類の記憶媒体用の読取装置、及び/又は、例えば、ソフトウェアコードが(例えば、ダウンロード又はアップロードによって)得られ得る、又は提供され得る、1又は複数の通信ネットワークへの接続(例えば、通信インタフェース及び/又はモデム)を含み得る。
上記の配置は、本発明の原理に沿った適用を例示するものに過ぎないことが理解されるであろう。本発明の精神及び範囲を逸脱することなく、「使用法及び他の適用及び分野への拡張」の節で説明されているように、多くの修正及び代替的な配置は考案され得る。
詳しく述べると、血管抑制ボリュームの生成は、小結節の検出及び特性評価の他に多くの用途があり得る。これらには以下が含まれる。・肺血栓塞栓症検出などの他のプロセスへの入力として使用できる、より単純で、より堅牢な血管の分割・血管樹の可視化の改善に基づく、血管に取り付けられる生検小結節への血管樹ナビゲーションの改善・血管の肥厚及び/又は収縮につながる血管構造に関連する疾患の検出の改善・スキャンのレジストレーションプロセスへの入力として、血管ボリューム、又は、分割されたマスクを使用し、小結節の成長などの何らかの潜在的な異常変化の評価を実現・抑制ボリュームを使用して肺の最大値投影の生成(小結節がどこにあり得るかについての高レベルの指示を実質的に提供し得る)などの、より情報の多い表示を生成・骨と血管とが両方抑制された二次元再構築
更に、本技術は他の用途/分野に適用され得る。上述の枠組みの多くの拡張は、血管抑制を超え、以下はいくつかの更なる(網羅的であることが意図されない)適用の一覧に過ぎない。・脳動脈瘤を強調するための脳における血管抑制・おそらくレジストレーションの目的で、小結節を強調し、血管構造を分割する能力を改善するためのCT肝臓スキャンにおける血管抑制・小動脈瘤及び他の疾患を強調するための眼底画像における血管抑制・レジストレーション又は他のプロセスで使用する、良性石灰化の検出又は除去のための胸部における血管抑制(それぞれトモシンセシス又はマンモグラムによって獲得されたボリューム又は画像)
本発明は図面に示され、本発明のもっとも実際的かつ望ましい実施形態であると現在見なされているものに関連して、具体的かつ詳細に、上で完全に説明されているが、本明細書で説明される本発明の原理及び概念から逸脱することなく、多くの修正を行えることは、当業者にとって明らかであろう。

Claims (23)

  1. 1又は複数の画像又は画像ボリュームを表すデータから、1又は複数の画像要素を得る方法であって、
    処理済みデータを得るべく前記データを正規化及び前処理する段階と、
    抽出された複数の特徴から構成されるセットを得るべく、前記処理済みデータから複数の特徴を抽出する段階と、
    標的データのセットに基づいて1又は複数の要素を予測するべく、抽出された複数の特徴から構成される前記セットに基づく少なくとも1つのモデルを使用してモデルベース予測を実行する段階と
    を備える、
    方法。
  2. 前記1又は複数の要素が除去された予測出力を得る段階を更に含む、請求項1に記載の方法。
  3. 前記モデルベース予測によって予測される1又は複数の要素を前記データから差し引いて、前記1又は複数の要素が除去されたデータを得る段階を更に備える、請求項1または2に記載の方法。
  4. 前記データがX線写真のCTシリーズを有し、1又は複数の要素が複数の血管要素のみを含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記データがX線写真のCTシリーズを有し、前記1又は複数の要素が複数の小結節構造のみを含む、請求項1から4のいずれか一項に記載の方法。
  6. 前記標的データを生成するべく、複数のオリジナルボリューム、複数の生体構造抑制ボリューム、又はその両方を使用する前に、複数のシミュレートされた小結節、複数の測定された小結節、又はその両方を、前記複数のオリジナルボリューム、複数の生体構造抑制ボリューム、又はその両方に挿入する段階を更に備える、請求項1から5のいずれか一項に記載の方法。
  7. 前記正規化及び前処理が、ノイズ抑制を実行してノイズ抑制データを得る段階と、前記ノイズ抑制データ上でバンドパス分解を実行する段階とを有する、請求項1から6のいずれか一項に記載の方法。
  8. 前記正規化及び前処理が、前記バンドパス分解の少なくとも1つの結果上で、少なくとも1つの操作を実行する段階を更に有し、前記少なくとも1つの操作が、グレースケールのレジストレーション及び強調からなる群から選択される、請求項7に記載の方法。
  9. 前記正規化及び前処理が、データをサイズ調整して標的のサイズ調整済みデータを得る段階を有する、請求項1から8の何れか一項に記載の方法。
  10. 前記複数の特徴を抽出することが、異なる複数のスケールにわたり複数のガウス導関数を得る段階を有する、請求項1から9の何れか一項に記載の方法。
  11. 前記モデルベース予測を実行することが、
    複数の予測モデルを適用して1又は複数のボリュームボクセルに関する複数の抑制された予測を得る段階と、
    前記複数の抑制された予測を統合して統合された見積もりを得る段階と
    を有する、請求項1から10の何れか一項に記載の方法。
  12. 前記複数の抑制された予測を前記統合することが、前記複数の抑制された予測を平均化する段階、又は、指定された費用関数に基づき、最適な抑制された予測を選択する段階のうち、少なくとも1つを有する、請求項11に記載の方法。
  13. 前記モデルベース予測を実行することが、
    複数の画像ゾーンに対応する複数の予測モデルを適用し、前記複数の画像ゾーンのピクセル/ボクセルの複数の予測を得る段階を有し、
    前記複数の画像ゾーンが、生体構造の位置、複数のボクセル濃度値、又はその両方に基づいて定義される、
    請求項1から12の何れか一項に記載の方法。
  14. 前記正規化及び前記前処理を実施することと、前記複数の特徴を抽出することと、前記モデルベース予測を実行することとを実施するべく、複数のソフトウェア命令をダウンロードする段階を更に備える、請求項1から13の何れか一項に記載の方法。
  15. データを正規化及び前処理して、処理済みデータを得る段階と、
    前記処理済みデータから複数の特徴を抽出して、複数の抽出された特徴のセットを得る段階と、
    前記複数の抽出された特徴のセットに基づく少なくとも1つのモデルを使用することでモデルベース予測を実行して、標的データのセットに基づく1又は複数の要素を予測する段階と、
    を有する複数の操作をコンピュータに実施させるよう設計された複数の命令を備えるプログラム。
  16. 前記複数の操作は、1又は複数の要素が除去された予測出力を得る段階を更に有する、請求項15に記載のプログラム。
  17. 前記複数の操作が更に、1又は複数の要素を前記データから差し引き、前記1又は複数の要素が除去されたデータを得る段階を有する、請求項15または16に記載のプログラム。
  18. 前記1又は複数の画像、又は複数の画像ボリュームが、X線写真の画像を有し、前記1又は複数の要素が、そのようなX線写真の画像で通常見られる1又は複数の構造を有する、請求項1から14の何れか一項に記載の方法。
  19. 請求項1に記載の方法によって得られた生体構造抑制ボリュームを使用する段階を備える、代替的な投影を構築する方法。
  20. 前記代替的な投影を表示する段階を更に備える、請求項19に記載の方法。
  21. 異なるボリュームとともに、前記生体構造抑制ボリュームの疾患検出、分割、又はレジストレーションを実行する段階を更に備える、請求項19または20に記載の方法。
  22. 前記代替的な投影を使用することで、前記データを得るのに使用されるモダリティと異なるモダリティからの第2データとともに前記データのレジストレーションを行う段階を更に備える請求項19から21の何れか一項に記載の方法。
  23. 少なくとも1つのプロセッサと、
    請求項15から17の何れか一項に記載のプログラムと、
    を備える装置。
JP2017502765A 2014-03-27 2015-03-24 画像を処理する方法、プログラム、代替的な投影を構築する方法および装置 Active JP6570145B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461971042P 2014-03-27 2014-03-27
US61/971,042 2014-03-27
US14/665,652 US9990743B2 (en) 2014-03-27 2015-03-23 Suppression of vascular structures in images
US14/665,652 2015-03-23
PCT/US2015/022184 WO2015148469A1 (en) 2014-03-27 2015-03-24 Suppression of vascular structures in images

Publications (2)

Publication Number Publication Date
JP2017510406A true JP2017510406A (ja) 2017-04-13
JP6570145B2 JP6570145B2 (ja) 2019-09-04

Family

ID=54191111

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017502765A Active JP6570145B2 (ja) 2014-03-27 2015-03-24 画像を処理する方法、プログラム、代替的な投影を構築する方法および装置

Country Status (5)

Country Link
US (1) US9990743B2 (ja)
EP (1) EP3122425A4 (ja)
JP (1) JP6570145B2 (ja)
CN (1) CN106573150B (ja)
WO (1) WO2015148469A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021019677A (ja) * 2019-07-24 2021-02-18 富士通株式会社 教師画像生成プログラム、教師画像生成方法、および教師画像生成システム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9659390B2 (en) * 2011-10-28 2017-05-23 Carestream Health, Inc. Tomosynthesis reconstruction with rib suppression
US9990743B2 (en) * 2014-03-27 2018-06-05 Riverain Technologies Llc Suppression of vascular structures in images
KR102096410B1 (ko) * 2014-05-02 2020-04-03 삼성전자주식회사 의료 영상 장치 및 그 제어 방법
US10453200B2 (en) * 2016-11-02 2019-10-22 General Electric Company Automated segmentation using deep learned priors
CN109074665B (zh) * 2016-12-02 2022-01-11 阿文特公司 用于经由医学成像系统导航到目标解剖对象的系统和方法
WO2019051271A1 (en) * 2017-09-08 2019-03-14 The General Hospital Corporation SYSTEMS AND METHODS FOR CLASSIFYING CEREBRAL HEMORRHAGE IN MEDICAL IMAGES USING AN ARTIFICIAL INTELLIGENCE NETWORK
NL2021559B1 (en) * 2018-09-04 2020-04-30 Aidence B V Determination of a growth rate of an object in 3D data sets using deep learning
CN109583444B (zh) * 2018-11-22 2021-08-10 博志生物科技有限公司 空洞区域定位方法、装置及计算机可读存储介质
CN114820654A (zh) * 2018-12-28 2022-07-29 上海联影智能医疗科技有限公司 血管分割方法、装置、医疗影像设备及存储介质
CN113100803A (zh) * 2021-04-20 2021-07-13 西门子数字医疗科技(上海)有限公司 用于显示静脉血栓的方法、装置、计算机设备和介质
WO2023183478A1 (en) * 2022-03-23 2023-09-28 University Of Southern California Automated vessel wall segmentation system and method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003225231A (ja) * 2001-11-20 2003-08-12 General Electric Co <Ge> 肺疾患検出のための方法及びシステム
US20090290779A1 (en) * 2008-05-21 2009-11-26 Riverain Medical Group, Llc Feature based neural network regression for feature suppression

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7386155B2 (en) * 2004-11-22 2008-06-10 Carestream Health, Inc. Transforming visual preference terminology for radiographic images
US7783092B2 (en) * 2006-01-17 2010-08-24 Illinois Institute Of Technology Method for enhancing diagnostic images using vessel reconstruction
US20070211930A1 (en) * 2006-03-09 2007-09-13 Terry Dolwick Attribute based image enhancement and display for medical imaging applications
US20090060366A1 (en) * 2007-08-27 2009-03-05 Riverain Medical Group, Llc Object segmentation in images
US20090060332A1 (en) * 2007-08-27 2009-03-05 Riverain Medical Group, Llc Object segmentation using dynamic programming
US9002134B2 (en) * 2009-04-17 2015-04-07 Riverain Medical Group, Llc Multi-scale image normalization and enhancement
US20100266188A1 (en) * 2009-04-17 2010-10-21 Riverain Medical Group, Llc Chest x-ray registration, subtraction and display
EP2443587B1 (en) * 2009-06-19 2014-11-05 Edda Technology, Inc. Systems for computer aided lung nodule detection in chest tomosynthesis imaging
US8774515B2 (en) * 2011-04-20 2014-07-08 Xerox Corporation Learning structured prediction models for interactive image labeling
US9111174B2 (en) * 2012-02-24 2015-08-18 Riverain Technologies, LLC Machine learnng techniques for pectoral muscle equalization and segmentation in digital mammograms
EP2831845B1 (en) * 2012-03-29 2021-05-12 Koninklijke Philips N.V. Visual suppression of selective tissue in image data
CA2884167C (en) 2012-09-13 2020-05-12 The Regents Of The University Of California System and method for automated detection of lung nodules in medical images
US9990743B2 (en) * 2014-03-27 2018-06-05 Riverain Technologies Llc Suppression of vascular structures in images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003225231A (ja) * 2001-11-20 2003-08-12 General Electric Co <Ge> 肺疾患検出のための方法及びシステム
US20090290779A1 (en) * 2008-05-21 2009-11-26 Riverain Medical Group, Llc Feature based neural network regression for feature suppression

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021019677A (ja) * 2019-07-24 2021-02-18 富士通株式会社 教師画像生成プログラム、教師画像生成方法、および教師画像生成システム
JP7275961B2 (ja) 2019-07-24 2023-05-18 富士通株式会社 教師画像生成プログラム、教師画像生成方法、および教師画像生成システム

Also Published As

Publication number Publication date
CN106573150A (zh) 2017-04-19
JP6570145B2 (ja) 2019-09-04
CN106573150B (zh) 2019-11-08
EP3122425A4 (en) 2017-09-13
WO2015148469A1 (en) 2015-10-01
US9990743B2 (en) 2018-06-05
EP3122425A1 (en) 2017-02-01
US20150279034A1 (en) 2015-10-01

Similar Documents

Publication Publication Date Title
JP6570145B2 (ja) 画像を処理する方法、プログラム、代替的な投影を構築する方法および装置
Gul et al. Deep learning techniques for liver and liver tumor segmentation: A review
JP6058093B2 (ja) 医療用画像のコンピュータ支援による解析装置、および、医療用画像解析のためのコンピュータプログラム
US9792703B2 (en) Generating a synthetic two-dimensional mammogram
US20210106299A1 (en) Method and system for extracting lower limb vasculature
Lassen et al. Automatic segmentation of the pulmonary lobes from chest CT scans based on fissures, vessels, and bronchi
EP2916738B1 (en) Lung, lobe, and fissure imaging systems and methods
Shikata et al. Automated segmentation of pulmonary vascular tree from 3D CT images
JP6267710B2 (ja) 医用画像中の肺結節を自動検出するためのシステム及び方法
Gusarev et al. Deep learning models for bone suppression in chest radiographs
CN107527341B (zh) 血管造影图像的处理方法和系统
JP6329697B2 (ja) 体組織の自動的なセグメンテーションおよび定量化のための方法
JP6776283B2 (ja) 血管のセグメンテーションの方法および装置
US9111174B2 (en) Machine learnng techniques for pectoral muscle equalization and segmentation in digital mammograms
Hogeweg et al. Suppression of translucent elongated structures: applications in chest radiography
JP6458166B2 (ja) 医用画像処理方法及び装置及びシステム及びプログラム
Iwao et al. Integrated lung field segmentation of injured region with anatomical structure analysis by failure–recovery algorithm from chest CT images
Zhou et al. A robust approach for automated lung segmentation in thoracic CT
Karthikeyan et al. Lungs segmentation using multi-level thresholding in CT images
Bauer et al. Airway tree reconstruction based on tube detection
Jamil et al. Adaptive thresholding technique for segmentation and juxtapleural nodules inclusion in lung segments
Delmoral et al. Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study
Kawajiri et al. Automated segmentation of hepatic vessels in non-contrast X-ray CT images
Myint et al. Effective kidney segmentation using gradient based approach in abdominal CT images
Habib et al. Automatic segmentation of abdominal aortic aneurysm

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180921

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181219

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190802

R150 Certificate of patent or registration of utility model

Ref document number: 6570145

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250