JP2015513945A - 3dct立体データにおける歯のグラフカットベースのインタラクティブセグメンテーション法 - Google Patents

3dct立体データにおける歯のグラフカットベースのインタラクティブセグメンテーション法 Download PDF

Info

Publication number
JP2015513945A
JP2015513945A JP2015501717A JP2015501717A JP2015513945A JP 2015513945 A JP2015513945 A JP 2015513945A JP 2015501717 A JP2015501717 A JP 2015501717A JP 2015501717 A JP2015501717 A JP 2015501717A JP 2015513945 A JP2015513945 A JP 2015513945A
Authority
JP
Japan
Prior art keywords
graph cut
scribble
bone region
user
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015501717A
Other languages
English (en)
Other versions
JP2015513945A6 (ja
JP5946029B2 (ja
Inventor
スー ワン
スー ワン
シェンヤン ダイ
シェンヤン ダイ
シュン シュー
シュン シュー
章 中村
章 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2015513945A publication Critical patent/JP2015513945A/ja
Publication of JP2015513945A6 publication Critical patent/JP2015513945A6/ja
Application granted granted Critical
Publication of JP5946029B2 publication Critical patent/JP5946029B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/162Segmentation; Edge detection involving graph-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • G06T2207/20041Distance transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20096Interactive definition of curve of interest
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

3D歯CT立体データにおけるインタラクティブセグメンテーションフレームワークにより、ユーザは、ユーザ入力のタイプに応じて歯科領域全体又は個々の歯をセグメント化することが可能となる。グラフカットベースのインタラクティブセグメンテーションは、ユーザのスクリブルを利用し、該スクリブルは、複数の2D代表的CTスライス上に収集されて、CTスライス上で拡張される。次いで、拡張スクリブルに基づいて、CT体積全体に3D距離変換が適用される。3D CT raw画像データをグラフカットパイプラインに送り込む前に、骨組織増強が付加される。セグメント化された歯区域は、3D仮想歯モデルを再構成するために直接利用することができる。

Description

本発明は、画像処理の分野に関する。より具体的には、本発明は、インタラクティブセグメンテーションに関する。
最新の歯科医学では、術前計画及びナビゲーション、機械化された歯科インプラント、術後評価、並びに美容整形などのコンピュータ援用手技において歯の3D形状及び歯根の位置が極めて重量となっている。
歯セグメンテーションについての既存の文献は、ほとんどが、従来及び/又はパノラマX線イメージングのデータフォーマットに限定されている。この10年で、CTは、歯科術前及び術中計画のための臨床データセットを提供する最もよく使用されるイメージング診断法となった。
一般的なインタラクティブセグメンテーションのフレームワークは、ユーザが特定のハード制約を課して、画像ドメイン内の範囲で画像前景及び背景それぞれの完全に一部であるよう特定ピクセルをマークできるようにする、使いやすいユーザインタフェースを含む。マークしたピクセルの総数は、場合によっては数百を超えない程度に極めて制限されるが、これらは、グラフカットセグメンテーションアルゴリズムにより利用できるインタラクティブな手掛かりである。ユーザに対して即時的結果を提示することにより、修正を行う必要がある場合には、2回目の対話が再度与えられることになる。この対話手技は、ユーザが満足するまで繰り返される。図1は、この手技を例示している。
ユーザとの対話に関して、前景及び背景をマークするための緩い入力が求められている。ブラシによって得られるストロークのような緩く位置決めされるマーキングラインの方が、精密な境界定義よりも好ましい。例示的な事例を図2に示しており、ここでは赤(200)及び青(202)のストロークがそれぞれ前景及び背景を示している。
3D CT立体画像は、著しい部分体積効果(PVE)を生じやすく、これは、CTイメージングデバイスの空間分解能が限定されること、及び組織界面の複雑な形状に起因した高頻度で起こる現象である。結果として、組織界面付近でのこれらボクセルのCT強度は、実際には1つよりも多い組織タイプの混合であり、コンピュータCTセグメンテーションアルゴリズムを開発する上での追加の課題となる。
3D歯CTデータセットは、PVEの他にその固有の特性を有する。第一に、歯は骨組織であるが、歯科CT領域内には骨組織以外に他も存在する。骨組織を囲む他のものは、上顎及び下顎を含む。第二に、歯区域のCT強度は、上部の歯冠から下部の歯根まで大きく異なる。最後に、歯の高密度の空間的配置に起因して、1つの歯は、上部の歯冠においてその隣接する歯と連結されている。
3D歯CT立体データにおけるインタラクティブセグメンテーションフレームワークにより、ユーザは、ユーザ入力のタイプに応じて歯科領域全体又は個々の歯をセグメント化することが可能となる。グラフカットベースのインタラクティブセグメンテーションは、ユーザのスクリブルを利用し、該スクリブルは、複数の2D代表的CTスライス上に収集されて、CTスライス上で拡張される。次いで、拡張スクリブルに基づいて、CT体積全体に3D距離変換が適用される。3D CT raw画像データをグラフカットパイプラインに送り込む前に、骨組織増強が付加される。セグメント化された歯区域は、3D仮想歯モデルを再構成するために直接利用することができる。
1つの態様において、デバイスのメモリ内にプログラムされる画像処理方法は、ユーザからの入力を受け取るステップと、2Dスクリブル拡張を実施するステップと、2Dスクリブル拡張からの結果に3D距離変換を適用するステップと、3D距離変換を用いてグラフカットを実行するステップと、を含む。入力は、ユーザによる前景及び背景のマーキングを含む。本方法は更に、ユーザが前記画像処理の結果に満足するまで各ステップを繰り返すことを含む。本方法は更に、骨領域を増強し、該増強した骨領域をグラフカットのために使用するステップを含む。骨領域を増強することが、3D CT部分体積ボクセル非ミキシングを実施して骨領域ミックスパーセンテージマップを生成すること、及び、オリジナルの3D CT画像を骨領域ミックスパーセンテージマップとピクセル毎に乗算して、グラフカットと共に使用するために骨組織増強3D CT画像及びエッジタームを生成すること、を含む。3D距離変換を適用することが、拡張前景スクリブル及びオリジナル背景スクリブルの使用を含む3D距離変換をCT体積データに対して実施して、データタームを生成することを含む。グラフカットの実行は、データターム及びエッジタームを利用する。画像処理は、歯の3D CT画像に対して行う。本方法は更に、3D仮想歯モデルを構築するステップを含む。デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ/モバイルフォン、スマート家電、ゲーム機、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯、タブレットコンピュータ、ポータブル音楽プレーヤ、ビデオプレーヤ、DVDライター/プレーヤ、高精細ビデオライター/プレーヤ、テレビ、歯科デバイス、及び家庭用娯楽機器システムを含む。
他の態様において、デバイスのメモリ内にプログラムされる画像処理方法は、画像の前景及び背景を示す入力をユーザからの受け取るステップと、2Dスクリブルが位置する場所で2D CTスライスのセグメンテーションを実施することを含む、2Dスクリブル拡張を実施するステップと、拡張前景スクリブル及びオリジナル背景スクリブルの使用を含む3D距離変換をCT体積データに対して実施してデータタームを生成することを含む、3D距離変換を適用するステップと、画像の骨領域を増強するステップと、データターム及びエッジタームを入力として用いてグラフカットを実行するステップと、を含む。本方法は更に、ユーザが画像処理の結果に満足するまで、各ステップを繰り返すことを含む。骨領域を増強することが、3D CT部分体積ボクセル非ミキシングを実施して骨領域ミックスパーセンテージマップを生成すること、及び、オリジナルの3D CT画像を骨領域ミックスパーセンテージマップとピクセル毎に乗算して、グラフカットと共に使用するために骨組織増強3D CT画像及びエッジタームを生成すること、を含む。画像処理は、歯の3D CT画像に対して行う。本方法は更に、3D仮想歯モデルを構築するステップを含む。デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ/モバイルフォン、スマート家電、ゲーム機、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯、タブレットコンピュータ、ポータブル音楽プレーヤ、ビデオプレーヤ、DVDライター/プレーヤ、高精細ビデオライター/プレーヤ、テレビ、歯科デバイス、及び家庭用娯楽機器システムを含む。
別の態様において、デバイスは、ユーザからの入力を受け取るステップと、(ii)2Dスクリブル拡張を実施するステップと、(iii)2Dスクリブル拡張からの結果に3D距離変換を適用するステップと、(iv)3D距離変換を用いてグラフカットを実行するステップと、を含むアプリケーションを保存するためのメモリと、メモリに結合され、アプリケーションを処理するよう構成された処理構成要素と、を備える。入力は、ユーザによる前景及び背景のマーキングを含む。本方法は更に、ユーザが画像処理の結果に満足するまで、各ステップを繰り返すことを含む。アプリケーションは更に、骨領域を増強するステップを含む。骨領域を増強することは、3D CT部分体積ボクセル非ミキシングを実施して骨領域ミックスパーセンテージマップを生成すること、及び、オリジナルの3D CT画像を骨領域ミックスパーセンテージマップとピクセル毎に乗算して、グラフカットと共に使用するために骨組織増強3D CT画像及びエッジタームを生成すること、を含む。3D距離変換を適用することが、拡張前景スクリブル及びオリジナル背景スクリブルの使用を含む3D距離変換をCT体積データに対して実施して、データタームを生成することを含む。グラフカットの実行は、データターム及びエッジタームを利用する。画像処理は、歯の3D CT画像に対して行う。アプリケーションは更に、3D仮想歯モデルを構築するステップを含む。
一部の実施形態による、インタラクティブセグメンテーションフレームワークを示す図である。 一部の実施形態による、前景及び背景を示す緩やかに位置付けられたマーキングの一例を示す図である。 一部の実施形態による、インタラクティブセグメンテーションフレームワークを示す図である。 一部の実施形態による、代表的な2D CTスライス上での前景スクリブル拡張の概略図である。 一部の実施形態による、3D距離変換を実施する方法のフローチャートを示す図である。 一部の実施形態による、骨領域増強方法のフローチャートを示す図である。 一部の実施形態による、空間制約を有するグラフカットベースのインタラクティブセグメンテーションのために構成された例示的なコンピュータデバイスのブロック図である。
本明細書において、3D歯コンピュータ断層撮影(CT)立体データにおけるインタラクティブセグメンテーションフレームワークが記載される。ユーザの指図の下で、フレームワークは、ユーザ入力のタイプに応じて歯科領域全体又は個々の歯の何れかをセグメント化することができる。セグメント化された歯区域は、3D仮想歯モデルを再構成するのに直接利用することができる。
3D歯CT立体画像は、高機能機械学習アルゴリズムによって認識できる意味のあるテクスチャ又はカラーパターンを表示しない。従って、歯CT画像に関連付けられるCT強度は、セグメンテーションアルゴリズムを開発するために極めて重要な要素である。
CT強度以外には、歯の3Dジオメトリもまた、セグメンテーションアルゴリズムを開発する上で有益な情報を提供する。しかしながら、全ての単一歯が想定された歯テンプレートに適合できるとは限らず、美容整形を必要とする損傷した又は不規則な形状の歯では特に当てはまる。その上、歯は通常、上部の歯冠部において互いに接触しており、これらは厳密に同じCT強度範囲を共有している。個々の歯を周囲の歯領域から離してセグメント化するために、セグメンテーションアルゴリズムを開発するための制約が課せられる。
図1と比べて、図3には2つの大きな差異が示されている。
前景/背景シードをグラフカットセグメンテーションパイプラインに直接送り込む前に、複数の2D代表的CTスライス上に収集されたユーザのスクリブルがこれらCTスライス上で拡張される。3D CT raw画像データをグラフカットパイプラインに送り込む前に、「骨組織増強」と呼ばれる別のモジュールが付加される。
図3は、一部の実施形態による、インタラクティブセグメンテーションの方法のフローチャートを示している。図3において、3D CT画像300が保存される。ステップ302において、ユーザは、前景と背景を異なる色でマーキングするなどにより、画像と対話する。ステップ304において、2Dスクリブル拡張が実施され、ここで、複数の2D代表的CTスライス上に収集されたユーザのスクリブルは、これらCTスライス上で拡張される。ステップ306において、3D距離変換が適用され、その結果をグラフカットに使用する。ステップ308において、骨領域増強が実施され、その結果をグラフカットに使用する。ステップ310において、グラフカットが実行される。ステップ312において、即時的結果が生成される。ステップ314において、ユーザがステップ312において生成された結果に満足しているかどうかを判定する。ユーザが満足していない場合、プロセスはステップ302に戻る。ユーザが満足した場合、ステップ316において最終結果が生成される。一部の実施形態において、より少ない又は追加のステップが実施される。一部の実施形態において、ステップの順序が変更される。
(代表的2D CTスライス上の拡張前景スクリブル)
一般的なグラフカットベースのインタラクティブセグメンテーションフレームワークは、図2のスクリブルのような緩い入力をもたらすようユーザを促す。通常は、前景及び背景スクリブルは、関連のコスト関数微分及び以下の最適化を可能にするよう十分に表している。3D歯CT立体データにおいて、疎に配置された前景スクリブルは、スクリブルが集められた2D CTスライス上で簡単なセグメンテーションを実施することにより拡張される。図4は、代表的2D CTスライス上での前景スクリブル拡張の図を示している。
(グラフカット用のデータタームを定めるための拡張スクリブルに基づいた3D距離変換の適用)
図3に示したように、前景及び背景両方のユーザのスクリブルを得た後、3D距離変換が適用されて、グラフカット用のデータタームを定める。詳細図を図5に記載する。拡張前景スクリブルとオリジナル背景スクリブルが入力され、CT体積データ全体に3D距離変換が実施される。この結果は、前景に対するデータターム及び背景に対するデータタームを含む。
前景及び背景スクリブルが与えられると、3D距離変換により、前景及び背景スクリブルそれぞれに対する各ピクセルからの最短距離を表す2つの距離マップが計算され、それぞれDF及びDBで示される。fast marching methodなどのジオメトリ保存技法を含む、3D距離変換を行うための多くのアルゴリズムが存在する。
(グラフカット用のエッジタームを定めるためにPVEを抑制した増強骨領域)
図3に示すように、グラフカット用のエッジタームを定めるためにrawCT強度を直接利用するのではなく、増強骨領域を用いてPVEを抑制し、得られたエッジタームが歯境界を位置特定するのにより精密になるようにする。図6は、一部の実施形態による、骨領域を増強する方法のフローチャートを示す。ステップ600において、3D CT部分体積ボクセル非ミキシングが3D CT画像に適用される。ステップ602において、骨領域ミックスパーセンテージマップ[0,1]が3D CT画像とピクセル毎に乗算され、骨領域増強3D CT画像を生成して、グラフカットのエッジタームに使用される。
図7は、一部の実施形態による、グラフカットベースのインタラクティブセグメンテーションを実施するよう構成された例示的なコンピュータデバイス700のブロック図を示している。コンピュータデバイス700は、画像などの情報を収集、保存、計算、処理、通信、及び/又は表示するのに用いることができる。例えば、コンピュータデバイス700は、画像を収集し保存するのに用いることができる。グラフカットベースのインタラクティブセグメンテーションは通常、画像の収集中又は収集後に用いられる。一般に、コンピュータデバイス700を実施するのに好適なハードウェア構造は、ネットワークインタフェース702、メモリ704、プロセッサ706、I/Oデバイス708、バス710、及びストレージデバイス712を含む。プロセッサの選択は、十分な処理速度を有する好適なプロセッサが選ばれる限り重要ではない。メモリ704は、当該技術分野で公知のあらゆる従来のコンピュータメモリとすることができる。ストレージデバイス712は、ハードドライブ、CD−ROM、CD−RW、DVD、DVD−RW、Blu−Ray(登録商標)、フラッシュメモリカード、又は他の何れかのストレージデバイスを含むことができる。コンピュータデバイス700は、1又はそれ以上のネットワークインタフェース702を含むことができる。ネットワークインタフェースの一例は、Ethernet又は他のタイプのLANに接続されたネットワークカードを含む。I/Oデバイス708は、キーボード、マウス、モニタ、ディスプレイ、プリンタ、モデム、タッチスクリーン、ボタンインタフェース、及び他のデバイスのうちの1又はそれ以上を含むことができる。一部の実施形態において、ハードウェア構造は、並行処理を実施するために複数のプロセッサ及び他のハードウェアを含む。グラフカットベースのインタラクティブセグメンテーションを実施するのに使用されるグラフカットベースのインタラクティブセグメンテーションアプリケーション730は、ストレージデバイス712及びメモリ704内に保存され、アプリケーションが通常処理されるように処理が行われる可能性が高い。図7に示す構成要素よりもより多い又はより少ない構成要素をコンピュータデバイス700に含めることができる。一部の実施形態において、グラフカットベースのインタラクティブセグメンテーションハードウェア720が含まれる。図7のコンピュータデバイス700は、グラフカットベースのインタラクティブセグメンテーションを実施するためのアプリケーション730及びハードウェア720を含むが、グラフカットベースのインタラクティブセグメンテーションは、コンピュータデバイス上でハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせにおいて実装することができる。例えば、一部の実施形態において、グラフカットベースのインタラクティブセグメンテーションアプリケーション730は、メモリ内にプログラムされ、プロセッサを用いて実行される。別の実施例では、一部の実施形態において、グラフカットベースのインタラクティブセグメンテーションハードウェア720は、本方法を実施するよう特別に設計されたゲートを含むプログラムドハードウェアロジックである。
一部の実施形態において、グラフカットベースのインタラクティブセグメンテーションアプリケーション730は、複数のアプリケーション及び/又はモジュールを含む。一部の実施形態において、モジュールは、1又はそれ以上のサブモジュールも含む。
好適なコンピュータデバイスの実施例は、歯科デバイス、顕微鏡、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ/モバイルフォン、スマート家電、ゲーム機、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯、iPod(登録商標)/iPhone/iPad、ビデオプレーヤ、DVDライター/プレーヤ、Blu−ray(登録商標)ライター/プレーヤ、テレビ、家庭用娯楽機器システム、又は他の何れかの好適なコンピュータデバイスを含む。
グラフカットベースのインタラクティブセグメンテーションを利用するため、コンピュータなどのデバイスを用いて画像を分析することができる。グラフカットベースのインタラクティブセグメンテーションは、画像/ビデオ処理を実施するために自動的に使用される。グラフカットベースのインタラクティブセグメンテーションは、ユーザが関与することなく自動的に実施することができる。
作動時には、グラフカットベースのインタラクティブセグメンテーションは、過去のセグメンテーション方式の多くの問題を克服する。セグメント化された歯区域を直接利用して、3D仮想歯モデルを再構成することができる。
3D CT立体データにおける歯のグラフカットベースのインタラクティブセグメンテーション法
1. デバイスのメモリ内にプログラムされる画像処理方法であって、
(a)ユーザからの入力を受け取るステップと、
(b)2Dスクリブル拡張を実施するステップと、
(c)上記2Dスクリブル拡張からの結果に3D距離変換を適用するステップと、
(d)上記3D距離変換を用いてグラフカットを実行するステップと、
を含む、方法。
2. 上記入力が、ユーザによる前景及び背景のマーキングを含む、条項1に記載の方法。
3. ユーザが上記画像処理の結果に満足するまで、上記(a)〜(d)のステップを繰り返すことを更に含む、条項1に記載の方法。
4. 骨領域を増強し、該増強した骨領域をグラフカットのために使用するステップを更に含む、条項1に記載の方法。
5. 上記骨領域を増強することが、
3D CT部分体積ボクセル非ミキシングを実施して骨領域ミックスパーセンテージマップを生成すること、及び、
オリジナルの3D CT画像を上記骨領域ミックスパーセンテージマップとピクセル毎に乗算して、グラフカットと共に使用するために骨組織増強3D CT画像及びエッジタームを生成すること、
を含む、条項4に記載の方法。
6. 上記3D距離変換を適用することが、拡張前景スクリブル及びオリジナル背景スクリブルの使用を含む3D距離変換をCT体積データに対して実施して、データタームを生成することを含む、条項1に記載の方法。
7. 上記グラフカットの実行は、データターム及びエッジタームを利用する、条項1に記載の方法。
8. 上記画像処理は、歯の3D CT画像に対して行う、条項1に記載の方法。
9. 3D仮想歯モデルを構築するステップを更に含む、条項1に記載の方法。
10. 上記デバイスが、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ/モバイルフォン、スマート家電、ゲーム機、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯、タブレットコンピュータ、ポータブル音楽プレーヤ、ビデオプレーヤ、DVDライター/プレーヤ、高精細ビデオライター/プレーヤ、テレビ、歯科デバイス、及び家庭用娯楽機器システムを含む、条項1に記載の方法。
11. デバイスのメモリ内にプログラムされる画像処理方法であって、
(a)画像の前景及び背景を示す入力をユーザからの受け取るステップと、
(b)2Dスクリブルが位置する場所で2D CTスライスのセグメンテーションを実施することを含む、2Dスクリブル拡張を実施するステップと、
(c)拡張前景スクリブル及びオリジナル背景スクリブルの使用を含む3D距離変換をCT体積データに対して実施してデータタームを生成することを含む、3D距離変換を適用するステップと、
(d)上記画像の骨領域を増強するステップと、
(e)データターム及びエッジタームを入力として用いてグラフカットを実行するステップと、
を含む、方法。
12. ユーザが上記画像処理の結果に満足するまで、上記(a)〜(d)のステップを繰り返すことを更に含む、条項11に記載の方法。
13. 上記骨領域を増強することが、
3D CT部分体積ボクセル非ミキシングを実施して骨領域ミックスパーセンテージマップを生成すること、及び、
オリジナルの3D CT画像を上記骨領域ミックスパーセンテージマップとピクセル毎に乗算して、グラフカットと共に使用するために骨組織増強3D CT画像及びエッジタームを生成すること、
を含む、条項11に記載の方法。
14. 上記画像処理は、歯の3D CT画像に対して行う、条項11に記載の方法。
15. 3D仮想歯モデルを構築するステップを更に含む、条項11に記載の方法。
16. 上記デバイスが、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ/モバイルフォン、スマート家電、ゲーム機、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯、タブレットコンピュータ、ポータブル音楽プレーヤ、ビデオプレーヤ、DVDライター/プレーヤ、高精細ビデオライター/プレーヤ、テレビ、歯科デバイス、及び家庭用娯楽機器システムを含む、条項11に記載の方法。
17. (i)ユーザからの入力を受け取るステップと、
(ii)2Dスクリブル拡張を実施するステップと、
(iii)上記2Dスクリブル拡張からの結果に3D距離変換を適用するステップと、
(iv)上記3D距離変換を用いてグラフカットを実行するステップと、
を含む、アプリケーションを保存するためのメモリと、
上記メモリに結合され、上記アプリケーションを処理するよう構成された処理構成要素と、
を備えたデバイス。
18. 上記入力が、ユーザによる前景及び背景のマーキングを含む、条項17に記載のデバイス。
19. 上記アプリケーションが、ユーザが上記画像処理の結果に満足するまで、上記(i)〜(iv)のステップを繰り返すことを更に含む、条項17に記載のデバイス。
20. 上記アプリケーションが、骨領域を増強するステップを更に含む、条項17に記載のデバイス。
21. 上記骨領域を増強することが、
3D CT部分体積ボクセル非ミキシングを実施して骨領域ミックスパーセンテージマップを生成すること、及び、
オリジナルの3D CT画像を上記骨領域ミックスパーセンテージマップとピクセル毎に乗算して、グラフカットと共に使用するために骨組織増強3D CT画像及びエッジタームを生成すること、
を含む、条項20に記載のデバイス。
22. 上記3D距離変換を適用することが、拡張前景スクリブル及びオリジナル背景スクリブルの使用を含む3D距離変換をCT体積データに対して実施して、データタームを生成することを含む、条項17に記載のデバイス。
23. 上記グラフカットの実行は、データターム及びエッジタームを利用する、条項17に記載のデバイス。
24. 上記画像処理は、歯の3D CT画像に対して行う、条項17に記載のデバイス。
25. 上記アプリケーションが、3D仮想歯モデルを構築するステップを更に含む、条項17に記載のデバイス。
本発明は、本発明の構成及び動作の原理の理解を容易にするための詳細内容を包含する特定の実施形態に関連して説明される。本明細書における特定の実施形態及びその詳細内容への言及は、請求項の範囲を限定するものではない。当業者であれば、請求項によって定義される本発明の精神及び範囲から逸脱することなく、例証のために選択された実施形態に他の様々な修正を行い得ることは容易に理解されるであろう。
300 3D CT画像
302 ユーザと対話
304 2Dスクリブル拡張
306 3D距離変換
308 骨領域増強
310 グラフカット
312 即時的結果
314 満足したか?
316 最終結果

Claims (25)

  1. デバイスのメモリ内にプログラムされる画像処理方法であって、
    (a)ユーザからの入力を受け取るステップと、
    (b)2Dスクリブル拡張を実施するステップと、
    (c)前記2Dスクリブル拡張からの結果に3D距離変換を適用するステップと、
    (d)前記3D距離変換を用いてグラフカットを実行するステップと、
    を含む、方法。
  2. 前記入力が、ユーザによる前景及び背景のマーキングを含む、請求項1に記載の方法。
  3. ユーザが前記画像処理の結果に満足するまで、前記(a)〜(d)のステップを繰り返すことを更に含む、請求項1に記載の方法。
  4. 骨領域を増強し、該増強した骨領域をグラフカットのために使用するステップを更に含む、請求項1に記載の方法。
  5. 前記骨領域を増強することが、
    3D CT部分体積ボクセル非ミキシングを実施して骨領域ミックスパーセンテージマップを生成すること、及び、
    オリジナルの3D CT画像を前記骨領域ミックスパーセンテージマップとピクセル毎に乗算して、グラフカットと共に使用するために骨組織増強3D CT画像及びエッジタームを生成すること、
    を含む、請求項4に記載の方法。
  6. 前記3D距離変換を適用することが、拡張前景スクリブル及びオリジナル背景スクリブルの使用を含む3D距離変換をCT体積データに対して実施して、データタームを生成することを含む、請求項1に記載の方法。
  7. 前記グラフカットの実行は、データターム及びエッジタームを利用する、請求項1に記載の方法。
  8. 前記画像処理は、歯の3D CT画像に対して行う、請求項1に記載の方法。
  9. 3D仮想歯モデルを構築するステップを更に含む、請求項1に記載の方法。
  10. 前記デバイスが、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ/モバイルフォン、スマート家電、ゲーム機、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯、タブレットコンピュータ、ポータブル音楽プレーヤ、ビデオプレーヤ、DVDライター/プレーヤ、高精細ビデオライター/プレーヤ、テレビ、歯科デバイス、及び家庭用娯楽機器システムを含む、請求項1に記載の方法。
  11. デバイスのメモリ内にプログラムされる画像処理方法であって、
    (a)画像の前景及び背景を示す入力をユーザからの受け取るステップと、
    (b)2Dスクリブルが位置する場所で2D CTスライスのセグメンテーションを実施することを含む、2Dスクリブル拡張を実施するステップと、
    (c)拡張前景スクリブル及びオリジナル背景スクリブルの使用を含む3D距離変換をCT体積データに対して実施してデータタームを生成することを含む、3D距離変換を適用するステップと、
    (d)前記画像の骨領域を増強するステップと、
    (e)データターム及びエッジタームを入力として用いてグラフカットを実行するステップと、
    を含む、方法。
  12. ユーザが前記画像処理の結果に満足するまで、前記(a)〜(d)のステップを繰り返すことを更に含む、請求項11に記載の方法。
  13. 前記骨領域を増強することが、
    3D CT部分体積ボクセル非ミキシングを実施して骨領域ミックスパーセンテージマップを生成すること、及び、
    オリジナルの3D CT画像を前記骨領域ミックスパーセンテージマップとピクセル毎に乗算して、グラフカットと共に使用するために骨組織増強3D CT画像及びエッジタームを生成すること、
    を含む、請求項11に記載の方法。
  14. 前記画像処理は、歯の3D CT画像に対して行う、請求項11に記載の方法。
  15. 3D仮想歯モデルを構築するステップを更に含む、請求項11に記載の方法。
  16. 前記デバイスが、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ/モバイルフォン、スマート家電、ゲーム機、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯、タブレットコンピュータ、ポータブル音楽プレーヤ、ビデオプレーヤ、DVDライター/プレーヤ、高精細ビデオライター/プレーヤ、テレビ、歯科デバイス、及び家庭用娯楽機器システムを含む、請求項11に記載の方法。
  17. (i)ユーザからの入力を受け取るステップと、
    (ii)2Dスクリブル拡張を実施するステップと、
    (iii)前記2Dスクリブル拡張からの結果に3D距離変換を適用するステップと、
    (iv)前記3D距離変換を用いてグラフカットを実行するステップと、
    を含む、アプリケーションを保存するためのメモリと、
    前記メモリに結合され、前記アプリケーションを処理するよう構成された処理構成要素と、
    を備えたデバイス。
  18. 前記入力が、ユーザによる前景及び背景のマーキングを含む、請求項17に記載のデバイス。
  19. 前記アプリケーションが、ユーザが前記画像処理の結果に満足するまで、前記(i)〜(iv)のステップを繰り返すことを更に含む、請求項17に記載のデバイス。
  20. 前記アプリケーションが、骨領域を増強するステップを更に含む、請求項17に記載のデバイス。
  21. 前記骨領域を増強することが、
    3D CT部分体積ボクセル非ミキシングを実施して骨領域ミックスパーセンテージマップを生成すること、及び、
    オリジナルの3D CT画像を前記骨領域ミックスパーセンテージマップとピクセル毎に乗算して、グラフカットと共に使用するために骨組織増強3D CT画像及びエッジタームを生成すること、
    を含む、請求項20に記載のデバイス。
  22. 前記3D距離変換を適用することが、拡張前景スクリブル及びオリジナル背景スクリブルの使用を含む3D距離変換をCT体積データに対して実施して、データタームを生成することを含む、請求項17に記載のデバイス。
  23. 前記グラフカットの実行は、データターム及びエッジタームを利用する、請求項17に記載のデバイス。
  24. 前記画像処理は、歯の3D CT画像に対して行う、請求項17に記載のデバイス。
  25. 前記アプリケーションが、3D仮想歯モデルを構築するステップを更に含む、請求項17に記載のデバイス。
JP2015501717A 2012-03-17 2013-03-10 3d ct立体データにおける歯のグラフカットベースのインタラクティブセグメンテーション法 Active JP5946029B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/423,211 2012-03-17
US13/423,211 US8605973B2 (en) 2012-03-17 2012-03-17 Graph cuts-based interactive segmentation of teeth in 3-D CT volumetric data
PCT/US2013/030090 WO2013142107A1 (en) 2012-03-17 2013-03-10 Graph cuts-based interactive segmentation of teeth in 3-d ct volumetric data

Publications (3)

Publication Number Publication Date
JP2015513945A true JP2015513945A (ja) 2015-05-18
JP2015513945A6 JP2015513945A6 (ja) 2016-02-25
JP5946029B2 JP5946029B2 (ja) 2016-07-05

Family

ID=49157702

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015501717A Active JP5946029B2 (ja) 2012-03-17 2013-03-10 3d ct立体データにおける歯のグラフカットベースのインタラクティブセグメンテーション法

Country Status (4)

Country Link
US (1) US8605973B2 (ja)
EP (1) EP2810217B1 (ja)
JP (1) JP5946029B2 (ja)
WO (1) WO2013142107A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019115545A (ja) * 2017-12-27 2019-07-18 株式会社吉田製作所 画像処理装置および画像処理プログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8842904B2 (en) 2011-07-21 2014-09-23 Carestream Health, Inc. Method for tooth dissection in CBCT volume
US8849016B2 (en) 2011-07-21 2014-09-30 Carestream Health, Inc. Panoramic image generation from CBCT dental images
US9129363B2 (en) 2011-07-21 2015-09-08 Carestream Health, Inc. Method for teeth segmentation and alignment detection in CBCT volume
US8929635B2 (en) * 2011-07-21 2015-01-06 Carestream Health, Inc. Method and system for tooth segmentation in dental images
WO2015082340A1 (en) * 2013-12-04 2015-06-11 Koninklijke Philips N.V. Fluorescence image processing apparatus and method
WO2016197370A1 (zh) * 2015-06-11 2016-12-15 深圳先进技术研究院 牙齿和牙槽骨的分割与重构方法及装置
US10339649B2 (en) * 2015-09-11 2019-07-02 Carestream Dental Technology Topco Limited Method and system for hybrid mesh segmentation
CN107146232B (zh) * 2017-05-11 2020-05-05 重庆市劢齐医疗科技有限责任公司 口腔cbct图像与激光扫描牙齿网格的数据融合方法
CA3100495A1 (en) 2018-05-16 2019-11-21 Benevis Informatics, Llc Systems and methods for review of computer-aided detection of pathology in images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6324478A (ja) * 1986-04-14 1988-02-01 ピクサ− 三次元デ−タセツトを表す二次元デ−タ表示を発生する方法
US20080030497A1 (en) * 2005-12-08 2008-02-07 Yangqiu Hu Three dimensional modeling of objects
JP2009545052A (ja) * 2006-07-25 2009-12-17 ヒューマンアイズ テクノロジーズ リミテッド 単一スクリブルによる画像の対話型セグメンテーション
JP2010066802A (ja) * 2008-09-08 2010-03-25 Sony Corp 画像処理装置および方法、並びにプログラム
JP2011036597A (ja) * 2009-08-18 2011-02-24 Lexi:Kk 歯科インプラント手術後の骨吸収量計測プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7574024B2 (en) * 2000-10-02 2009-08-11 The Research Foundation Of State University Of New York Centerline and tree branch skeleton determination for virtual objects
AU2003230146A1 (en) * 2002-05-22 2003-12-02 Koninklijke Philips Electronics N.V. Medical viewing system and image processing for integrated visualisation of medical data
US7739623B2 (en) * 2004-04-15 2010-06-15 Edda Technology, Inc. Interactive 3D data editing via 2D graphical drawing tools
GB2414357A (en) * 2004-05-18 2005-11-23 Medicsight Plc Nodule boundary detection
US8411952B2 (en) * 2007-04-04 2013-04-02 Siemens Aktiengesellschaft Method for segmenting an image using constrained graph partitioning of watershed adjacency graphs
US8155405B2 (en) * 2007-04-20 2012-04-10 Siemens Aktiengsellschaft System and method for lesion segmentation in whole body magnetic resonance images
CN101849240A (zh) * 2007-05-21 2010-09-29 康奈尔大学 图像物体分割方法
EP2199981A1 (en) * 2008-12-09 2010-06-23 Koninklijke Philips Electronics N.V. Image segmentation
US9099015B2 (en) * 2009-05-12 2015-08-04 Edda Technology, Inc. System, method, apparatus, and computer program for interactive pre-operative assessment involving safety margins and cutting planes in rendered 3D space
US8358823B2 (en) * 2011-03-30 2013-01-22 Mitsubishi Electric Research Laboratories, Inc. Method for tracking tumors in bi-plane images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6324478A (ja) * 1986-04-14 1988-02-01 ピクサ− 三次元デ−タセツトを表す二次元デ−タ表示を発生する方法
US20080030497A1 (en) * 2005-12-08 2008-02-07 Yangqiu Hu Three dimensional modeling of objects
JP2009545052A (ja) * 2006-07-25 2009-12-17 ヒューマンアイズ テクノロジーズ リミテッド 単一スクリブルによる画像の対話型セグメンテーション
JP2010066802A (ja) * 2008-09-08 2010-03-25 Sony Corp 画像処理装置および方法、並びにプログラム
JP2011036597A (ja) * 2009-08-18 2011-02-24 Lexi:Kk 歯科インプラント手術後の骨吸収量計測プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019115545A (ja) * 2017-12-27 2019-07-18 株式会社吉田製作所 画像処理装置および画像処理プログラム
JP7152738B2 (ja) 2017-12-27 2022-10-13 株式会社吉田製作所 画像処理装置および画像処理プログラム

Also Published As

Publication number Publication date
EP2810217B1 (en) 2020-10-28
WO2013142107A1 (en) 2013-09-26
EP2810217A4 (en) 2015-10-21
EP2810217A1 (en) 2014-12-10
JP5946029B2 (ja) 2016-07-05
US20130243289A1 (en) 2013-09-19
US8605973B2 (en) 2013-12-10

Similar Documents

Publication Publication Date Title
JP5946029B2 (ja) 3d ct立体データにおける歯のグラフカットベースのインタラクティブセグメンテーション法
JP2015513945A6 (ja) 3d ct立体データにおける歯のグラフカットベースのインタラクティブセグメンテーション法
US10692272B2 (en) System and method for removing voxel image data from being rendered according to a cutting region
US8867812B2 (en) Image segmentation of organs and anatomical structures
WO2016165209A1 (zh) 一种三维图像的裁剪方法
US8659602B2 (en) Generating a pseudo three-dimensional image of a three-dimensional voxel array illuminated by an arbitrary light source by a direct volume rendering method
US20140267267A1 (en) Stitching of volume data sets
JP7179521B2 (ja) 医用画像処理装置、画像生成方法、及び画像生成プログラム
WO2020168698A1 (zh) 基于VRDS 4D医学影像的静脉的Ai内镜分析方法及产品
US12073508B2 (en) System and method for image processing
JP4122314B2 (ja) 投影画像処理方法、投影画像処理プログラム、投影画像処理装置
CN107106110A (zh) 图像处理装置以及图像处理方法
WO2021030995A1 (zh) 基于vrds ai下腔静脉影像的分析方法及产品
US8933926B2 (en) Image processing apparatus, method, and program
JP7114362B2 (ja) 医用画像処理装置及び医用画像処理プログラム
JP2012507066A (ja) 医療レポートのための患者固有の解剖学的スケッチ
JP2019207450A (ja) ボリュームレンダリング装置
CN108053465A (zh) 一种基于体绘制的图像分割结果后处理方法
JP2008110177A (ja) 医用画像生成装置及びその方法
CN107038747B (zh) 一种医学影像文件多平面处理方法及其装置
CN107157588B (zh) 影像设备的数据处理方法以及影像设备
WO2021081842A1 (zh) 基于vrds ai医学影像的肠肿瘤与血管分析方法和相关装置
CN117934822A (zh) 一种基于cbct的牙齿分割方法、装置及电子设备
Foo et al. Interactive multi-modal visualization environment for complex system decision making
Aspin et al. Medivol: An initial study into real-time, interactive 3D visualisation of soft tissue pathologies

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160509

R151 Written notification of patent or utility model registration

Ref document number: 5946029

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160522

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250