JP2017170185A - 3d医用画像中の対象物を分割するための3d対象物の変換 - Google Patents

3d医用画像中の対象物を分割するための3d対象物の変換 Download PDF

Info

Publication number
JP2017170185A
JP2017170185A JP2017111149A JP2017111149A JP2017170185A JP 2017170185 A JP2017170185 A JP 2017170185A JP 2017111149 A JP2017111149 A JP 2017111149A JP 2017111149 A JP2017111149 A JP 2017111149A JP 2017170185 A JP2017170185 A JP 2017170185A
Authority
JP
Japan
Prior art keywords
scale
dimension
dimensional
estimate
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017111149A
Other languages
English (en)
Other versions
JP6539303B2 (ja
JP2017170185A5 (ja
Inventor
中野 雄太
Yuta Nakano
雄太 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2017170185A publication Critical patent/JP2017170185A/ja
Publication of JP2017170185A5 publication Critical patent/JP2017170185A5/ja
Application granted granted Critical
Publication of JP6539303B2 publication Critical patent/JP6539303B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/168Segmentation; Edge detection involving transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20161Level set
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】3次元画像から対象物を分割する方法及び装置を提供する。
【解決手段】まず、1つの次元、2つの次元又は3つの次元のラプラシアンオブガウシアンフィルタなどのスケール推定処理を使用して、対象物の表面が推定される。第2に、規則的形状の(好ましくはほぼ球面の)非等方性形状を提供するために、推定された表面に各次元で独立して縮小関数を適用することにより、推定された表面が変換される。対象物は、その背景のボリュームから分割され、逆変換されて当初の形状に戻され、当初の形状は画像ボリュームから隔離される。
【選択図】図3

Description

本発明は、画像中の対象物の分割に関し、特に医用画像中のリンパ節、病変、結節又は腫瘍などの対象物の分割に関する。
対象物分割は、デジタル画像中の対象物の形状又は境界を認識する技術である。対象物分割の目的は、例えば時間の経過に伴って画像ごとに対象物が変化したか否かを判定するために、画像(医用画像など)中の対象物の表現を変えることである。この対象物分割を実現する技術は数多く存在するが、それらの技術は、画像中のコントラストの範囲、対象物と背景とのコントラストの程度、対象物のスケール、すなわち相対的サイズ、画像データのフォーマットなどに従って適切であるものもあれば、さほど適切ではないものもある。しかし、多くの技術に共通しているのは、画像中の各画素(3D画像ではボクセル)に、特定の視覚的特性(グレイスケール、輝度など)に対応する何らかの種類のラベルが割り当てられることである。従って、同一の又は類似するラベルを割り当てられた画素(ボクセル)は、何らかの理由により、例えば同一の構造(例えば、同一の対象物)の一部であることを示すために、観測者により1つにまとまったものとみなされてもよい。
「塊状構造(ブロブ)検出」として知られる種類の対象物分割は、T.Lindebergの「Feature detection with automatic scale selecton」(International Journal of Computer Vision、第30巻、79〜116ページ、1998年)に記載されている。この論文では、画像中の塊状構造の相対位置及びスケールを判定するためにガウシアンモデルのラプラシアン演算子(ラプラシアンオブガウシアン又はLoG演算子又はフィルタ)を使用する形式のスケール推定が説明されている。
A.Jirapatnakul、S.Fotin他の「Automated Nodule Location and Size Estimation Using a Multi−scale Laplacian of Gaussian Filtering Approach」(Annual International Conference of the IEEE EMBS、1028〜1031ページ、2009年)は、塊状構造のサイズを推定するために塊状構造の中心付近に位置する開始点からラプラシアンオブガウシアンフィルタ処理を適用することを説明している。
以上挙げた2つの技術では、異なるスケール(以下に説明されるシグマ値)を反復検査し、対象の塊状構造のスケールとして最も可能性の高いスケールを発見するLoGフィルタを使用して、塊状構造のスケールの全体的推定が発見される。1次元では、スケールは原点から塊状構造の推定縁部までの距離であってもよく、2次元では、スケールは塊状構造を表す円の半径であってもよく、3次元では、スケールは塊状構造を表す球の半径であってもよい。LoGフィルタにより判定されるスケールは、中心位置に対するコントラスト変化の位置に基づく。コントラストの変化は塊状構造の縁部に存在すると想定される。「領域成長」方式は、各画素を中心点から外側へ解析し、対象物を識別するために使用されるパラメータに各画素が従うか否かを判定する。パラメータに従う画素が発見されなくなった場合、画素がパラメータに従わなくなった位置が対象物の縁部に対応する位置であると想定される。
分割される対象物のスケールを推定するためにLoG演算を使用する。この「スケール推定」処理は、対象物分割には有用なツールである。例えば領域成長方式では、対象物の近似最大サイズがわかっているので(すなわち、推定されたスケールにより発見された特定の領域の外側では、対象物に含めるためのパラメータに従う画素が存在する可能性は低いので)、スケール推定を使用して、過剰な領域膨張を抑制することができる(すなわち、中心点から外側に向かって徐々に画素を解析する処理)。しかし、スケール推定処理において問題が起こる可能性もある。問題の1つは計算時間が非常に長いというリスクである。先に説明したLoGフィルタを使用する方法のような従来のスケール推定方法の場合、広い処理範囲(すなわち、広い探索空間)全体にわたり、範囲内のすべての点に対してLoGフィルタが適用されるので、計算時間は非常に長い。一般に、スケール推定は、処理範囲内の点の数に関連するパラメータを変化させ、点ごとにスケールを生成させる反復処理である。その後、すべての計算結果から1つの適切なスケールを判定するのであるが、広い処理範囲に対する計算結果の数は多くなるかもしれない。
対象物分割処理の次のステップ(スケール推定ステップの後)は、領域成長方法を含む分割であってもよい。対象物を定義するために選択された基準を点が満たすか否かを判定するために、中心の「シード」点から関心領域内のすべての点が解析される。その基準を満たすすべての点が対象物に属すると判定される。
これに代わる分割処理が使用されてもよい。この処理は、S.Osher及びJ.Sethianの「Fronts Propagating with Curvature−Dependent Speed:Algorithm Based on Hamilton−Jacobi Formulations」(Journal of Computational Physics、第79巻、12〜49ページ、1988年)及びJ.Sethianの「Level Set Method 1st Ed.」(Cambridge University Press、1996年)で説明されているようなレベルセットアルゴリズムを含んでもよい。これらの文献は、曲率依存速度で伝搬するフロントを定義するアルゴリズムを説明する。これを実行する方法は、「運動」(空間内の1つの次元における変化を表す時間依存メタファとして使用される)を予測する面をとらえ、輪郭を定義するために、その面を平面と交差させる。例えば球は、平面上で円を定義するために、その平面によって赤道付近で二等分されてもよい。この輪郭(例えば、円)は、時間t=0で定義可能な形状を有し、時間の経過に伴って、この輪郭がどのように変化するかを定義するために(例えば、平面が球の赤道から極へ移動するにつれて、円の直径は減少する)、tの変化に伴ってフロントが進む(例えば、内側へ)方向を定義するように、球のフロント(すなわち球の周囲)に力が加えられる。
例えば、人体の中の1つの対象物の3次元表現を提供するために組み合わされるコンピュータ断層撮影(CT)スキャンのような一連の医用画像の場合、レベルセットアルゴリズムは3次元対象物の外面を定義するために使用されてもよい。しかし、これを実行するためには、まず、3次元画像を構成しているすべての画像の中の対象物の縁部が決定されなければならない。
中心シード点から領域成長などの分割処理を使用して対象物の縁部を発見することは知られている。中心シードから、対象物に関する事前に定義されたパラメータ(例えば、テクスチャ、色、輝度など)を持たない画素に到達するまで外側に向かいながら、シードの近傍画素に反復処理が適用される。隣接するが、所定のパラメータを満たさない画素に到達した場合、対象物の縁部に達したと想定される。3次元対象物形状を構成するために、多数の並列する画像に領域成長処理が適用されてもよい。レベルセットアルゴリズムは、ユーザが画像ごとにシード点を入力する必要を軽減することにより、処理を少なくするのを助ける。アルゴリズムは、3D形状全体を構成するために限られた数の対象物縁部を使用することにより、この軽減を実現する。
これらのスケール推定処理及び分割処理に関する問題点の1つは、分割されるリンパ節などの対象物が完全な球体であるのは稀であるということである。従って、リンパ節が3次元の対称形であることに基づく仮定は、分割処理において大きな不正確さを生み出す可能性がある。例えば3次元の長さがそれぞれ異なるリンパ節に3次元(3D)LoGフィルタが適用された場合、LoGフィルタは、リンパ節のスケールを、それらの長さのうち1つの長さの2分の1に等しい半径を有する球であると推定しがちであり、球の半径は、単に、反復処理中にどの画素定義縁部が最初に発見されたか又はLoGフィルタの出力のどのLoG「ピーク」が最初に発見されたか、あるいはどの「ピーク」が最も高いかに依存しているにすぎない(ピークは、画素パラメータの変化を定義し、従って、対象物の縁部である尤度が高い)。
米国特許第7,333,644号公報は、病変の重心位置に基づいて、3D病変面を球面座標空間の面表現に補間することを説明している。従って、補間は、座標を直交座標(x,y,z)から球面座標r(φ,θ)に変化させる変換を含む。この補間処理は、サブボリューム(病変及びその周囲環境を含む)を等方性にすること、すなわちx−yスライスの画素の寸法をz方向の画素の寸法と同一にさせることを意図する。これにより、作業の基礎となる座標系はわずかに容易になるが、不規則な形状の対象物の問題には対応していない。さらに、球面座標のすべてのパラメータは重心に依存するので、重心が固定されていない限り、球面座標は各ボクセルの位置を表現することができない。従って、面倒な処理であることに変わりはない。
上記の問題点を考慮すると、対象物が不規則な形状である場合に、対象物を対象物分割が実行される非等方性であるが、規則的形状の対象物に変換することにより、対象物分割中の処理負荷を軽減する装置及び方法を提供することが望ましい。
本発明の第1の態様によれば、対象物分割の方法であって、当初ボリューム中の対象物の表面を推定するステップと、規則的形状の(好ましくはほぼ球形の)面をレンダリングするために対象物の表面を変換するステップと、対象物を背景ボリュームから分離するために、ほぼ球形の面を処理するステップと、ほぼ球形の表面を当初の対象物の表面に逆変換するステップと、当初ボリュームから対象物に対応するボリュームを抽出するステップとを備える方法が提供される。
非等方性ではあっても、対象物を球面形状に変換することの利点は、対象物に対して実行される解析を3つの次元すべてで対称に実行できるために、対象物を背景ボリュームから更に容易に隔離できることである。立方体又は他の規則的形状が使用されてもよいことは言うまでもない。
対象物の面の変換は、対象物の面の各次元をその他の次元から独立させて変換することを含むのが好ましい。例えば対象物の面の各次元に異なる関数が適用される。関数は次のように計算されてもよい。対象物の3次元スケール推定値Scale3D spaceを取得し、対象物の次元ごとの1次元スケール推定値Scaleeach directionを取得し、式:
Figure 2017170185
に従って、対象物の次元ごとに縮小率SReach directionを各1次元スケール推定値と乗算する。
しかし、各次元の1次元スケール推定が特定の次元の3次元スケールより小さい場合、縮小率は1.0であるのが好ましい。これは、推定後の対象物のどの次元に関しても、サイズの増加を阻止する。逆に、(例えば)ユーザが対象物の周囲にバウンディングボックス又は境界形状を挿入することにより、1つの次元のスケールが発見され、この次元が3次元スケール推定値より大きいとわかった場合、この1つの次元のみに縮小率を適用させる。
この変換は、対象物の表面を球などの非等方性の規則的な形状に変換することを目的とする。これを実行する方法の1つは、異なる次元で画素ピッチを変化させることである。第1の次元は、当初の画像画素ピッチを有してもよい。第2の次元は、第1の縮小率だけ減少された画素ピッチを有してもよく、第3の次元は、第2の縮小率だけ減少された画素ピッチ、又は別の率により拡大された画素ピッチを有してもよいだろう。しかし、その結果、規則的な3D形状となる。
あるいは、この変換は、2次元画像中の対象物を分割するために2つの次元に適用されてもよい。
上記のステップに続いて、球面を逆変換することは、対象物の各次元に縮小率の逆数を乗算することを含んでもよい。
対象物の表面の推定は、いくつかの方法で実行されてもよい。好適な方法は、入力された境界形状を使用して処理範囲を計算し、次に、その処理範囲内の点にLoGフィルタを適用する。LoGフィルタは、1次元、2次元又は3次元でスケールを推定するための1次元カーネル、2次元カーネル又は3次元カーネルを有してもよい。境界形状は2次元で入力される場合が多いので、境界形状の1つの次元に基づいて3次元における対象物スケールの1回目の粗推定を実行し、次に、更なる処理範囲の基礎として粗推定を使用して、推定を精密化する(特に境界形状が対応していない第3の次元で)のが好ましい。例えば3次元カーネルを使用した3次元の1回目の粗推定に基づいて、次元ごとに1次元カーネルを使用して更に精密なスケール推定を取得するために、1次元、2次元又は3次元に対して処理範囲が計算されてもよい。言い換えれば、境界形状は、粗スケール推定のための第1の処理範囲を提供してもよく、その後、粗スケール推定は、より精密な更なるスケール推定のための第2の処理範囲を計算するために使用される。粗スケール推定及び精密化スケール推定は、1次元カーネル、2次元カーネル又は3次元カーネルを有するLoGフィルタによって実行されてもよい。
本発明の第2の態様によれば、画像から対象物を分割する方法であって、画像を受信することと、対象物のスケール推定を実行することとを備え、対象物のスケール推定を実行することは、対象物の周囲に境界形状を入力することと、境界形状に基づいて処理エリアを規定することと、対象物の推定スケールを取得するために、処理エリア内でスケール推定を実行することとを含み、方法は、対象物を規則的形状に変換することと、対象物を表す規則的形状を推定するための粗分割と、規則的形状に基づいて対象物の形状を精密化するためのレベルセット法を含む精密分割と、対象物を当初ボリュームに逆変換することと、対象物の精密化形状を画像から抽出することとを更に備える方法が提供される。
本発明の第3の態様によれば、3次元画像から対象物を分割する画像処理装置であって、当初ボリューム中の対象物の表面を推定する手段と、規則的形状の面をレンダリングするために対象物の表面を変換する手段と、対象物を背景ボリュームから分離するために、規則的形状の表面を処理する手段と、規則的形状の表面を当初の対象物の表面に逆変換する手段と、当初ボリュームから対象物に対応するボリュームを抽出する手段とを備える装置が提供される。このような装置は、X線装置又はCT(コンピュータ断層撮影)装置のような医療用撮影モダリティのコンピュータ又は更にはプロセッサであってもよい。
添付の図面を参照して、以下に本発明を単なる例によって説明する。
図1は、リンパ節分割処理を示すフローチャートである。 図2は、分割処理からの前処理過程を示すフローチャートである。 図3は、分割処理からのスケール推定処理を示すフローチャートである。 図4は、スケール推定処理におけるLoGフィルタの使用を示すフローチャートである。 図5は、3D対象物のスケール推定を示すフローチャートである。 図6は、領域成長方法を使用する分割処理からの粗分割処理を示すフローチャートである。 図7は、レベルセット分割を使用する分割処理からの分割精密化を示すフローチャートである。 図8は、ユーザ入力バウンディングボックスにより取り囲まれたリンパ節の画像を示す図である。 図9は、ラプラシアンオブガウシアンカーネルを示す図である。 図10A及び図10Bは、3つの次元におけるリンパ節の推定スケールを示す概略図であり、図10Bのリンパ節は、図10Aのリンパ節の変換バージョンである。 図11A及び図11Bは、2つの次元におけるリンパ節の推定スケールを示す概略図であり、図11Bのリンパ節は、図11Aのリンパ節の変換バージョンである。 図12は、異なる開始位置値に対するLoGフィルタのピーク値を示すLoGフィルタのヒストグラムである。
以下の説明は、コンピュータ断層撮影(CT)画像のような3次元医用画像からリンパ節を分割するための好適な実施形態を説明する。説明される実施形態を病変、腫瘍又は結節などの他の対象物、あるいは医用画像で認識可能な他の対象物にも使用できることは言うまでもない。
好適な実施形態は、対象物のスケールを推定するように対象物画像に対してラプラシアンオブガウシアン(LoG)フィルタ処理を実行するために、ボリューム(3次元又は3D)画像中の関心領域(ROI)を操作することを含む順序処理に従う。対象物のスケールが推定された後、分割処理中に処理しやすい対象物形状を提供するために、ROIは変換される。次に、シード領域が定義され、対象物画像に領域成長分割方法が適用されるが、その閾値及びシード領域は推定されたスケールに基づき、最終的には、レベルセット処理を使用して分割が精密化され、対象物を当初のスケールに戻すためにROIが逆変換された後、分割済み対象物は表示される。以下に説明される実施形態は、主に分割処理に最適な形状を提供するためのボリューム画像中の関心領域の変換に関する。
3次元画像データセットからリンパ節を分割する好適な処理が図1に示され、この処理を以下に説明する。2次元画像データセットからリンパ節を分割する場合にも、類似の処理を適用できる。
図1に示される第1のステップ1000は、CTスキャナ、超音波スキャナ、X線検出器などのモダリティ又は撮影デバイスに接続されたコンピュータのようなプロセッサを使用して画像を取得する。ステップ2000において、ユーザは、そのような画像を見ながら、対象リンパ節を識別するための情報を入力する。この情報は、リンパ節の中央にある中心点又は好ましくはリンパ節の外周に沿った「バウンディングボックス」を含んでもよい。情報は、ユーザインタフェースと、マウス、タッチスクリーン、ジョイスティック又はキーボードなどの入力手段とを使用して入力されてもよい。バウンディングボックスは、正方形、矩形、円形又はユーザにより入力可能な何らかの形状であってもよい。以下の特定の実施形態は、矩形のバウンディングボックスが入力されたか、又はユーザにより入力された中心点に基づいてプロセッサにより正方形のバウンディングボックスが外挿されたという仮定に基づく。
識別後、関心リンパ節は、以下の4つのモジュールを含む分割処理を受ける。
1. ステップ3000の前処理
2. ステップ4000のスケール推定
3. ステップ5000の粗分割
4. ステップ6000の精密化
最終的に、ステップ7000において、プロセッサは、ハードドライブ又は他のその種のメモリなどの記憶手段に分割結果を記憶し、コンピュータ画面又は他のデジタルディスプレイなどの表示手段に結果を表示する。
好適な実施形態は、スケール推定に際して従来の技術の処理範囲とは異なる処理範囲を指定する、ユーザにより入力されるバウンディングボックスを使用する。指定される処理範囲は、関心領域全体ではなく、好適な実施形態では、LoGフィルタのピークがリンパ節の縁部により高い可能性で対応し且つ偽ピークの尤度が低減されるようにリンパ節の縁部と重なり合うことが意図される環形状(又は3次元では中空の芯を有する球形)である。3つの次元で処理範囲を取得するために、画像データセットの3つの次元すべてに対して、これと同一の方法が適用されてもよい(この処理範囲から、3つの次元でスケール推定が発見されてもよい)。あるいは、3次元のスケール推定値は、3つの次元すべてで処理範囲を発見し且つ3つの次元すべてでスケール推定を実行するステップを経過せずに、2つの次元で推定されたスケールから外挿されてもよい。この第2の方法は時間を節約できるが、第3の次元で精度が低くなる危険がある。
バウンディングボックスは、粗スケール推定のための第1の処理範囲を提供するのが好ましく、粗スケール推定は、更に精密なスケール推定のための第2の処理範囲を計算するために使用される。粗スケール推定及び精密スケール推定は、1次元カーネル、2次元カーネル又は3次元カーネルを有するLoGフィルタによって実行されてもよい。
バウンディングボックスを使用して、この更に正確な処理範囲を指定する好適な方法は、図1の4ステップ分割処理3000〜6000に関連して以下に説明される。
第1のモジュールである前処理モジュール3000自体は、図2に示され且つ以下に挙げられるように5つのステップを含む。
1.ステップ3100において、リンパ節の周囲の関心領域(ROI)のサイズを判定する。ROIは当初画像からクロッピングされる。ROIのサイズは、一般に、ユーザにより入力されたx−y平面の2次元(2D)バウンディングボックスに基づいて判定される。画像が2D画像である場合、ROIは、バウンディングボックスの中のエリアであってもよく、又は(更に多くの場合に)バウンディングボックスを含む更に広いエリアであってもよい。画像が3D画像である場合、ROIは、第3の次元でバウンディングボックスを外挿することにより、又は3Dバウンディングボックスを形成するために、ユーザに2つ以上の(多くの場合に平行な)画像でバウンディングボックスを入力させることにより定義される3Dボリュームであってもよい。
あるいは、ROIはユーザにより選択された中心点の周囲の特定のサイズ及び特定の形状であってもよく、特定のサイズ及び特定の形状は必要に応じて、医用画像のスケールに従ってリンパ節サイズの対象物を含むように判定されてもよい。例えばROIは、2D画像の中で、ユーザ入力中心点の周囲に現実の患者の3cm×3cmに対応するサイズとして指定されてもよい。あるいは、ROIは3D画像の中で現実の患者の3cm×3cm×3cmに対応するサイズとして指定されてもよい。
一般にバウンディングボックスは、リンパ節の位置を識別するためにユーザにより入力され、バウンディングボックスは、ほぼリンパ節の大きさであるか又はそれよりわずかに大きいと推定される。好適な実施形態において、ROIの大きさは、バウンディングボックスの辺の長さのうち長いほうの辺とほぼ等しい辺の長さを有するとして指定される。図8は、バウンディングボックスBBにより取り囲まれたリンパ節LNの一例を示す。バウンディングボックスのx方向長さ及びy方向長さが判定される。一貫性と説明を容易にするために、バウンディングボックスの最長の辺をバウンディングボックスの「幅」と呼ぶ。一実施形態において、測定された幅は5つの範囲のうち1つに該当し、各範囲は以下の式を使用して、ボクセル数で測定された立方体ROIの辺の長さを生成する。
Figure 2017170185
(1)
式中、HWidthBBは、式(2)により表され、同様にボクセル数で測定されるバウンディングボックスの半幅である。
Figure 2017170185
(2)
典型的なバウンディングボックスのサイズ及び関連するROIの結果の妥当性に基づいて、他の何らかの適切な閾値が選択されてもよいことは言うまでもない。システムは、履歴データに基づいて、ROIとバウンディングボックスの幅とのどのような関連付けが適切であるかを「学習」してもよい。
ROIのサイズ及びバウンディングボックスの半幅は1次元(立方体の縁部)で測定されるが、ボクセル数でカウントされる。この段階のROIは、バウンディングボックスより大きいが、リンパ節を正確に取り囲んでいないバウンディングボックスをユーザが入力した場合でも、リンパ節全体を含むことが多い。
従って、70ボクセルの幅を有するとしてバウンディングボックスが入力された場合、式(2)に従ったHWidthBB=35ボクセルであり、式(1)に従ったROIの縁部の長さは111ボクセルとなる。
2.図2のステップ3200において、リンパ節の中心位置が発見される。リンパ節の中心位置を発見する最も速い方法は、バウンディングボックスの中心をリンパ節の中心とみなすことである。あるいは、ユーザがリンパ節の中心点を指示していたのであれば、その点を中心位置とみなすことができるのは言うまでもない。従って、ROIの中心は、可能な限りリンパ節の中心と一致するようにされる。
3.ステップ3300において、ROIは、ステップ3100及び3200でそれぞれ判定されたサイズ(バウンディングボックスから計算されたROIのサイズ)及び位置(中心位置又はバウンディングボックスの位置)に基づいて当初のボリューム画像からクロッピングされる(すなわち、「切り取られる」又は「隔離される」)。
4、ステップ3400において、ステップ3500でクロッピング済みROIに適用される縮小率が判定される。この縮小率は、ROI(リンパ節を含む)のサイズを変更し且つROIを等方性にするために使用される。等方性にすることの利点は、1つの次元で実行される計算を他の次元に適用でき、それにより処理負荷を軽減できることである。縮小率SRは、バウンディングボックスの半幅により判定され、次の式(3)により表される。
Figure 2017170185
(3)
5.最後に、ステップ3500において、ステップ3400で判定された縮小率によりROIサイズを操作することにより、ROIはサイズ変更され、等方性にされる。従って、バウンディングボックスが70ボクセルの幅である場合、その半幅は35ボクセルであり、縮小率は2/3である。そこで、サイズ変更後のROIの辺の長さは、111の2/3に等しい74ボクセルになる。縮小処理は分解能を低下させるが、それにより処理時間を短縮するための処理である。縮小処理中、リンパ節も縮小される。
対象物分割システムの第2のモジュール4000は、スケール推定モジュールである。LoGフィルタは、LoG演算子により定義される球の内側と外側との間の輝度分布のコントラストを使用することによりリンパ節LNのスケールを推定する(球のサイズは、ガウシアンフィルタのシグマσ値により決定される)。これに対し、後に説明する分割処理における対象物の縁部は、隣接ボクセルの間のコントラストから計算される。
LoGフィルタは、中央から開始して外側に向かって反復処理しながら、処理範囲内のあらゆる点を処理する。最も効率のよい反復処理にするために、処理範囲は可能な限り小さく(可能な限り少ない数の点を含む)、しかもリンパ節の縁部が処理範囲内に含まれるように十分な数の点を含むのが好ましい。これを実現する方法は、リンパ節の位置及び/又はリンパ節のサイズのうち少なくとも一方を推定することである。処理範囲が最小であり且つ最も精密であるように正確な位置とサイズを知るのが最も正確であることは言うまでもない。
スケール推定は、全画像データに関するリンパ節のサイズ及び相対位置の推定である。スケール推定モジュール4000により実行される処理は、図3に示されるステップ4100〜4900に分割され、以下に説明される。
図3のステップ4100は、スケール推定処理で使用されるパラメータを決定することを含む。決定されるパラメータには様々な種類がある。第1の種類のパラメータは、画像中のその他の部分から分割される関心点群(すなわちリンパ節)に属する点を定義する種類のパラメータである。従って、それらのパラメータは、リンパ節を表す画素/ボクセルの輝度、テクスチャなどの範囲であることが可能だろう。前述のように、他の種類のパラメータは、画像のその他の部分に関してリンパ節がとりそうな位置及び画像のその他の部分に関してリンパ節が示しそうなサイズを含む。
このステップ4100で判定される別のパラメータは、画像のその他の部分に関するリンパ節の相対位置である。リンパ節の位置を発見する方法の1つは、中心点(例えば、質量の中心)を発見することである。ユーザにより入力されたバウンディングボックスの中心点が使用されてもよい。これは、画面上でユーザに1つの中心点を指定させる場合より一般に正確である。
リンパ節のスケールを発見するために、ROI内の面積/容積全体が処理される。
LoGフィルタは、輝度の変化が大きい(すなわちコントラストが高い)位置にピークを有する図12に示されるようなヒストグラムを生成する。特に、ピークは、LoGのガウシアンフィルタのシグマσ値により定義される球の内側と外側との間に高いコントラストが存在することを意味する。そのようなピークは対象物の縁部で通常起こるが、LoGフィルタ出力値のヒストグラムは、誤って縁部として解釈される他の輝度変化点にもピークを有する。あるいは、対象物の縁部が中心点から異なる距離にある場合、異なるシグマσの値に対して、すなわちLoGフィルタの異なる開始点に対して、ヒストグラムで異なるピークが示されるかもしれない。そのようなピークが図12に示される。
図12は、ヒストグラム上に処理範囲(網目部分)を示し、y軸にLoGフィルタの出力値∇G*Iを示す。Gはガウスフィルタ関数である。σは標準偏差である。x軸のσは、ガウス分布のサイズを定義するために使用されるガウスフィルタ関数のパラメータの1つである。従って、σが変化した場合、ガウス分布のサイズは変化する。すなわち、LoGフィルタのスケール(LoG演算子のサイズ)は変化する。∇Gは、以下に説明されるラプラシアンオブガウシアン演算子である。このヒストグラムをどのようにして取得するかは、図4に示されるステップ4211に関連して以下に説明される。
スケール推定のためのパラメータが決定されたならば、ステップ4200はリンパ節のスケールを推定する。スケールの更に具体的な判定方法は、ステップ4500に関連して後に説明されるが、第1のステップは、3次元でリンパ節のスケールを推定することを含む。図4を参照して、スケール推定処理の詳細を説明する。
ステップ4210は、動的パラメータ(σ)による反復フィルタリング処理(ステップ4211及び4212を繰り返す)である。好適な実施形態において、ラプラシアンオブガウシアン(LoG)フィルタは、リンパ節のスケールを推定するために使用される。ステップ4211は、縮小ROIに対してLoGフィルタを実行することを含む。LoGフィルタのアルゴリズムは次の通りである。
・まず、入力画像にガウシアンフィルタが適用される。
・次に、ガウス平滑化画像にラプラシアンフィルタ(2次微分フィルタ)が適用される。
上記の処理を次の式により表すことができる。
Figure 2017170185
(4)
式中、I(x,y,z)は入力画像であり、Gはガウシアンフィルタを表す。
式(4)において、右辺は、画像I(x,y,z)中の半径rの入力ROIに対して∇Gカーネル(LoGカーネル)が適用されることを意味する。図9はガウシアンカーネルの2次の微分であるLoGカーネルを示す。LoGカーネルの幅(サイズ)はシグマσ値により決定される。リンパ節を含むROIにLoGフィルタが適用されると、LoGカーネルの幅σがリンパ節の幅と一致する場合、リンパ節の中心の出力値∇Gは大きな値をとる。
次に、ステップ4212において、ステップ4211で先に記録された最大LoGフィルタ出力値より大きい出力値がある場合、シグマσ値及び最大のLoGフィルタ出力値を有する対応するボクセル位置が更新される。この最大のLoGフィルタ出力値及び関連するシグマσ値は、リンパ節の中心に位置するボクセルに対応すると想定され、これにより、修正中心位置が決定される。
Nが処理近傍における開始点の数に対応する場合、ステップ4211及び4212はN回繰り返される。これらのステップは、σ(シグマ)値を変化させながらLoGフィルタを繰り返し適用する。すなわち、LoGフィルタは処理範囲内の各点に順次適用される。最大のLoGフィルタ出力値を出力したσ値から、リンパ節の近似スケールを知ることができる。σ値は、式(5)により標準偏差からボクセル値に変換される。
Figure 2017170185
(5)
式中、Paramsigmaは、ステップ4100で判定されるスケール推定の処理範囲内で変化するパラメータ(すなわち、ROIの中心からの距離)を表す。Paramsigmaの単位はボクセルである。先に説明したように、σはガウシアンフィルタで使用される標準偏差である。式(5)はσ値をボクセル値から取得するために使用される。すなわち、処理範囲の半径を5ボクセル、6ボクセル、7ボクセルからnボクセルまで増分変化させながら、適切なスケールが反復的に探索される場合、式(5)はボクセル値からσ値に変換するので、そのような値(ボクセル単位で測定される長さ)をParamsigmaに入力できる。A.Jirapatnakul及びS.Fotinによる論文には、この式はd=12σとして表されており、「d」は結節の直径である。
Paramsigmaの値は、反復処理中に1ずつ増分される。従って、反復回数はスケール推定の処理範囲の大きさに応じて決定される。
反復処理4210の終了後、システムは、共に最大のLoGフィルタ出力値を有する(すなわち、図12のヒストグラムにおけるピーク)σ値及びボクセル位置を判定でき、この値はリンパ節のスケール及び中心位置を表すと想定される。
図4のステップ4220において、ステップ4210の結果から、リンパ節のスケール及び/又は中心位置が判定される。この場合のスケールはリンパ節の半径であってもよく、そこで、ステップ4210から出力されたシグマ値は半径に変換され、それにより、リンパ節の推定スケールが提供される。最大のLoGフィルタ出力値を有するボクセル位置はリンパ節の中心位置になる。次に、決定されたリンパ節のスケール及び/又は中心位置は、図3に示されるスケール推定の次のステップで使用されてもよい。
更なる実施形態によれば、定義された処理範囲内でリンパ節のサイズを推定できない場合、処理範囲は小さすぎるか又は不正確に位置決めされたと想定される。従って、更に広い範囲で、スケール推定処理が再度実行される。範囲を拡張する方法はいくつかあり、他の類似する処理の(ログ)履歴又は更なるユーザ入力に基づいて、それらの方法のうち1つ以上が選択されてもよい。例えば通常、バウンディングボックスが予想より小さく形成された場合、バウンディングボックスの半幅から開始するのではなく、バウンディングボックスの60%又は70%、あるいは他の割合の幅から開始されるように処理範囲又は処理近傍を拡張する方法が選択されてもよい。
図3及びスケール推定処理に戻ると、ステップ4300は、3D画像の場合にz方向スケール推定処理のためのパラメータを決定することを含む。
x方向及びy方向のリンパ節のスケールを推定するために使用されるバウンディングボックスは言うまでもなくx−y平面でのみユーザにより入力されるので、z方向のリンパ節のスケールは、ユーザの入力によっては示唆されない。従って、z方向(第3の次元とも呼ばれる)のリンパ節のスケールを推定するために、更なるステップが実行されてもよい。
z方向のスケールを推定する方法の1つは、x−y平面のスケール推定を使用し、例えば円が球になるように、そのスケール推定をz方向に外挿することである。これは、図10Bに示されるような形状のリンパ節に当てはまる。この図において、矢印100は、x−y平面のスケール推定からの外挿を使用して推定されたスケールの半径を示す。
この場合に起こりうる問題は、図10Aに示されるように、リンパ節がx方向又はy方向よりz方向に著しく長い場合の例からわかる。
z方向のスケールを推定する第2の方法は、x−y平面に関して決定された処理範囲を使用し、この処理範囲に基づいてz方向のスケール推定(例えば、LoGフィルタを使用して)を実行することである。リンパ節がほぼ球形である場合、この方法は、先の場合と同様に効率よく機能するだろう。
しかし、この第2の方法でも、リンパ節が使用される処理範囲よりz方向に著しく長い(又は実際に著しく短い)場合に問題が起こる可能性がある。
従って、好適な一実施形態は、x方向及びy方向のスケール推定とは異なる開始点でz方向のスケールを推定する。好適な実施形態は、z方向のスケール推定パラメータを決定することから始めて、x方向及びy方向に関して実行されたようなスケール推定のステップをz方向に関しても実行する。
ステップ4300で判定されるパラメータは、ステップ4100のパラメータと同一であるが、z方向のパラメータである。各パラメータを決定するための式は、ステップ4100の式とほぼ同一である。境界形状を使用してスケールを推定するために使用された式との相違点は、「HWidthBB・SR」がステップ4200で出力されたリンパ節のスケール推定値と置き換えられることである(これは更に精密なスケールの推定値である)。更に、リンパ節の中心点に関する処理近傍は(0,0,修正z)へシフトされ、このステップでは、スケール推定処理はz方向でのみ計算される。「修正z」処理範囲は、
Figure 2017170185
(6)
により示される。
式中、Scalein 3D spaceは、先に説明したようにステップ4200からのリンパ節の3Dスケール推定値である。式(6)において、Paramshiftingは、HWidthBB・SR(境界形状に基づいてスケールを推定するときに使用される)をScalein 3D spaceと置き換えることにより再計算される。
図3のステップ4400は、おそらくはz方向のリンパ節の中心位置の修正を含めて、リンパ節のz方向スケールを推定する処理を含む。このステップのアルゴリズムはステップ4200とほぼ同一である。z方向のスケール推定及びz方向の中心位置修正において、システムは、LoGフィルタの計算においてz方向(1次元)LoGカーネルを使用する。特に、ステップ4200のLoGカーネルは3次元カーネルであるが、このステップのLoGカーネルは1次元カーネルである。
従って、ステップ4200の終了時には、リンパ節のスケールは3次元のすべてで等しいと推定される(バウンディングボックスの最長の幅に基づいて)。ステップ4400の終了時、z方向のスケールは、3Dスケール推定値に基づいて更に正確に且つ個別に推定されている。各次元で個別に正確な推定値を取得するために、更なる(代替又は追加)ステップが実行される。特に、ステップ4500において、各方向のリンパ節のスケールは更に具体的に判定される。ここで、各方向は、互いに異なると共に、個別に計算され、ステップ4200のように3次元空間で計算されるためにステップ4200において推定されたスケールとも異なる個別のx方向、y方向及びz方向のスケールを意味する。従ってz方向スケールは、先にステップ4400に関して説明したように計算されており、このステップ4500においてx方向のスケール及びy方向のスケールは、x方向のバウンディングボックスの長さ及びy方向のバウンディングボックスの長さによりそれぞれ定義される。従って、先に説明した処理は、x方向及びy方向の双方に使用されたバウンディングボックスの最長の長さではなく、各方向の長さが独立して定義される。
ステップ4200で初期3D推定を判定する代わりに、まず、1次元LoGカーネルを使用してx方向及びy方向のスケールを個別に推定することが可能であり、z方向のスケールを推定するために、推定されたスケールの平均(又は他の関数)が使用されてもよい。いずれの方法も、z方向にはバウンディングボックスが描かれていないということを考慮に入れて、z方向のリンパ節のスケールを推定するための開始点を提供することを意図する。あるいは、リンパ節の2次元スケール推定を取得するために2次元LoGカーネルが使用されてもよく、その後、このスケール推定は、1次元、2次元又は3次元で更に精密なスケール推定のための処理範囲を提供するために使用される。
次に、ステップ4600において、各方向の縮小率が計算される。各方向の縮小率(SReach direction)は次の式により計算される。
Figure 2017170185
(7)
式中、Scaleeach directionは、ステップ4400又は4500で算出される、ボクセル単位で測定された各方向のスケールである。各方向の縮小率は、システムがx方向縮小率、y方向縮小率及びz方向縮小率の3つの縮小率を取得するように、すべての方向で独立して計算される。この操作の意図は、すべての方向で同様に操作できる(分割処理、領域成長及びレベルセットにより)が、操作後に当初のリンパ節スケールを取得するために個別の縮小率によって再成長させることが可能な非等方性リンパ節を作成することである。
式(7)は、各方向のスケール(ステップ4500の出力)が3D空間のスケール(ステップ4200の出力)より大きい場合に適用される。各方向のスケールが3D空間のスケールより小さい場合、個別のスケールが全体的な推定スケールと同一になるように、縮小率は「1.0」とする。逆に、ユーザが(例えば)バウンディングボックス又は境界形状を対象物の周囲に挿入することにより1つの次元のスケールが発見され、このスケールが3次元スケール推定より大きいことが判明した場合、この1つの特定の次元にのみ縮小率が適用される。
図3のステップ4700は、ステップ4600で計算された各方向の縮小率を使用してROIを変換することを含む。変換されるROIの幅、高さ及び奥行(すなわち3つの次元)に、それぞれの縮小率が乗算される。次に、修正後の幅、高さ及び奥行に従って、線形変換法が実行される。図10Aは、人体の中及び3D画像データに現れる場合のリンパ節LNを示す。推定スケール及び対応する縮小率を使用する縮小変換は、図10Bの非等方性であるが、ほぼ球形のリンパ節を提供するために適用される。これらの図において、陰影をつけた領域LNは、バウンディングボックスBBを使用してステップ4200でスケールが推定されたx−y平面のリンパ節である。長いほうの矢印110は、z方向に推定されたスケールを表す(ステップ4400)。この場合、z方向に推定されたスケールは、3D空間で推定されたスケール(ステップ4200)より大きい。従って、リンパ節に図10Bに示される等方性スケール(しかしボクセルは非等方性)を与えるために、ROIは、z方向により大きく縮小される。球形は画像処理に好都合であるので、z方向に長いリンパ節の形状は、球を近似するためにz方向に最も大きく縮小される。この変換を実行する理由は、スケール推定の実行後、画像を分割する準備が整うことである。従来の技術とは異なり、本発明の実施形態の方法は、変換処理に際して対象物の重心の情報を使用しない。ここで説明される方法は、対象物を含む空間を直交座標空間から、空間重心の情報を必要としない修正直交座標空間に変換する。
言い換えれば、ここで説明される方法は、等方性空間から非等方性空間への「非等方性変換」を実行する。
この変換の前、スケール推定方法は前処理で作成された等方性画像を扱っていた。変換中、各ボクセルの間のピッチは等方性から非等方性に変化される。従って、変換により、対象物の形状(すなわち表面)は、分割が更に容易になるように変換される。リンパ節の第1の次元は当初の画像画素ピッチを有してもよく、第2の次元は第1の率だけ減少された画素ピッチを有してもよく、第3の次元は第2の率だけ減少されるか又は別の率だけ拡大された画素ピッチを有してもよい。しかし、その結果は、規則的な3次元ではあるが非等方性の形状である。
あるいは、この変換は、2次元画像中の対象物を分割するために2つの次元に適用されてもよい。
図10Aは、z方向に長い形状を有する対象物の形状の一例を示す。z方向の正確なスケールは、入力された境界形状BBに基づいて3D空間で推定されたスケールより大きい。図10Aの対象物が分割のためにイメージプロセッサに入力された場合、使用される分割方法が3D空間で推定されたスケールを使用して制約条件を考慮に入れるので、イメージプロセッサはz方向に正確な分割を実行できない。
z方向に正確な分割を取得するために、まずステップ4300及び4400に関連して説明したように、z方向のスケールが推定される。次に、推定されたz方向のスケールに従って病変を変換するための関数が追加される。図10Bは変換後の対象物を表す。変換後の病変は球形状に近似される。この変換は、分割において単純な制約条件を使用できることを意味する(分割方法が特異な形状の病変を扱う場合、分割方法がすべての方向のスケールを考慮に入れなければならないので、制約条件は更に複雑になる)。従って、分割の精度を改善することができる。
特異な形状の病変を分割するための方法は、先にステップ4700に関連して説明した通りである。
図3のステップ4800は、これ以降のステップで使用される縁部強調ROIを作成することを含む。まず、システムは、ステップ4700で作成されたROIにメディアンフィルタ(平滑化フィルタ)を適用する。次に、メディアンフィルタ処理後のROIにソーベルフィルタ(画像中の縁部を強調するための第1の微分フィルタ)が適用される。
最後に、ステップ4900は、これ以降のステップで使用される平滑化ROIを作成することを含む。この場合、システムは、ステップ4700で作成されたROIにガウシアンフィルタ(別の平滑化フィルタ)を適用する。
図3に示されるスケール推定において、バウンディングボックスの幅及び高さからx方向及びy方向のスケールを決定するステップ4500を変形することができる。LoGカーネルをx方向カーネル又はy方向カーネルと置き換え、処理エリアを(0,0,z)から(x,0,0)又は(0,y,0)に変更することにより、z方向と同様にx方向のスケール及びy方向のスケールを推定できる。このような処理は図5に示され、ステップ4500の代わりに、x方向及びy方向の各々のスケールをそれぞれ推定する2つのステップ4510及び4520が使用される。
図6は、粗分割(図1のステップ5000)モジュール、特に「領域成長」処理の処理流れを示す。前述のように、推定されたスケールは、領域成長処理のための開始点及び境界を定義するので、対象物分割には有用である。リンパ節を定義するために選択された特性を有する点(又はボクセル)を選定するために、領域成長処理を使用する分割は、推定されたスケールから取り出された処理範囲内のすべての点に対して実行される。
次に、粗分割処理の各処理ステップを説明する。
ステップ5100は、「領域成長」処理の開始点である少なくとも1つのシード点の位置を決定することを含む。シード点の位置は、リンパ節の中心に位置する球の表面に設置される。シード球の半径は次の式により示される。
Figure 2017170185
(8)
言い換えれば、シード点が指定されるリンパ節の中心にある球は、本実施形態では、図3のステップ4200に関して説明したスケール推定処理で推定されたリンパ節のスケールのサイズの5分の1である。他の実施形態において、球の半径を決定する他の方法が使用されることは言うまでもない。球の半径は、リンパ節の推定3Dスケールの別の分数であってもよく、あるいはリンパ節がとりうるスケールに基づく又は異なる次元に関する個別のスケール推定結果に基づく任意の大きさであってもよい(個別のスケール推定結果の平均又は他の何らかの関数)。あるいは、シード点は、球の表面の位置で指定されなくてもよく、バウンディングボックスの位置に基づいて指定されるか又はLoGフィルタを使用して修正された中心点で指定されてもよい。あるいは、シード点は、特定のボクセルの輝度値のような特定のパラメータ値を有する点でもよい。
シード点が指定された後、ステップ5200において、過剰な領域膨張を抑制するためにマスク画像が作成される。マスク画像は、プログラム中でハードコード化された低/高閾値を使用することにより作成される。例えば、高閾値はガウシアンフィルタ処理済み画像において200であり、低閾値は−20である。これらの値は履歴データから決定される。一般に、人体の大半の器官及び組織は、上記の範囲を満たす(CT値(ハンスフィールドユニット)で200HU〜−20HU)。
あるいは、例えばマスクはボクセル輝度のヒストグラムを参照することにより指定されてもよく、この場合、低閾値である特定の値を輝度が下回ると、その輝度を有するボクセルはマスクの外側になる。高輝度に対して、同じことが当てはまってもよい。その代わりに又はそれに加えて、シード点に類似する特性を有するが、予測リンパ節形状の外側に位置するボクセルが分割後の領域に含まれないように、マスクはリンパ節の推定スケールよりわずかに大きい形状であってもよい。
ステップ5300において、領域成長法が実行される。好適な一実施形態において、領域成長処理に対する入力画像として、ステップ4800で作成された縁部強調ROIが使用される。すなわち、シード点は縁部強調ROIの中に設定される。次に、領域は、領域メンバーシップパラメータに応じて、それらのシード点から隣接点へ成長される。このパラメータは、例えば画素輝度、グレイレベルテクスチャ又は色であることが可能である。
シード点から始めて、シード点の周囲のボクセル(「判定対象」ボクセル)は、領域メンバーシップパラメータを満たす場合及び閾値又はマスクの外に位置していない場合は領域に含まれる。
ターゲットボクセルが領域に含まれるべきであるか否かの判断は、以下の式の中の1つの閾値を使用して定義されるが、当業者により他の閾値を生成することも可能である。閾値(Thresholdedge)は、式(9)を使用して計算される。
Figure 2017170185
(9)
式中、Vaverageは、ステップ5100で定義される球領域内の平均縁部値である。ターゲットボクセルの縁部値(ソーベルフィルタ処理済みROIのボクセル値)が上限閾値より低い場合、そのターゲットボクセルは分割後の領域に含まれる。
ステップ5400は、分割後の領域内のノイズを除去するためにモルフォロジーオープニングを適用することを含む。特に、ステップ5300により作成された2値ROIにモルフォロジーオープニングが適用される。
複数のシード点を使用することによって、実際に2つ以上の領域が並行して成長する可能性がある。ステップ5500は、ステップ5400で作成された2値ROIの中の最大の領域以外のすべての領域を除去するためにラベリング処理(連結成分ラべリングとしても知られる)を適用することを含む。ラベリング処理は画像の各領域にラベル付けする。多くの場合、分割方法は2値画像を出力する。2値画像では2つの値、「前景」又は「背景」のいずれかしか有していないので、システムは、存在する領域の数、各領域が有する画素(又はボクセル)の数などを理解できない。これがラベリング処理を実行する理由である。次にシステムは、領域の数、各領域のボクセルの数などを取得できる。
図7は、図1のステップ6000である精密化処理の処理流れを示す。精密化の主な技術は先に説明したようなレベルセット法である。次に、精密化処理の各ステップを説明する。
まずステップ6100において、過剰な領域膨張を抑制するためにマスク画像が作成される。マスク画像は、プログラム中でハードコード化された低閾値及び高閾値、すなわち最小ガウシアンフィルタ値及び最大ガウシアンフィルタ値(低:−20、高;200)を使用することにより作成される。マスクのパラメータはリンパ節の推定スケールによっても変更される。図4を参照して説明した推定スケールがマスク領域を定義するために使用される。特にマスク領域は、低閾値及び高閾値(低:−20、高:200)と、推定スケールとを使用することにより作成される(修正中心点から「推定スケール2」より長い距離を有するボクセルは、「処理しない領域」とみなされる)。
次に、ステップ6200において、レベルセット法が実行される。レベルセットアルゴリズムの詳細は、J.Sethian他により発表された論文「Level set method 1st ed.」(1996年)で説明されている。好適な一実施形態において、レベルセット処理で初期0レベルセット(すなわち「フロント」)を決定するための画像として、ステップ5500の粗分割結果が使用される。より具体的には、初期境界面を定義する0レベルセットは、ステップ5500で作成された分割領域の境界線で設定される。反復のたびに、リンパ節の分割面により定義されるエネルギーに従って、境界面は変化する。レベルセットの反復処理では、ナローバンド技術が使用され、反復される処理のうち少なくとも一部は、境界面に隣接して取り囲む(又はすぐ隣接する)活動ボクセルの細い帯の範囲に限定される。このステップにおいて、システムは、分割領域(リンパ節)及び背景(他の組織)を表す2値画像を取得するために、レベルセット計算を使用する。例えば、ボクセル値「1」は2値画像中のリンパ節領域を表し、ボクセル値「0」は2値画像中の他の組織を表す。従って、値「1」のボクセルはその他の組織から分割される。レベルセット法の計算後、ステップ6300において、ステップ6200により分割された領域を含むROIを縮小サイズ(ステップ3500)から当初の分解能にサイズ変更するために、変換処理が実行される。これは、分割結果を当初の入力画像に重ね合わせ、それを表示するためである。ステップ6200で取得された分割結果は、最近傍補間などの変換方法によりサイズ変更される。規則的形状の対象物を当初の形状に戻すための逆変換も適用される。画素間のピッチは、当初の画像の等方性ピッチに戻され、当初の形状の画像のその他の組織からリンパ節が分割され且つ抽出される。
変形例
スケール推定にLoGフィルタを使用する代わりに、ハフ変換などの他のフィルタも使用可能である。ハフ変換を使用することにより、リンパ節の中心から距離r(半径に関連するパラメータ)内に位置するボクセルの輝度情報を使用して、球を検出できる。従って、ハフ変換は、σを変化させ且つLoGフィルタを適用するのではなく、r値を変化させながら適用されることが可能である。
本発明は、パーソナルコンピュータ(PC)のようなプロセッサを使用して実現されるのが最も有益であり、コンピュータプログラムは、非一時的フォーマットで記憶媒体に記憶されてもよい。プロセッサは、X線装置又はCT装置などの医療用撮影モダリティの一部を形成する画像処理デバイスを含むどのような画像処理デバイスにあってもよい。
前述のように、本発明によれば、当初ボリューム中の対象物の表面を推定するステップと、規則的形状の面をレンダリングするために対象物の表面を変換するステップと、対象物を背景ボリュームから分離するために規則的形状の面を処理するステップと、規則的形状の面を変換前当初の対象物の表面に逆変換するステップと、当初ボリュームから対象物に対応するボリュームを抽出するステップとを備える対象物分割の方法が提供される。更に、当初ボリュームにおける対象物の表面に基づいて3次元で対象物のスケール推定を取得するステップと、推定されたスケールに基づいて規則的形状の対象物をレンダリングするために当初ボリューム中の対象物を変換するステップと、規則的形状の対象物を背景ボリュームから分離するステップと、規則的形状の対象物を当初ボリューム中の対象物に逆変換するステップとを備える対象物分割の方法が提供される。分離処理は、推定されたスケールに基づいて規則的形状の対象物を背景ボリュームから分離することにより実行されてもよい。分離処理は、推定されたスケールに基づく境界を使用して実行されてもよい。分離処理は、推定されたスケールから取り出された処理範囲の中の点を使用して実行されてもよい。本発明の利点は、対象物に対して実行される解析が3つの次元のすべてで対称に実行されるので、対象物を背景ボリュームから更に容易に隔離できることである。
BB:バウンディングボックス、LN:リンパ節
本発明の第1の態様によれば、対象物分割の方法であって、当初ボリューム中の対象物の表面を推定するステップと、規則的形状の(好ましくはほぼ球形の)面をレンダリングするために対象物の表面を変換するステップと、対象物を背景ボリュームから分離するために、ほぼ球形の面を処理するステップと、ほぼ球形の表面を当初の対象物の表面に逆変換するステップと、当初ボリュームから対象物に対応するボリュームを抽出するステップとを備える方法が提供される。
対象物分割を行う画像処理装置の作動方法の各ステップをコンピュータに実行させるためのプログラムであって、前記作動方法は、
対象物の表面に基づいて、前記対象物のスケールを推定するステップと、
前記推定されたスケールに基づいて、前記対象物を球形に近づけるように変換するステップと、
前記球形に近づけるように変換された対象物を背景ボリュームから分離するステップと、
前記球形に近づけるように変換された対象物を変換前の対象物に逆変換するステップと、
を備える。

Claims (25)

  1. 対象物分割の方法であって、
    当初ボリューム中の対象物の表面を推定するステップと、
    規則的形状の面をレンダリングするために前記対象物の前記表面を変換するステップと、
    前記対象物を背景ボリュームから分離するために前記規則的形状の表面を処理するステップと、
    前記規則的形状の表面を当初の対象物の表面に逆変換するステップと、
    前記当初ボリュームから前記対象物に対応するボリュームを抽出するステップと
    を備えることを特徴とする方法。
  2. 前記対象物の前記表面を推定することは、
    3つの次元で前記対象物のスケール推定を取得することと、
    前記3つの次元のうち少なくとも1つの次元で更なるスケール推定を取得することと
    を含むことを特徴とする請求項1記載の方法。
  3. 3つの次元で前記対象物の前記スケール推定を取得することは、
    前記対象物に3次元カーネルを有するラプラシアンオブガウシアンフィルタを適用すること
    を含むことを特徴とする請求項2記載の方法。
  4. 3つの次元で前記対象物の前記スケール推定を取得することは、
    前記3つの次元の各次元で前記対象物に1次元カーネルを有するラプラシアンオブガウシアンフィルタを適用すること
    を含むことを特徴とする請求項2記載の方法。
  5. 前記対象物の周囲に2次元境界形状を入力することと、
    前記入力境界形状に基づいて2次元の第1の処理範囲を指定することと、
    第1の次元及び第2の次元で前記対象物の2次元スケールを推定するために、前記第1の処理範囲に2次元カーネルを有するラプラシアンオブガウシアンフィルタを適用することと、
    前記第1の次元及び前記第2の次元で前記対象物に関して推定されたスケールに基づいて、第2の処理範囲内で第3の次元で1次元カーネルを有するラプラシアンオブガウシアンフィルタを適用することと
    を更に含むことを特徴とする請求項2記載の方法。
  6. 第1の次元及び第2の次元で前記対象物の周囲に2次元境界形状を入力することと、
    前記第1の次元及び前記第2の次元並びに第3の次元で前記境界形状に基づいて第1の3次元処理範囲を指定することと、
    前記第1の3次元処理範囲に基づいて前記対象物の3次元スケールを推定するために、3次元カーネルを有するラプラシアンオブガウシアンフィルタを適用することと
    を更に含むことを特徴とする請求項3記載の方法。
  7. 前記第1の次元及び前記第2の次元の各々で前記更なるスケール推定を取得するために、前記第1の次元及び前記第2の次元の各々で1次元カーネルを有するラプラシアンオブガウシアンフィルタを適用することを更に含むことを特徴とする請求項5又は6記載の法方法。
  8. 前記対象物の前記表面を推定することは、
    第1の次元及び第2の次元(x,y)で前記被写体の周囲に境界形状を入力することと、
    前記境界形状に基づいて第1の処理範囲を計算することと、
    3つの次元で前記対象物の前記スケールの推定を取得するために、前記第1の処理範囲内の各点に3次元カーネルを有するラプラシアンオブガウシアンフィルタを適用することと、
    前記境界形状が存在する次元(x,y)とは異なる第3の次元(z)で前記対象物の前記スケールの推定を取得するために、3つの次元における前記対象物の前記スケールの推定に基づいて第2の処理範囲内の各点に1次元カーネルを有するラプラシアンオブガウシアンフィルタを適用することと、
    前記第1の次元(x)における前記対象物の前記スケールの更なる推定を取得するために、前記第1の次元(x)における前記境界形状のサイズに基づいて計算される第3の処理範囲内の各点に1次元カーネルを有するラプラシアンオブガウシアンフィルタを適用することと、
    前記第2の次元(y)における前記対象物の前記スケールの推定を取得するために、前記第2の次元(y)における前記境界形状のサイズに基づいて計算される第4の処理範囲内の各点に1次元カーネルを有するラプラシアンオブガウシアンフィルタを適用することと、
    前記対象物の次元(x,y,z)ごとの個別のスケール推定を含む前記対象物のスケール推定を出力することと
    を更に含むことを特徴とする請求項1記載の方法。
  9. 3つの次元における前記対象物の取得されたスケール推定をScalein 3D spaceとし、入力された境界形状に基づくパラメータをParamsiftingとするとき、式
    Figure 2017170185
    に従って3つの次元で前記対象物の前記スケールに基づいて修正中心位置(0,0,修正z)を有する前記第2の処理範囲を取得することを更に含む請求項5又は8記載の方法。
  10. 前記対象物の前記表面を変換することは、前記対象物の表面の各次元をその他の次元から独立して変換することを含むことを特徴とする請求項1から9のいずれか1項に記載の方法。
  11. 前記対象物の表面の各次元に異なる関数が適用されることを特徴とする請求項10記載の方法。
  12. 前記対象物の前記表面を変換することは、
    被写体の3次元スケール推定Scale3D spaceを取得することと、
    被写体の次元ごとの1次元スケール推定Scaleeach directionを取得することと、

    Figure 2017170185
    に従って、前記対象物の少なくとも1つの次元の次元ごとの各1次元スケール推定とそれぞれの縮小関数SReach directionを乗算することと
    を含むことを特徴とする請求項1から11のいずれか1項に記載の方法。
  13. 各次元の前記1次元スケール推定が前記3次元スケールより小さい場合、前記縮小関数はすべて1.0であることを特徴とする請求項12記載の方法。
  14. ユーザにより入力された境界形状により取得された特定の次元の1次元スケール推定が前記3次元スケール推定より大きい場合、前記縮小関数はその特定の次元にのみ適用されることを特徴とする請求項12記載の方法。
  15. 前記対象物の前記表面を変換することは、前記対象物の表面を非等方性の球に変換することを含むことを特徴とする請求項1から14のいずれか1項に記載の方法。
  16. 前記対象物の前記表面を変換することは、前記対象物の中の画素のピッチを変換することを含むことを特徴とする請求項1から15のいずれか1項に記載の方法。
  17. 前記対象物の前記表面を変換することは、前記分離処理に関する単一の寸法パラメータによって変換対象物を作成することを含むことを特徴とする請求項1から16のいずれか1項に記載の方法。
  18. 前記単一の寸法パラメータは、前記変換対象物の直径及び半径を含む群のうち1つであることを特徴とする請求項17記載の方法。
  19. 前記規則的形状の表面を逆変換することは、前記対象物の各次元に前記縮小関数の逆を乗算することを含むことを特徴とする請求項12記載の方法。
  20. 前記規則的形状の表面はほぼ球面であることを特徴とする請求項1から19のいずれか1項に記載の方法。
  21. 画像から対象物を分割する方法であって、
    前記画像を受信するステップと、
    前記対象物のスケール推定を実行するステップであって、
    前記対象物の周囲に境界形状を入力することと、
    前記境界形状に基づいて処理エリアを規定することと、
    前記対象物の推定スケールを取得するために、前記処理エリア内でスケール推定を実行することとを含むステップと、
    前記対象物を規則的形状の表面に変換するステップと、
    前記対象物を表す規則的形状を推定するための粗分割と、
    前記規則的形状に基づいて前記対象物の形状を精密化するレベルセット法を含む精密分割と、
    対象物を当初ボリュームに逆変換するステップと、
    画像から対象物の精密化形状を抽出するステップと
    を備えることを特徴とする方法。
  22. 前記対象物は、少なくともリンパ節、病変、腫瘍及び小節より成る群のうち1つであることを特徴とする請求項1から21のいずれか1項に記載の方法。
  23. 3次元画像から対象物を分割する画像処理装置であって、
    当初ボリューム中の前記対象物の表面を推定する手段と、
    規則的形状の表面をレンダリングするために前記対象物の前記表面を変換する手段と、
    前記対象物を背景ボリュームから分離するために前記規則的形状の表面を処理する手段と、
    前記規則的形状の表面を当初の対象物の表面に逆変換する手段と、
    前記当初ボリュームから前記対象物に対応するボリュームを抽出する手段と
    を備えることを特徴とする画像処理装置。
  24. 前記対象物の周囲に境界形状を入力する入力手段を更に備え、前記対象物の表面を推定する手段は、
    入力された前記境界形状に基づいて前記対象物の周囲の処理範囲を計算する手段と、
    前記対象物のスケールを推定するために、前記処理範囲内のすべての点を解析する手段と
    を備えることを特徴とする請求項23記載の画像処理装置。
  25. 実質的にここで記載の及び添付図面の何れかに示されるように画像から対象物を分割する方法。
JP2017111149A 2014-08-28 2017-06-05 3d医用画像中の対象物を分割するための3d対象物の変換 Active JP6539303B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1415251.6 2014-08-28
GB1415251.6A GB2529671B (en) 2014-08-28 2014-08-28 Transformation of 3-D object for object segmentation in 3-D medical image

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015168093A Division JP6385318B2 (ja) 2014-08-28 2015-08-27 3d医用画像中の対象物をセグメンテーションするための3d対象物の変換

Publications (3)

Publication Number Publication Date
JP2017170185A true JP2017170185A (ja) 2017-09-28
JP2017170185A5 JP2017170185A5 (ja) 2019-02-21
JP6539303B2 JP6539303B2 (ja) 2019-07-03

Family

ID=51752278

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015168093A Expired - Fee Related JP6385318B2 (ja) 2014-08-28 2015-08-27 3d医用画像中の対象物をセグメンテーションするための3d対象物の変換
JP2017111149A Active JP6539303B2 (ja) 2014-08-28 2017-06-05 3d医用画像中の対象物を分割するための3d対象物の変換

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015168093A Expired - Fee Related JP6385318B2 (ja) 2014-08-28 2015-08-27 3d医用画像中の対象物をセグメンテーションするための3d対象物の変換

Country Status (4)

Country Link
US (1) US9741123B2 (ja)
EP (1) EP2998929B1 (ja)
JP (2) JP6385318B2 (ja)
GB (1) GB2529671B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163863B (zh) 2018-11-06 2022-11-04 腾讯科技(深圳)有限公司 三维物体分割方法、设备和介质
JP7124895B2 (ja) * 2019-02-14 2022-08-24 日本電気株式会社 病変領域分割装置、医用画像診断システム、病変領域分割方法及びプログラム
US10915786B2 (en) * 2019-02-28 2021-02-09 Sap Se Object detection and candidate filtering system
CN110458948A (zh) * 2019-08-13 2019-11-15 易文君 基于智能化3d重建系统中图像的处理方法
JP7423951B2 (ja) * 2019-09-19 2024-01-30 富士フイルムビジネスイノベーション株式会社 画像処理装置及び画像処理プログラム
CN111161242B (zh) * 2019-12-27 2024-02-27 上海联影智能医疗科技有限公司 肺结节hu值确定方法、装置、存储介质及计算机设备
CN110838125B (zh) * 2019-11-08 2024-03-19 腾讯医疗健康(深圳)有限公司 医学图像的目标检测方法、装置、设备、存储介质
EP3866107A1 (en) * 2020-02-14 2021-08-18 Koninklijke Philips N.V. Model-based image segmentation
CN117455927B (zh) * 2023-12-21 2024-03-15 万灵帮桥医疗器械(广州)有限责任公司 光斑阵列分割与光斑偏移量计算方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040228529A1 (en) * 2003-03-11 2004-11-18 Anna Jerebko Systems and methods for providing automatic 3D lesion segmentation and measurements
US20080112649A1 (en) * 2006-11-14 2008-05-15 Siemens Corporate Research, Inc. Method and System for Dual Energy Image Registration
JP2010531155A (ja) * 2007-03-19 2010-09-24 ユニバーシティー オブ サセックス 医療画像データを分析するための方法、装置およびコンピュータプログラム
JP2012519902A (ja) * 2009-03-06 2012-08-30 バイオ−ツリー システムズ, インコーポレイテッド 血管分析方法および装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7492968B2 (en) * 2004-09-07 2009-02-17 Siemens Medical Solutions Usa, Inc. System and method for segmenting a structure of interest using an interpolation of a separating surface in an area of attachment to a structure having similar properties
CN102308320B (zh) * 2009-02-06 2013-05-29 香港科技大学 从图像生成三维模型

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040228529A1 (en) * 2003-03-11 2004-11-18 Anna Jerebko Systems and methods for providing automatic 3D lesion segmentation and measurements
JP2006519634A (ja) * 2003-03-11 2006-08-31 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド 自動三次元病変セグメント化および測定を行なうためのシステムおよび方法
US20080112649A1 (en) * 2006-11-14 2008-05-15 Siemens Corporate Research, Inc. Method and System for Dual Energy Image Registration
JP2010531155A (ja) * 2007-03-19 2010-09-24 ユニバーシティー オブ サセックス 医療画像データを分析するための方法、装置およびコンピュータプログラム
JP2012519902A (ja) * 2009-03-06 2012-08-30 バイオ−ツリー システムズ, インコーポレイテッド 血管分析方法および装置

Also Published As

Publication number Publication date
US20160063721A1 (en) 2016-03-03
GB2529671B (en) 2017-03-08
JP6385318B2 (ja) 2018-09-05
JP2016049454A (ja) 2016-04-11
EP2998929B1 (en) 2020-07-29
JP6539303B2 (ja) 2019-07-03
EP2998929A1 (en) 2016-03-23
US9741123B2 (en) 2017-08-22
GB2529671A (en) 2016-03-02
GB201415251D0 (en) 2014-10-15

Similar Documents

Publication Publication Date Title
JP6385318B2 (ja) 3d医用画像中の対象物をセグメンテーションするための3d対象物の変換
Maitra et al. Technique for preprocessing of digital mammogram
EP3236418B1 (en) Image processing apparatus, image processing method, and storage medium
Hamarneh et al. 3D live-wire-based semi-automatic segmentation of medical images
Alilou et al. A comprehensive framework for automatic detection of pulmonary nodules in lung CT images
Lempitsky Surface extraction from binary volumes with higher-order smoothness
EP1789920A1 (en) Feature weighted medical object contouring using distance coordinates
EP3188127A1 (en) Method and system for performing bone multi-segmentation in imaging data
KR20070083388A (ko) 결절 검출 방법
Hong et al. A topographic representation for mammogram segmentation
Maitra et al. Accurate breast contour detection algorithms in digital mammogram
Yogeswaran et al. 3d surface analysis for automated detection of deformations on automotive body panels
Jaffar et al. Anisotropic diffusion based brain MRI segmentation and 3D reconstruction
Telea Feature preserving smoothing of shapes using saliency skeletons
Hosseini-Asl et al. Lung segmentation based on nonnegative matrix factorization
US20160019435A1 (en) Image processing apparatus, non-transitory computer-readable recording medium having stored therein image processing program, and operation method of image processing apparatus
Caliskan et al. Three-dimensional modeling in medical image processing by using fractal geometry
JP2016146132A (ja) 形状特徴抽出方法、形状特徴抽出処理装置、形状記述方法及び形状分類方法
US8165375B2 (en) Method and system for registering CT data sets
Hong et al. Segmentation of mammograms in topographic approach
Alom et al. Automatic slice growing method based 3D reconstruction of liver with its vessels
GB2529813A (en) Scale estimation for object segmentation in a medical image
KR101494975B1 (ko) 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템 및 그 검출 방법
CN101719274B (zh) 一种医学影像体数据的三维纹理分析方法
Whitney et al. Single click volumetric segmentation of abdominal organs in Computed Tomography images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190607

R151 Written notification of patent or utility model registration

Ref document number: 6539303

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151