JP2017520354A - 体組織の自動的なセグメンテーションおよび定量化のための方法 - Google Patents

体組織の自動的なセグメンテーションおよび定量化のための方法 Download PDF

Info

Publication number
JP2017520354A
JP2017520354A JP2017512098A JP2017512098A JP2017520354A JP 2017520354 A JP2017520354 A JP 2017520354A JP 2017512098 A JP2017512098 A JP 2017512098A JP 2017512098 A JP2017512098 A JP 2017512098A JP 2017520354 A JP2017520354 A JP 2017520354A
Authority
JP
Japan
Prior art keywords
tissue
voxel
identification
adipose tissue
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017512098A
Other languages
English (en)
Other versions
JP6329697B2 (ja
Inventor
レオン,リカルド アントニオ メンドーサ
レオン,リカルド アントニオ メンドーサ
カラスコ,ルイス フェリペ ウリサ
カラスコ,ルイス フェリペ ウリサ
シャルル デュエク,フィリップ
シャルル デュエク,フィリップ
エルナンデス,オヨス,マルセラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hospices Civils de Lyon HCL
Original Assignee
Hospices Civils de Lyon HCL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hospices Civils de Lyon HCL filed Critical Hospices Civils de Lyon HCL
Publication of JP2017520354A publication Critical patent/JP2017520354A/ja
Application granted granted Critical
Publication of JP6329697B2 publication Critical patent/JP6329697B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pulmonology (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

複数の画像から外部組織と内部組織との2つの注目組織間の自動的な識別を可能にし、専門家の介入を必要とすることなく、組織の各々の定量的分析を得る、コンピュータベースの方法が本明細書に開示されている。本方法は、パラメトリックな輪郭を使用する医用画像取得デバイスから得られた画像の識別領域の画定を含み、その後に、画像内に観察された様々な組織の測光特徴に基づき、識別および定量化が実施され、複数の画像内の、以前に画定された識別領域に属する各ボクセルの局所的周辺を評価する。開示の方法により、組織の識別および定量化の正確さが相当程度増大され、一方、示されるパーセンテージエラーが、診断上の目的に関して許容可能である。

Description

体組織の自動的なセグメンテーションおよび定量化のための方法。
イメージングは、迅速で信頼性の高い方法で種々の病気の識別を達成するための、一連の装置および方法によって得られる人体の画像の様々なモダリティーを使用する医学の学科である。
イメージングは、体の画像の再現のための装置が使用されるあらゆるタイプの診断および治療上の試験の実施を含み、健康科学の進展および発展に多大な寄与を与えてきた専門性を有する。今日、様々なモダリティーの人体画像が使用されている。これら人体画像は、迅速で信頼性の高い様々な病気の識別を達成するために、超音波、コンピュータ体軸断層撮影、核磁気共鳴、通常のおよびデジタル放射線医学などの一連の装置および方法を使用することによって得られ、患者の妥当で適切な治療のために必須のツールとなってきている。
しかし、分析が手動または直接的方法(すなわち、専門家による)、インタラクティブな方法、半自動的方法(部分的に専門家が介在するが、コンピュータによる技術も適用される)、または自動的方法(分析が完全にコンピュータによる技術によって実施される)のいずれによって実施されるかに関わらず、患者の健康のためにイメージングから得られる利点が、医学的画像によって提供されたデータを適切に分析する能力に大きく依存することが明らかである。
さらに、医学的画像の分析には、次のような様々な目的を含み得る。i)結果がスカラまたはベクトルであるような、入力画像の任意の特性の測定。ii)画像内の特定の領域の識別は必要ではなく、画像が正常であるか異常であるかの判定。および、iii)類似性の測定に基づく、一連の様々な領域への画像のセグメンテーション。この場合、画像の内容についての記載の提供が目的である概略的なセグメンテーション、または、共通の特性を共有する画像の領域の検出および位置測定を伴うセグメンテーションが存在し得る。
しかし、特に手動または直接的方法による医学的画像のセグメンテーションおよび定量化に関しては、そのような作業は通常、無駄が多く、オブザーバ間およびオブザーバ内における変動の影響を受けやすく、実際、このことが、解析される画像内に存在する様々な領域のエリアを推定・識別するためのコンピュータによる技術のいくつかの発展の動機となってきた。しかし、これらの方法の結果は、患者の解剖学上の多様性の影響を受け、このことは、評価者が介在して結果を(場合によって非常に広範囲にわたって)補正することが通常は必要であり、したがって医療適用への信頼性を低減することの理由となっている。
一方、インタラクティブな方法は、専門家が識別作業を行うことを支援する。この支援は、識別(区別)される組織から、排他的内容物を伴う領域を画定する輪郭の追跡を促進することによって行われる。このグループに属するいくつかの方法では、種々の関心領域を画定するために専門家ユーザによる輪郭追跡が必要とされ、定量化はユーザによる輪郭画定を利用して輪郭内のボクセルをカウントすることによって実施する。しかし、これら方法が専門家の作業を促進するが、要求される労力が大きく、専門家の判断を歪曲する場合もある。
半自動方法は、関心のある組織および器官の検出のための様々なスキームを用いて、画像内の関心領域を識別することを試みており、一般に、光線追跡、領域形成、および変形モデルなどの領域セグメンテーション手法を使用している。しかし、特異な要素の存在や、ある特定の解剖学上の特性に関する依存性により、ユーザによる能動的介入が必要となる。
たとえば、Romero et al(2006)による科学論文には、内臓脂肪と皮下組織との間の分析および識別のための、腹腔キャビティ外壁の半自動化検出技術が開示されている。そのような技術は、特別に設計された閾値と、皮膚と腹膜内の領域との間の2つの許容可能な距離の基準とを使用し、さらには、誤検知を避けるために筋肉組織を識別する。残念ながら、そのような技術には、腹腔領域の輪郭に不連続部がある場合に重大な欠点を露呈し、したがって、内臓脂肪組織を皮下脂肪組織から区別することが不可能である。
また、最新の技術では、体積測定トモグラフィ画像における腹腔内領域の輪郭検出を行うZhao et al(2006)による提案が知られており、これは体を含む矩形の幾何学中心に位置する点からの放射状プロファイル(光線)の形成に基づく。そこで、これらの光線の探索を、体の外部輪郭から中心に向かって、脂肪組織に対応する第1の不連続部が見つかるまで行うことにより、候補となる輪郭点が得られる。そして、候補となる点の半径を平滑化して、石灰化などの奇妙な要素および腹腔内部の輪郭の不連続性によって生じる歪みを補正する。
次に、Ohshima et al(2008)によって提案された方法により、光線発生源の2つの中心
を使用して、腹腔内の輪郭、および、腹膜内の領域の輪郭の検出が可能となっている。このことにより、独立してのコンピュータ体軸断層撮影画像の方法での内臓脂肪、皮下脂肪、および筋肉内脂肪の組織の評価が可能になっている。しかし、著者自身が指摘しているように、前述の方法には、特定の解剖学上の特性に大きく依存しており、腹腔内の輪郭における不連続性の存在によって大きく影響される。
一方、特許出願国際公開第2011/139232号パンフレットには、患者腹部からの3次元核
磁気共鳴画像セット上の脂肪組織の識別、そして、この脂肪組織の内臓脂肪組織および皮下脂肪組織内へのセグメンテーションのための自動的な方法が開示されている。そのような方法は、腹腔画像ボクセルに対応する頂部と、隣接する頂部を接続するエッジを含む、2次元または3次元のグラフの定義に基づく。
しかし、前述の参照文献に開示の方法では、脂肪組織ボクセルの識別のために全体的なアプローチ(グラフのパーティション化)が使用される。この手法は、腹腔内キャビティ周りで皮下脂肪組織の厚さが最小となり、脂肪組織がその領域で連続であり、前述の領域がユニークでありユニークな外部輪郭および内部(閉)輪郭によって画定される、という仮定を利用している。このような内部輪郭は非常に重要であり、それは、この輪郭がグラフの区画の最適化において使用されることになる最初の区画を画定するためである。しかし、この仮定が満たされない場合、グラフの区画の方法は予測不可能な結果と共に決定的に失敗する。その理由は、脂肪組織の領域が単一の輪郭(外部輪郭)によって、または複数の内部および外部の輪郭によってさえも画定される場合があり、最初の区画を適切に選択できないためである。開示された方法では、へその高さでの切り口においてこの問題が発生することを予期しているが、皮下脂肪組織の厚さが特に狭く、腹膜内領域の皮膚および筋肉から区別することが困難である場合、この問題を防止する機構を有していない。この欠点は、重要な臨床例の多くが、内臓脂肪の配分が異常に高い、肥満体ではない個人に関するものであるという事実のために悪化し、この場合は、皮下脂肪組織の厚さが最小で、ほとんど感知できない(5mmにも満たない)場所に見られるのが一般的である。さらに、腹腔領域における、プローブまたは石灰化としての、奇妙な要素の存在は、皮下領域
内における複数の内部領域の存在、または、この複数の領域の、複数の接続した領域(複数の外部輪郭)への分裂にさえ繋がり得る。
最後に、Mendoza et al(2011)の科学文献により、コンピュータ体軸断層撮影(CAT
:computed axial tomography)画像を使用した、皮下脂肪組織(SAT:subcutaneous adipose tissue)と内臓脂肪組織(VAT:visceral adipose tissue)とのセグメンテ
ーションおよび定量化を実施する方法が開示されている。この方法は、脂肪組織ボクセルの局所的な解剖学上の不変量の評価を使用し、その組織の識別および定量化を達成する。
しかし、この文献は、SATおよびVATのセグメンテーションおよび定量化のためのコンピュータによる方法の概要を提供しているが、その中では、信頼できるデータを得ることを必要とする、以下のものを含むいくつかの要素が考慮されていない。
・SAT組織とVAT組織との間の識別が体の全エリアにわたって実施されるので、特に、皮膚にひだがある場合や、患者の動きを原因とするアーチファクトの取得がある場合に、形態的オープニング処理の適用の後の皮膚の除去が不完全だと不適切な組織の識別に繋がり、脂肪組織の評価の際にエラーを引き起こす。
・中心ボクセルが内臓組織としてラベル付けされるのは、その周辺に内臓組織としてラベル付けされたボクセルの数が6以上である場合のみであるので、腹膜内の輪郭の不連続部周辺にある内臓組織の過小評価に繋がる。
・最初のギャップの充填は、形態的オープニング/クロージング処理の適用の間に実施され、このことは、閉じた輪郭によって画定される開領域による形態的オープニング処理の性質に起因して、不完全な方法で体の領域を充填する可能性を増大させる。
・最初の閾値設定が、脂肪組織のみを含む領域を使用して実施され、これにより、特に皮膚と腹膜内キャビティとの間の皮下組織の識別が困難である場合に、体の領域の適切なセグメンテーションが妨げられ、セグメンテーションされた皮下組織の外側の輪郭の不連続性の出現に繋がり、その結果として体の領域の完全な回復を妨げる。
・最終的なSATおよびVATの選択基準が評価される(Mとして表示される)周辺領域は、3×3のサイズであり、これにより、中心のボクセルが属する脂肪組織のタイプを正確に判定するためには不十分な情報が提供され、不正確な組織の識別に繋がる。
・最初のギャップの充填および、追跡光線の半径が制限されたギャップ充填段階には、評価時にボクセルにラベルを付すために、条件として、追跡光線すべてがすでにセグメンテーションされたボクセルと交わることを必要とし、このことが、輪郭に不連続部を含むギャップが完全に充填されることを妨げ、そのような組織の領域を識別から取り除く。
さらに、Mendoza et al(2011)の文献は、光線の分布および形状、光線の開始および終
了条件、追跡の間に記録されなければならない情報、光線の追跡の終了時において前述の記録された情報が処理されなければならない方式などの重要な態様を具体的に記載しておらず、場合、条件、およびこれに基づいて取られる行動も記載していない。
上記に鑑みて、当該技術の状況では、複数の画像から、2つの注目組織のいずれであるかを自動的に識別することを可能にし、専門家の介入を必要とすることなくそれら組織の各々の定量的評価を可能にする、コンピュータによって実施される方法を開発することの根強い要求が存在することが明らかである。
ここで、従来の技術の状態の教示を考慮し、これまで知られている医用画像(medical imaging)からの組織(tissue)の識別(differentiation)および定量化(quantification)のための方法に基づき、本発明の出願人は、複数の画像上で2つの注目組織を識別するための、コンピュータによって実施される方法であって、
a)複数の画像のエリアが、1つまたは別の注目組織(one or another tissue of int
erest)に対応するかを判定するのに必要とされるパラメータを確立すること(establishing)と、
b)前述の複数の画像における識別領域(differentiation region)を画定すること(defining)と、
c)b)で画定された識別領域の内部について、注目組織の各々に属する複数の画像のエリア間を識別すること(differentiating)と、
を含む方法を開発した。
本発明の方法により、たとえば、事前に輪郭を形成すること、またはユーザの補助を必要とすることなく、局所的に組織のタイプを識別することが可能になり、したがって、医用画像からの組織の自動的なセグメンテーションおよび定量化のための理想的な機構が達成される。
さらに、本発明の方法は、とりわけ、皮膚のひだ、棘筋、腸の内容物、骨の構造などの要素の結果として生じる組織の誤分類を低減することを可能にする一連のツールを組み込んでいる。
前述の概説に加え、本発明者によって達成された本出願の主題およびめざましい技術的利点は、添付図面を参照する、体組織の自動的なセグメンテーションおよび定量化のための方法の、次の詳細な説明によって詳細が理解され得る。
複数の画像に属する画像、および、外部組織と内部組織とが中に含まれる組織の様々な領域の一般的な構成のグラフィック表示を示す図である。 本発明の主題である問題の困難性が増大している状況がわかり得る、図1aのグラフィック表示の代替的例を示す図である。 本発明の主題である問題の困難性が増大している状況がわかり得る、図1aのグラフィック表示の代替的例を示す図である。 体組織のセグメンテーションおよび定量化の方法の本質的なステップのフローチャートを示す図である。 識別パラメータを設定するためにたどるステップを概略的な方式で記載するフローチャートを示す図である。 全体的な2方式性ヒストグラムの表示、および、各モードのためのそれぞれの領域を伴う分離閾値の例を示す図である。 パラメトリックな輪郭、および、その制御ポイントの基本的構造を示す図である。 エネルギーのバランスにおける、最初の構成から最終的な構成への、パラメトリックな輪郭の可能性のある進展を示す図である。 画像の容易に識別可能な輪郭に基づくパラメトリックな輪郭の最初の構成を画定する、可能性のある代替形態を示す図である。 組織内の不連続性、および奇妙な要素などの、外部組織と内部組織との適切な識別を妨げ得る別のシナリオを示す図である。 画像にわたる偽エネルギーポテンシャルを示す図である。 図5eのポテンシャルに関連するベクトルフィールドを示す図である。 周辺の局所的評価による、注目組織の識別の概略的フローチャートを示す図である。 光線追跡を通しての注目外部組織および内部組織の評価の概略図である。 光線の追跡および、ボクセルの局所的周辺からの情報の取得のためにたどるステップを記載する概略的フローチャートを示す図である。 光線追跡および、中心のボクセルの対応するラベリングの評価のケースを示す図である。 光線追跡および、中心のボクセルの対応するラベリングの評価のケースを示す図である。 光線追跡および、中心のボクセルの対応するラベリングの評価のケースを示す図である。 周辺の内部の、確定できないとラベルが付されたボクセルの最終的な評価の実施のための代替形態を示す図である。 皮下脂肪組織に対応する領域が外部組織であると識別され、内臓脂肪組織が内部組織であると識別され、また、内臓のキャビティがそのような組織の領域を解剖学的に画定する、腹部のコンピュータ体軸断層撮影画像を示す図である。 本発明の特定の実施形態に関する、腹腔領域の除去の間のシーケンスの結果を示す図である。 本発明の特定の実施形態に関する、腹腔領域の脂肪組織のセグメンテーションの間のシーケンスの結果を示す図である。 本発明の特定の実施形態に関する、識別領域の画定の間のシーケンスの結果を示す図である。 本発明の特定の実施形態に関する、注目組織の識別の間のシーケンスの結果を示す図である。 本発明の特定の実施形態に従う、識別の最終的な結果の別の例を示す図である。 本発明の特定の実施形態に従う、識別の最終的な結果の別の例を示す図である。 本発明の特定の実施形態に従う、識別の最終的な結果の別の例を示す図である。 本発明の特定の実施形態に従う、識別の最終的な結果の別の例を示す図である。 本方法の特定の実施形態を使用して取得された結果と、この特定の実施形態を使用することによって得られるが、追加のスクリーニングステップを含む結果との間の比較例を示す図である。 本方法の特定の実施形態を使用して取得された結果と、この特定の実施形態を使用することによって得られるが、追加のスクリーニングステップを含む結果との間の比較例を示す図である。 本方法の特定の実施形態を使用して取得された結果と、この特定の実施形態を使用することによって得られるが、追加のスクリーニングステップを含む結果との間の比較例を示す図である。 本方法の特定の実施形態を使用して取得された結果と、この特定の実施形態を使用することによって得られるが、追加のスクリーニングステップを含む結果との間の比較例を示す図である。
図1aは、体内部の複数の画像に属する画像R101のグラフィック表示を示している。ここで、前述の体は、バックグラウンドR107の内部に位置しており、体内部には、識別されるべき注目組織の2つの領域がある。外部組織(extrinsic tissue)R102および内部組織(intrinsic tissue)R103は、それらを区別する異なる測光特徴(photometric characteristics)を有する場合もあるし、有しない場合もある。領域R102
は外部から、組織R105によって画定(delimit)され、内部が組織R104によって
画定されている。そして組織R104は外部から領域R103を画定している。そのような画像R101は、医用画像取得デバイスによって得られた信号の2次元の再構成シーケンスに対応し、それら信号の各々にわたる平面を画定してもよい。一方、組織R104は、連続している場合もあるし、不連続部が存在して部分的に組織103を画定する場合もあり、したがって、1つまたは複数の位置において、組織R102が組織R103と接触
する。同様に、組織R104の位置は、組織R105の位置に非常に近かったり接触していたりする場合もある。最後に、組織R104およびR105の形状と厚さとの両方は、その長さに沿って変化し得る。
図1bおよび図1cは、図1aのグラフィック表示の代替的例を示している。ここでは、本発明の対象となる問題の困難性が増大している状況が把握できる。たとえば、組織R104と組織R105とが、その長さに沿う位置R110およびR111において結びついて(bind)おり、組織R102の領域を2つの領域R112とR113とに分割する。
図2は、本方法の3つの重要なステップの概略図を示している。ステップR201では、外部組織R102と内部組織R103の識別に使用されるパラメータが設定される。ステップR202では、画像R101に基づき、領域R103を含む領域輪郭(contour)
R106によって境界が画定された識別領域と、組織R105の外部輪郭によって境界が画定された領域の内部に位置している識別領域とが画定される。ステップR203では、組織R102およびR103の識別が実施される。
図3は、R201で識別パラメータを設定するために行われるステップを概略的に記載するフローチャートである。このチャートは、識別パラメータを設定するために必要な情報を、以下の異なるソースに基づくステージ(ステップ)のセットによって取得するものとみなせる:本方法の開始時にすでに確立されたデータ(たとえば、データファイル)または外部のソース(たとえば、ユーザ)からの取得R301と、複数の画像またはこれら複数の画像のサブセットからの、ボクセルの全体的な分析(global analysis)の実施に
よる取得R302と、画像内またはボクセルのサブセットの周辺領域のセットからの、局所的分析(local analysis)の実施による取得R303。そして、最後のステップR304では、前の各ステップで収集された情報から、識別パラメータが確立される。最後に、使用される情報の性質は、コンピュータ体軸断層撮影画像に使用されるハウンズフィールドユニットなどの、様々な領域または組織の測光特徴、または、他のソースからの画像に含まれる注釈(ラベル)などの他の情報に対応し得る。
ステップR301、R302、およびR303により、上述のソースから様々な情報を収集することが可能になり、したがって、識別パラメータの確立が可能になるが、本方法のいくつかの代替実施形態では、前述のソースのサブセットのみを含んでもよいし、異なる順番で情報を収集してもよい。識別パラメータをインクリメンタルに確立する代替形態も可能である。このことは、ステップR201の終了時に、パラメータのサブセットのみが確立され、次いで、欠けているパラメータが本方法における後のステップで情報が収集および分析されるにつれて確立されることを意味している。この場合、残りのパラメータを設定することがより適切あるいは妥当である。
ステップR304で確立される識別パラメータには、
a)複数の画像の事前処理の実施、
b)体の領域に対する補正の実施、
c)複数の画像の、注目される外部組織R102および内部組織R103、バックグラウンドR107の組織、および他の体組織についての、領域、輪郭、形状、またはテクスチャの評価、
d)識別領域を画定する輪郭R106の取得、
e)周辺(neighborhoods)の局所的なサンプリングの形状およびサイズの確立、
f)周辺の局所的サンプリングを実施する方法の確立、ならびに、
g)外部組織および内部組織の識別のための選択基準の確立
に必要なパラメータが含まれる。
本方法の第1のステップR201で設定されるパラメータの性質と、前述のパラメータがどのように設定されるかを説明するために、以下に、互いに近い測光特徴を有する2つの組織を分離するための閾値をヒストグラム分析によって取得する例が示されている。しかし、予備的に、分析対象のヒストグラム(および、パラメータを確立するための任意の他のモデル)が、ステップR301、R302、またはR303のいずれかまたはこれら全てにおいて得られる情報の結果でありうることを強調することが極めて重要である。たとえば、外部のソースからの情報により、特性ヒストグラムの先験的モデルが得られ、このモデルと、画像の局所的または全体的のソースからのボクセルの頻度の情報とによって、分析を実施するためのより適切な「正しい」ヒストグラムの形成が可能になる。
本例について説明を続ける。図4は、ボクセル強度の測光特徴に関する二峰性タイプの概略的なヒストグラムR401を示す。ここでは、画像に現れる特定の組織の各モードR402、R403の間に関連が存在している。各モードの強度が部分的に重なり合っていることが観察できる分離谷部がモード間に存在する。同様に、これらモードの区間R405およびR406の画定を可能にする分離閾値R404が観察され得、これにより、これら関連する組織の識別が可能になる。この閾値は、他の代替物の中で、k平均または傾斜勾配R407としてのクラスタリング方法を通して取得され得る。
識別領域は、本方法の第2のステップR202で画定される。このステップは、識別領域の画定をさらに継続するための、画像をフィルタリングおよび補正するプリプロセシング初期ステップを伴う場合がある。前述の識別領域は、本方法には重要であり、これは以下に説明する理由のためである。
注目組織の局所的識別はある仮定と共に開始し、この仮定に従って、組織R102を制限する組織R105に属するすべてのボクセルに、バックグラウンドR107のボクセルと同じ方式あるいはより概略的な方式でラベルが付され、これらのラベルにより、注目組織および体領域内の任意の他の組織からそれらを識別することを可能になる。上述の仮定を満たす方法は、組織R105のボクセルにバックグラウンドとしてのラベルを付すことである。しかし、これが不可能であったり、得られる結果の信頼性が極めて低かったりする場合が存在する。たとえば、組織R104およびR105の光度測定による識別が不可能であったり、さらには、位置R110およびR111において生じるようにいくつかのポイントにおいてこれらが結合していたりする場合、または、組織R105の厚さが、取得デバイス(例えばモーションブラーなど)に起因する大きな変化R114を示し、前述の組織の厚さに関する事前の仮定を逸脱する場合、または、最悪のシナリオの場合では、組織R102の厚さが薄いために、図1cに示すように、組織R120と組織R121の分離が識別できない場合である。対照的に、それぞれ輪郭R115と輪郭R122とによって制限された領域の内部のボクセルは示された仮定に適合し、すなわち、これらによって上記問題の解決のための識別領域の画定が可能になる。最後に、前述の識別領域が画像内の注目組織のボクセルすべてを含んでいないが、識別ステップR203は該条件を要求しないことに留意することが重要である。最後に、識別領域の注目組織のボクセルを識別した後に、該領域に含まれていない残りの注目ボクセルはすべて外部組織としてラベルが付され、このようにして画像内の注目組織全体にわたる識別を完了する。
ここで、識別領域を限定する輪郭R106は、専門家の作業者によって手動で、または、パラメトリックな輪郭R501(図5a)の画定を考慮する自動的手段を使用して、追跡され得る。パラメトリックな輪郭は、制御ポイントR502のセットを使用して画定され得る。この制御ポイントは、線形関数、多項式関数、または有理関数を用いて補間され得、この方法で、セグメント毎に輪郭を画定する。前述の制御ポイントの位置は、画像の前記領域内のボクセルの全体的または局所的な測光特徴の分析によって、組織R522(図5c)の外側輪郭または内部輪郭の識別に基づいて画定され得る。ボクセルの形状分析
、指向性、または局所的連続性も、その目的のために使用され得る代替形態である。
別の代替形態は、輪郭R511(図5b)の初期状態から、擬似エネルギー汎関数(実際の値を関数のセットに関連づける関数、たとえば、ベクトルフィールド上の線積分)の値の最小化(または最大化)するように、その形状および位置を変更し、最終的に平衡輪郭R512が得られる。平衡輪郭は、その形状のわずかな変化によっては、その汎関数が低減されないことを特徴とする。動的輪郭(Active Contour (Snakes))およびレベルセ
ット(Level Set)が、上述の原理に基づく技術の例である。同様に、この初期輪郭は、
いくつかの方式で構成され得る。たとえば、バックグラウンドR521内の予め確立された位置では、体または組織R522に極めて近い体R523の内部を囲む。使用する制御ポイントR524の数は、輪郭について必要とされる品質に依存する。
汎関数を使用する代替形態には、以下のような問題に対してロバストであるという利点がある。すなわち、組織R531(図5d)の不連続性、R110およびR111におけるような組織の近接、R532およびR533に見られるような領域R102内の外的要素の発生、または、高ノイズや低コントラストといった画像の全体的な質の問題などの問題に対してロバストであるという利点がある。同様に、前述の汎関数は、図5eに示すような体の測光特徴に基づいて調整され得、それにより、図5fに示すような擬似エネルギーフィールドが定義される。この擬似エネルギーフィールドに基づき、初期輪郭をパラメータとして取る微分方程式の解から得られる汎関数による動的輪郭、体の擬似エネルギーフィールド、および、輪郭の弾性および剛性を制御する外部のパラメータのセットが使用され得る。
本方法の最後のステップR203では、外部および内部の組織の識別が実施される。当該ステップでは、ステップR201におけるパラメータセットおよびステップR202で得られた識別領域が使用される。周辺の局所的評価を用いた注目組織の識別の概略的フローチャートが図6に示されている。識別領域内の注目組織としてラベル付けされたボクセルセットが与えられると、それらの1つがR601で選択され、中心ボクセルと呼ばれる。直後に、当該中心ボクセルに近い周辺内のボクセルがR602で評価され、これにより定量的な評価値セットが得られる。当該定量値セットは、R603で、選択基準のグループを評価するために使用され、そのパラメータはステップR201で事前に確立されている。選択基準が満たされている場合は、中心ボクセルはR604で内部組織としてラベル付けされ、一方、そうでなければ、中心ボクセルはR605で外部組織としてラベル付けされる。識別の決定がされた後に、ラベリングに係わっている注目ボクセルセットが残っているかが確認され、その場合、ステップR601に戻り、そうでなければ、プロセスは終了する。
中心ボクセルの局所的周辺の評価は、光線追跡技術を使用して実施され得る。そのような評価は、別の事前に確立された形状(ウィンドウ)を伴う周辺の分析を通して、または両方の技術を共に使用して行うことも可能である。図7Aは、識別領域R704の内部の中心ボクセルR705およびR706からの光線追跡R703およびR707を用いた、注目される外部組織R701および内部組織R702に関する評価の概略図を示している。追跡光線の形状に関し、いくつかの代替形態が存在する。たとえば、光線間の角度に関する分離は、一様でも、不規則でも、あるいはランダムでもよく、中心ボクセルからの追跡光線の量は、2以上とすることができ、当該光線の量は画像内での中心ボクセルの位置に応じて変化させてもよい。さらに、直線経路の代わりに、湾曲した経路で追跡してもよい。最後に、光線追跡がすべての注目ボクセルに実施されると述べたが、このことは、光線の幾何学的性質に起因して、必ずしもすべての場合に必要ではない。
図7bは、光線を追跡し、ボクセルの局所的周辺の情報を取得をしてその評価R602
を行うためのステップを記載する概略的フローチャートを示している。第1に、R710で光線追跡の経路の方向が選択され、さらに光線の始点として中心ボクセルが確立される。第2に、R711で、新しいボクセルと交わるまで選択方向に光線追跡を継続し、当該ボクセルの情報が記録される。R712で、光線追跡に沿って記録された情報が、確立された停止基準のいずれかを満たす場合、R713で光線によって満足された停止基準が記録され、追跡を停止する。そうでなければ、光線追跡は継続される。最後に、R714で、追跡光線が依然として存在する場合、ステップR710から再び開始される。そうでなければ、中心ボクセルの光線追跡が終了し、追跡された各光線によって満たされた停止基準の情報リストが得られる。当該リストに記録された情報は、R603で内部組織の選択基準を使用して解析される。
光線追跡を使用する注目組織のボクセルの局所的評価の実施のための代替的実施形態が、図7c、7d、および7eに示されている。図7cでは、組織R723によってほぼ囲まれている注目組織領域R722の内部に位置する中心ボクセルR721が観察されている。追跡光線R724のグループから、少量の光線(w以下)が識別領域R727の外部という停止基準R726に達した場合、中心ボクセルR721が内部組織としてラベル付けされる。一方、図7dでは、組織R723によってほぼ囲まれている領域の内部にない中心ボクセルR734が観察されている。追跡光線R731のグループから、大量の光線(k以上、ここで、kはwより大である)が識別領域R733の外部という停止基準R732に達した場合、中心ボクセルR734が外部組織としてラベル付けされる。最後に、図7eでは、追跡された光線R741のグループから、典型的ではない数の光線(wより大で、kより小)が、識別領域の外部という停止基準R742に達した場合、中心ボクセルR744が、不確定のボクセルとしてラベル付けされる。不確定のボクセルであるとしてラベル付けされるケースでは、不確定のボクセルのラベリングを完了するさらなる分析が必要とされる。たとえば、以下に詳述するウィンドウ技術に基づく分析である。
図7fは、周辺の内部(最終識別ウィンドウと呼ばれる)の不確定であるとラベル付けされたボクセルに対して、最終ラベリング規則を使用して、最終的な評価を実施するための代替形態(ウィンドウ技術と呼ばれる)を示している。この最終的な評価が実施される最終識別ウィンドウは、任意のサイズまたは形状を有してもよく、さらに、このサイズまたは形状は、評価がされる中心ボクセルの位置に応じて変化してもよい。たとえば、図7fでは、不確定のボクセル(中心ボクセル)に隣接する8つのボクセルによって形成されるウィンドウが使用される。別の代替形態では、ウィンドウは17×17のサイズのより大きい周辺を含んでおり、これにより中心ボクセルのより正確なラベリングが可能になる。そのような代替形態のための最終ラベリング規則として、その識別ウィンドウR752の内部において、事前に内部組織R753であるとラベル付けされたボクセルの数が、事前に外部組織R756であるとラベル付けされたボクセルの数以上である場合、不確定ボクセルR751は内部組織であるとラベル付けされる。一方、その識別ウィンドウR755の内部において、事前に外部組織R756であるとラベル付けされたボクセルの数が、事前に内部組織R753であるとラベル付けされたボクセルの数より大である場合、不確定ボクセルR754は外部組織であるとラベル付けされる。さらに別の代替形態では、最終的な評価は複数の形状のウィンドウを使用して実施されてもよく、これらウィンドウに加えられる結果に基づくラベリングを採用してもよい。
本発明の特定の実施形態では、患者の腹腔領域(体)の複数の画像から、脂肪組織と呼ばれる注目組織が、皮下脂肪組織(SAT:subcutaneous adipose tissue)と呼ばれる
外部組織と、内臓脂肪組織(VAT:visceral adipose tissue)と呼ばれる内部組織と
のいずれであるかを識別するためのコンピュータベースの方法であって、
a)体の様々な組織のセグメンテーションパラメータ、識別領域を画定するのに必要なパラメータ、および、識別領域内の識別を実施するのに必要なパラメータを含む、脂肪組
織の識別に必要なパラメータを確立することと、
b)図9に示すように、皮膚の部分的除去、およびバックグラウンド領域・脂肪組織・非脂肪組織(骨および他の柔らかい組織)の補正・画定・識別を目的として、前述の複数の画像から患者の腹腔領域を除去することと、
c)図10に示すように、前述の腹腔組織の脂肪組織をセグメンテーションすることと、
d)図11に示すように、前述の腹腔領域内の前述のセグメンテーションされた脂肪組織を含む識別領域を画定することと、
e)図12に示すように、前述の識別領域内の前述のセグメンテーションされた脂肪組織に属するボクセルを、皮下脂肪組織または内臓脂肪組織として識別することと、
を含む方法が開示されている。
体の抽出は、識別領域の画定の前の前処理ステップであり、その目的は、画像内の無関係の要素のフィルタリングと、良好に画定された身体の領域を得ることである。この第2段階を実施するためには、柔らかな組織(皮膚、脂肪組織、および筋肉)の全体が、図9の左の画像に示すように、予め画定された−500から150のハンスフィールド単位(HU)の範囲を用いて閾値処理が行われ、その後に、半径3ボクセルの円形構成要素を使用した形態的オープニング処理を画像に施し、これにより、図9の中央の画像に示すように、領域内の欠陥の補正と、スキャナテーブルを含む外的要素の除去とを可能にする。次いで、体内のギャップを、上述の様々な光線追跡技術を使用する評価スキームによって充填する。この処理では、セグメンテーションされなかったボクセルが、部分的または全体的にセグメンテーションされたボクセルによって囲まれているかが確認され、その後に、再び、半径3ボクセルの円形構成要素を使用しての形態的オープニング処理の適用が継続される。これにより、体のこの領域のためのマスクが得られる。このマスクは、図9の右の画像に示すように、元々の画像から当該領域を抽出するのに使用される。
第3段階では、腹腔脂肪組織は、単純な閾値処理によって、抽出された体画像上でセグメンテーションされる。閾値処理で利用されるのは、ユーザによって与えられた範囲(最も一般的な範囲は−150から−50HUの間である。また、これが本方法によって必要な唯一の入力パラメータである)、あるいは第1段階においてヒストグラム分析または上述の代替形態の他の分析を使用して得られる範囲である。この後、セグメンテーションされた脂肪組織内に存在するギャップが、上述の方式と同様の方式で充填されるが、光線の最大の領域は7ボクセルに限定される。これにより、閾値処理におけるわずかな欠陥が補正され、脂肪組織の一様な領域が形成される。最後に、このステップは、抽出された体に脂肪組織マスクを重ね合わせ、それによってバックグラウンド、脂肪組織および様々なタイプの非脂肪組織の閾値処理された領域を得ることで終了する。
本方法の第4のステップは、識別領域の画定で開始され、これにより、とりわけかなり肥満の人の皮膚のひだおよび外的要素の発生などの、上述および、図1b、1c、5d、13b、13c、および13dに示したような画像の困難性が、識別プロセスに影響しないようにする。識別領域の当該画定は動的輪郭を採用しており、この輪郭は、図5cおよび図11の左の画像に示すように、第2段階で抽出された体の輪郭周りで初期化される。
Snakesとしても知られる動的輪郭は、画像から生成される外部ポテンシャルの下で、その内部エネルギーの最小化に基づいて進展する湾曲モデルである。Snakeの動きは微分方程式(式1)によって定義される。
Figure 2017520354

ここで、αによって輪郭の弾性が制御され、βによって剛性が制御される。また、∇Eextは、(画像からの)外部のエネルギーポテンシャルから生じるベクトル場である。
本明細書に開示の方法は、Xu and Prince(1997)によって提案された勾配ベクトルフロ
ー(GVF:Gradient Vector Flow)技術を使用している。この技術により、図5eに示すように、画像によって生じた外部のエネルギー(画像のポテンシャル)のモデル化が可能になり、それにより、図5fに示すような、ベクトル場が得られる。このベクトル場は、Snakeの形状に影響する。前述のベクトル場を得るために、汎関数の最適化が実施される(式2)。
Figure 2017520354

ここで、εは最小化される自由エネルギーであり、fは画像のポテンシャルの関数であり、μ、μ、およびμはポテンシャルの減衰を制御するための項であり、νは画像に関するベクトル場である。
識別ステップは2つの反復で実施される。第1に、局所的周辺の評価により、SAT組織およびVAT組織の候補ボクセルを識別する。第2に、ウィンドウ技術を使用した当該結果の分析によって識別が完了する。
局所的周辺の評価では、評価される脂肪組織ボクセルを中心として8つの異なる方向への光線追跡に基づいて局所的周辺を包括的に評価する方法を用いて、候補ボクセル(SAT組織およびVAT組織)が高い信頼性で識別される。各脂肪組織ボクセルの初期化(式3)をし、各光線の長さが条件式(式4)によって繰り返し増大され、停止条件(式5)に達する。
Figure 2017520354
ここで、ボクセル(x,y)が属する脂肪組織のタイプが、強力な皮下基準(式6)および
強力な内臓基準(式7)を使用して記録ベクトルV()を評価することによって識別される

Figure 2017520354

ここで、Ibackg()(式8)は、ラベルがバックグラウンドの画像に対応すれば1を返し、そうでなければ0を返す関数である。
最後に、強力な基準を満たさないボクセル(3つの光線のみがバックグラウンドに達する)または不確定ボクセルが、最終選択基準または最終ラベリング規則によって評価される。ここでは、評価対象の中心ボクセル内を始点とする最終識別ウィンドウ内で識別済みのボクセルからの情報を使用して、多数決スキームが取られる。
最後に、SATおよびVATとして分類されたボクセルが数えられ、その結果が画像内のボクセルの体積によって乗算され、これによりSATおよびVATに関する定量的な測定値が得られる。
図13a、13b、13c、および13dは、コンピュータ体軸断層撮影による腹腔画像の、上述の方法の特定の様式を使用して得られた結果の例を示している。ここで、左の画像は腹腔領域のオリジナルの断面であり、右側の画像は注目組織の識別結果に対応する(皮下脂肪としてラベル付けされた脂肪組織は青色で示され、内臓脂肪としてラベル付けされた脂肪は赤色で示される)。図13aは、内臓組織の割合が大きい個人の画像に対する結果を示している。そして、図13bは、皮下および内臓組織が少ない個人の画像に対する結果を示している。ここで、R104とR105との間の分離がわずかであることが見て取れ、これは図1bに示したシナリオの例である。図13cは、鮮明さのほとんどない画像の結果を示している。ここで、さらに、組織R104に関する輪郭のいくつかの不連続性、および、体の右下部における外的要素が顕著であり、図5dのシナリオにおいて説明した事態である。最後に、図13dは、皮膚のひだの画像の状態を示している。このことは、識別領域における使用のためのものではない場合、識別において問題を生じる。
ここで、本発明のさらに別の実施形態では、本方法は、VAT組織の小さな連結要素のさらなるフィルタリング段階を伴っている。これは、SAT組織とVAT組織とのセグメンテーションの前に実施され、その中で、VATとしてラベル付けされた関連要素であって面積が所与の選択閾値よりも小さいものは、第3のタイプの脂肪組織(筋肉内組織と呼ばれる)として再ラベル付けされる。この閾値の選択は、VATとしてラベル付けされた
連結要素の面積のヒストグラムを分析することによって計算され得る。ここで、当該分析は、ヒストグラムにおける小サイズの連結要素のモードと大サイズの連結要素のモードとを分離する閾値の位置に対応し、この目的のために、分散最小化手法、最急降下法またはk平均などのクラスタリングが使用される。
実際に、この追加の段階で試みられることは、VATのセグメンテーション結果からこのカテゴリの一部ではない小サイズの脂肪組織連結要素(または領域)を識別および除外(フィルタリング)することである。概して、これら領域は腹膜後エリアの様々な位置、通常は脊椎傍筋肉内、よりまれな場合では、斜筋系、腎臓、および硬膜外領域(脊椎のコア内)に位置している場合がある。
これら脂肪組織の領域は、その面積が、より大きいサイズの脂肪組織の領域と比較して数桁のオーダーで小さいことを特徴とする。これは、それらが通常は内臓脂肪組織に関するためである。したがって、VATセグメンテーションが本明細書に開示の方法によって得られた後に、そのような識別および除外を達成するためのステップは以下のようになる。
1.VAT組織のセグメンテーションされた画像内の連結要素が識別され、数えられ、その面積が計算される。こうして、連結要素とそのそれぞれの面積のリストが得られる。
2.ステップ1で得られたリスト内の連結要素の面積の頻度に関するヒストグラムを計算する。小面積モードは小サイズの連結要素(たいていの場合、VATではない)を表し、より頻度の高いモードはより大きい連結要素(たいていの場合、VATである)を示す、二峰性ヒストグラムが得られることが期待される。
3.ステップ3で得られたヒストグラムに基づき、選択閾値を計算する。この処理は、ヒストグラムの各モード間の最適な分離値の近似値を見出すことを試みる処理である。Otsuなどの分散最小化方法、最急降下法、またはグループ化(クラスタリング)およびk平均を用いて、この値を計算するいくつかの自動的方法が存在する。このステップにおけるパラメータとして、得られた選択閾値にわたるバイアス値を定義してもよい。これにより、連結要素の除去の程度を増大または低減させる(分離値に加算または減算する)ことが可能になる。
4.ステップ4で計算された最終的な選択閾値を使用して、小さな連結要素の識別および除去を実施する。このために、ステップ1から得られるリスト内の連結要素の各々の面積を、最終的な選択閾値と比較する。連結要素の面積が閾値より小さい場合、連結要素を、非VATラベルまたは他の脂肪組織を象徴する新たなラベルのいずれかで再ラベル付けする。そうでなければ、連結要素は変更しない。
本発明のさらに別の実施形態では、本方法は、VATとしてラベル付けされたボクセルの内部の腸要素の誤検知をフィルタリングするさらなるステップを含んでいる。この段階の実行は、小さな連結要素のフィルタリングを行う前でも後でもよく、現在VATとラベルが付されているオリジナル画像のボクセルに対して、ノイズまたはエントロピー推定の微分演算子(グラディエントまたはラプラシアン)をまず適用し、結果として得られた画像の絶対値を計算し、この絶対値を事前に定義された閾値を使用して閾値処理し、それにより、大きな値のボクセルのみにラベルを付す。次いで、VATとしてラベル付けされたボクセルの各々の周辺について、ノイズ推定に関する技術(分散、信号対ノイズ比、カルバック・ライブラー情報量、シャノンエントロピー、または他の同様のもの)を使用して分析する。最後に、VATとしてラベル付けされたボクセルは、得られた推定ノイズが事前に定義された値を超える場合、非脂肪組織として再ラベル付けされる。
実際に、この追加の段階は、コンピュータ体軸断層撮影画像の腸のテクスチャの特性を考慮し、それにより、VATのセグメンテーションされた画像内の誤った脂肪組織のボクセルが識別され、除去され得る。この追加の段階を実施するステップは以下のようになる

1.注目領域の画像(このステップにおける入力画像は理想的には、注目領域の画像であるが、オリジナルの腸要素すべてを含むオリジナル画像またはオリジナル画像から得られる他の画像も有用であり得る)に基づいて、微分画像と呼ばれる新たな画像を生成する。微分画像は、適切な微分演算子(またはフィルタ)、好ましくは、グラディエントもしくはラプラシアンまたはノイズもしくはエントロピーの推定などのように等方的な演算子の適用の結果である。最後に各ボクセルにおいて絶対値が計算される。
2.オプションとして、オリジナル画像や処理中に生成される別の画像における脂肪組織のセグメンテーション情報を使用して、微分画像を補正(ある領域の除去)してもよい。この処理は、除去の際に誤検知に繋がり得る情報を取り除くことを目的としている。
3.事前に定義されたか自動的に計算される(小さな連結要素のフィルタリング方法に従ってヒストグラムを分析する)値を有する閾値を使用して、微分画像を閾値処理し、閾値を超える値を有するボクセルをラベリングすることで画像をさらにセグメンテーションする。高い値を有するボクセルに関心があるのは、強度に大きな変動が存在する場所を示しているためである。
4.最後に、微分画像上の周辺を分析することによって、正確ではない脂肪組織のボクセルの除去を行う。この処理は、以下の選択、推定、および除去のサブステップを含む。
a.脂肪組織の画像内のVATとしてラベル付けされたボクセルを選択する。選択されたボクセルの各々の周辺を、閾値処理された微分画像内で分析する。この周辺は、様々な寸法および形状を有してもよいが、好ましい実施形態では、少なくとも半径5ボクセルの円形の周辺が使用される。
b.微分画像の内部のラベルが付された周辺とラベルが付されていない周辺の分布を考慮したノイズ(または不規則部)推定を用いて、周辺を分析する。好ましい推定モデルは、信号対ノイズ比であるが、他の代替物を使用してもよい。
c.ボクセルの周辺に関するノイズの推定結果が、事前に定義されたか自動的に判定された閾値(改善1に対する同様の方法の類似物をたどる)を超える場合、当該ボクセルは、VATのセグメンテーション画像内で非VATとして再ラベル付けされる(すなわち、除去される)。
比較例として、図14aは、腹部内の腸要素のサイズおよび複雑な構造の場合に、識別が困難である画像を左に示しており、一方、右の画像は、内臓脂肪組織に対応する正解パターン(3人の専門家によって実施された手動セグメンテーションの結果)を示しているケースを提供している。図14bは、特定の実施形態を使用して得られた結果(左の画像)と、腸要素から小さな連結要素のフィルタリングおよび誤検出のフィルタリングのステップを含む特定の実施形態を使用して得られた結果(右の画像)を示している。そして、図14cは、図14bの結果の各々に対応する内臓脂肪組織の領域を示している。最後に、図14dは、例示的ケースにおいて正解基準と比較したときの相違を、特定の実施形態の結果(右の画像)および、上述のフィルタリングステップが実施された特定の実施形態の結果(左の画像)とについて示している。ここで、白色、赤色、および緑色の領域は、正しい検出、誤検出、および検出漏れをそれぞれ示している。
フィルタリングステップを先に行った特定の実施形態の方法を、30人の患者のL3脊椎のレベルにおける断面のコンピュータ体軸断層撮影セットを使用して、手動セグメンテーションの正解基準に関して定量的に評価された。正解基準は、3人の専門家が独立かつ盲検方式で行ったVATの手動セグメンテーション結果の調和に基づいて定義された。すなわち、3人の専門家がVATであるとラベル付けしたボクセルのみが、正解基準においてVATとしてラベル付けされる。得られた評価結果は、感度に関してμ=0.9025およびσ=0.0512、特異度に関してμ=0.9856およびσ=0.0083、DICE係数に関してμ=0.8396およびσ=0.0560であり、正解基準のVAT面積とフィルタを伴う特定実施形態によって推定されたVAT面積との間のエラーのパー
センテージは、μ=13.1%、σ=9.1%であった。さらに、観察者間相違を、評価者間で相違する面積を正解基準のVAT面積に対するパーセンテージで評価で測定して分析したところ、相違または評価者間変動はμ=17.98%、σ=4.33%という結果が得られた。このことは、本方法が、専門家の間で観察された評価者間の変動と比較した場合に、概して、VAT面積の推定について高い正確さが与えられることを示している。

Claims (44)

  1. 複数の画像から、内部組織と外部組織と2つの注目組織を識別するためのコンピュータベースの方法であって、
    a)前記複数の画像のエリアが1つまたは他の注目組織に対応するかを判定するのに必要とされるパラメータを確立するステップと、
    b)前記複数の画像における識別領域を画定するステップと、
    c)b)で画定された前記識別領域の内部について、注目組織が内部組織と外部組織のいずれであるかを識別するステップと、
    を含むことを特徴とする方法。
  2. 前記識別される組織が、同様の測光特徴を有するが、異なる測光特徴を有する他の組織による完全なまたは部分的な境界を有する、
    請求項1に記載の方法。
  3. 前記複数の画像が、医療撮像デバイスによって得られた信号の2次元再構成のシーケンスに対応する、
    請求項1に記載の方法。
  4. 前記識別領域がパラメトリックな輪郭を使用して画定される、
    請求項1に記載の方法。
  5. 前記パラメトリックな輪郭は、前記複数の画像からの情報と、前記複数の画像のエリアが前記外部組織および内部組織のいずれに対応するかを判定するのに必要とされる前記パラメータのセットと、を使用して計算される疑似エネルギー汎関数に従う、
    請求項4に記載の方法。
  6. 前記パラメトリックな輪郭は動的輪郭であり、前記疑似エネルギー汎関数は微分方程式の解に対応する、
    請求項5に記載の方法。
  7. 前記識別パラメータを確立するステップは、前記画像に観察される組織の前記測光特徴を使用することを含む、
    請求項1に記載の方法。
  8. 前記取得デバイスは、測光特徴としてハンスフィールド単位で測定される前記様々な組織の強度を使用する、コンピュータ体軸断層撮影デバイスに対応する、
    請求項2、3、および7のいずれか一項に記載の方法。
  9. 前記識別は、前記識別領域に属する各ボクセルの局所的周辺を評価することによって実施される、
    請求項1に記載の方法。
  10. 識別される各ボクセル内の前記局所的周辺の前記分析は、前記識別されるボクセルを始点とし停止基準に達するか前記識別領域の外側に達するまで異なる方向に追跡される光線のセットと交わるボクセル内に含まれる情報を評価することによって実施され、
    請求項9に記載の方法。
  11. 前記光線のセットは、体の画像の2次元再構成の各々によって画定された平面上で追跡される、
    請求項10に記載の方法。
  12. 前記光線のセットは、45度の一様な角度でセグメンテーションされた8つの追跡光線に対応する、
    請求項11に記載の方法。
  13. 前記光線の各々に関する前記停止基準は、前記光線と前記注目組織に属さないボクセルとの交差に対応する、
    請求項10に記載の方法。
  14. k本以下の追跡光線が前記識別領域の外部に達する場合、中心の前記ボクセルは内部組織であるとラベル付けされ、
    w本以上の光線が前記識別領域の外部に達する場合(kはwより大である)、前記中心ボクセルは外部組織であるとラベル付けされ、
    そうでなければ、前記中心ボクセルは不確定であるとラベル付けされる、
    請求項13に記載の方法。
  15. 前記不確定であるとラベル付けされたボクセルは、最終ラベリング規則を使用して、最終識別ウィンドウの内部で識別される、
    請求項14に記載の方法。
  16. 前記最終識別ウィンドウは、前記不確定であるとラベル付けされた中心ボクセルに隣接する8つのボクセルを含む、
    請求項15に記載の方法。
  17. 前記最終識別ウィンドウは、17×17の寸法の正方周辺の前記ボクセルを含み、前記中心ボクセルは不確定であるとラベル付けされたものである、
    請求項15に記載の方法。
  18. 前記最終ラベリング規則は、前記識別ウィンドウの内部において、以前に内部組織であるとラベル付けされたボクセルの数が、以前に外部組織であるとラベル付けされたボクセルの数以上である場合に、前記中心ボクセルを内部組織であるとラベル付けし、そうでなければ、前記中心ボクセルを外部組織であるとラベル付けする、
    請求項1から17のいずれか一項に記載の方法。
  19. 前記最終ラベリング規則は、前記識別ウィンドウの内部において、以前に内部組織であるとラベル付けされたボクセルの数が3より大きい場合に、前記中心ボクセルを内部組織であるとラベル付けし、そうでなければ、前記中心ボクセルを外部組織であるとラベル付けする、
    請求項18に記載の方法。
  20. 前記識別領域の内部のギャップを充填するさらなるステップを含み、このステップは、セグメンテーションされていないボクセルの各々を始点とする異なる方向への光線のセットを、すでにセグメンテーションされたボクセルに達するまでまたは最大長さLに達するまで追跡し、これら光線のサブセットQがすでにセグメンテーションされたボクセルに達する場合に前記ボクセルを前記セグメンテーションに含めることによって行われる、
    請求項1に記載の方法。
  21. 前記識別領域の内部の前記注目組織の各ボクセル内を始点とする前記追跡光線のセットは、45度の一様な角度でセグメンテーションされた8つの追跡光線に対応する、
    請求項20に記載の方法。
  22. 前記複数の画像内の、前記内部組織の誤検出のフィルタリング、および、内部組織の小さな連結要素をフィルタリングするための、前記識別ステップの後に実施される追加のステップを含む、
    請求項1に記載の方法。
  23. 患者の腹腔領域(体)の複数の画像から、脂肪組織と呼ばれる注目組織が、皮下脂肪組織(SAT)と呼ばれる外部組織と内臓脂肪組織(VAT)と呼ばれる内部組織とのいずれであるかを識別するためのコンピュータベースの方法であって、
    a)脂肪組織の識別に必要なパラメータを確立することと、
    b)前記複数の画像から前記患者の腹腔領域を抽出することと、
    c)前記腹腔領域内の脂肪組織をセグメンテーションすることと、
    d)前記腹腔領域内の前記セグメンテーションされた脂肪組織を含む識別領域を画定することと、
    e)前記識別領域の内部の前記セグメンテーションされた脂肪組織に属するボクセルを、皮下脂肪組織または内臓脂肪組織として識別することと、
    を含むことを特徴とする、方法。
  24. 前記複数の画像は、コンピュータ体軸断層撮影撮像デバイスによって得られた信号の2次元再構成のシーケンスに対応する、
    請求項23に記載の方法。
  25. 前記複数の画像内の前記腹腔領域の抽出は、
    a)前記複数の画像内の前記患者の前記腹腔領域をセグメンテーションするステップと、
    b)セグメンテーションに含まれる外的要素を除去し、前記腹腔領域の輪郭を補正するステップと、
    d)外的要素を除去した後に、前記セグメンテーションされた腹腔領域内のギャップを充填するステップと、
    e)外的要素の除去、皮膚の除去、および前記ギャップの充填の後に、前記セグメンテーションされた腹腔領域に属する前記複数の画像のボクセルを抽出するステップと、
    を含む、請求項23に記載の方法。
  26. 前記識別領域が、パラメトリックな輪郭を使用して画定され、当該パラメトリックな輪郭は、前記複数の画像の情報と、前記複数の画像のボクセルが皮下脂肪組織または内臓脂肪組織に対応するかを判定するのに必要な前記パラメータのセットとを、使用して計算される疑似エネルギー関数にしたがう、
    請求項23に記載の方法。
  27. 前記パラメトリックな輪郭は動的輪郭であり、前記疑似エネルギー関数は微分方程式に対する解である、
    請求項26に記載の方法。
  28. 前記セグメンテーションされた脂肪組織の前記識別は、前記識別領域の内部の前記セグメンテーションされた脂肪組織に属する各ボクセルの前記局所的周辺を評価することによって実施される、
    請求項23に記載の方法。
  29. 識別される各ボクセル内の前記局所的周辺の前記分析は、前記識別されるボクセルを始
    点とし停止基準に達するか前記識別領域の外側に達するまで異なる方向に追跡される光線のセットと交わるボクセル内に含まれる情報を評価することによって実施され、
    請求項28に記載の方法。
  30. 前記光線のセットは、前記コンピュータ体軸断層撮影画像の前記2次元の再構成の各々によって画定された平面上で追跡される、
    請求項29に記載の方法。
  31. 前記光線のセットは、45度の一様な角度でセグメンテーションされた8つの追跡光線に対応する、
    請求項30に記載の方法。
  32. 前記光線の各々に関する前記停止基準は、前記光線と前記脂肪組織に属さないボクセルとの交差に対応する、
    請求項29に記載の方法。
  33. k本以下の追跡光線が前記識別領域の外部に達する場合、前記中心ボクセルは内臓脂肪組織であるとラベル付けされ、
    w本以上の光線が前記識別領域の前記外部に達する場合(kはwより大である)、前記中心ボクセルは皮下脂肪組織であるとラベル付けされ、
    そうでなければ、前記中心ボクセルは不確定であるとラベルが付けされる、
    請求項32に記載の方法。
  34. 前記不確定であるとラベル付けされたボクセルは、最終ラベリング規則を使用して、最終識別ウィンドウの内部で識別される、
    請求項33に記載の方法。
  35. 前記最終識別ウィンドウは、前記17×17の寸法の正方周辺のボクセルを含み、前記中心ボクセルは不確定であるとラベルが付けされたものである、
    請求項34に記載の方法。
  36. 前記最終ラベリング規則は、前記識別ウィンドウの内部において、以前に内臓脂肪組織であるとラベル付けされたボクセルの数が、以前に皮下脂肪組織であるとラベル付けされたボクセルの数以上である場合に、前記中心ボクセルを内臓脂肪組織であるとラベル付けし、そうでなければ、前記中心ボクセルを皮下脂肪組織であるとラベル付けする、
    請求項34または35に記載の方法。
  37. 外部の要素の除去の後の前記セグメンテーションされた脂肪組織の内部の前記ギャップの充填は、セグメンテーションされていないボクセルの各々を始点とする異なる方向の光線のセットを、すでにセグメンテーションされたボクセルに達するまでまたは最大長さLに達するまで追跡し、前記光線のサブセットQがすでにセグメンテーションされたボクセルに達した場合に前記ボクセルを前記セグメンテーションに含めることによって行われる、
    請求項25に記載の方法。
  38. 前記識別領域の内部のセグメンテーションされていないボクセル内を始点とする前記追跡光線のセットは、45度の一様な角度でセグメンテーションされた8つの追跡光線に対応する、
    請求項37に記載の方法。
  39. 前記複数の画像内の、内臓脂肪組織の小さな連結要素をフィルタリングする、前記識別ステップの後に実施される追加のステップを含む、
    請求項23に記載の方法。
  40. 内臓脂肪組織の小さな連結要素をフィルタリングするステップは、
    a)VAT組織の前記セグメンテーションされた画像内の前記連結要素を識別することと、
    b)前記識別された連結要素の面積の頻度に関するヒストグラムを得ることと、
    c)前記連結要素のヒストグラムに基づき、選択閾値を計算することと、
    d)VAT組織の前記セグメンテーションされた画像の前記選択閾値よりも面積が小さい前記連結要素のラベルを変更することと、
    を含む、請求項39に記載の方法。
  41. 前記複数の画像内の、内臓脂肪組織の誤検出のフィルタリングのための、前記識別ステップの後に実施される追加のステップを含む、請求項23に記載の方法。
  42. 前記内臓脂肪組織の誤検出のフィルタリングの前記ステップは、
    a)前記複数の画像に属する画像から、または前記複数の画像から得られた画像から、微分画像を得ることと、
    b)大きさの閾値を得ること、および、前記微分画像内の大きさが前記大きさの閾値を超えるボクセルにラベル付けすることと、
    c)前記識別画像内の周辺の分析、およびそのラベル付けされたボクセルに基づき、VAT組織の前記セグメンテーションされた画像内の誤検出として識別された前記ボクセルのラベルを変更することと、
    を含む、請求項41に記載の方法。
  43. さらなるステップとして、前記複数の画像内の、内臓脂肪組織の誤検出のフィルタリング、および、皮下脂肪組織の小さな連結要素のフィルタリングを含む、
    請求項23から42のいずれか一項に記載の方法。
  44. 前記微分画像を得るために使用される演算子が分散に対応する、
    請求項43に記載の方法。
JP2017512098A 2014-05-14 2015-05-11 体組織の自動的なセグメンテーションおよび定量化のための方法 Active JP6329697B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CO14-103932 2014-05-14
CO14103932A CO7020178A1 (es) 2014-05-14 2014-05-14 Método para la segmentación y cuantificación automática de tejidos corporales
PCT/CO2015/000009 WO2015172753A2 (es) 2014-05-14 2015-05-11 Método para la segmentación y cuantificación automática de tejidos corporales

Publications (2)

Publication Number Publication Date
JP2017520354A true JP2017520354A (ja) 2017-07-27
JP6329697B2 JP6329697B2 (ja) 2018-05-23

Family

ID=51610697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017512098A Active JP6329697B2 (ja) 2014-05-14 2015-05-11 体組織の自動的なセグメンテーションおよび定量化のための方法

Country Status (5)

Country Link
US (1) US10007985B2 (ja)
EP (1) EP3144892B1 (ja)
JP (1) JP6329697B2 (ja)
CO (1) CO7020178A1 (ja)
WO (1) WO2015172753A2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3195249A1 (en) * 2014-09-15 2017-07-26 Analogic Corporation Noise reduction in a radiation image
CN105931251A (zh) * 2016-05-12 2016-09-07 中国科学院深圳先进技术研究院 一种ct图像扫描床去除方法及装置
WO2019000418A1 (zh) * 2017-06-30 2019-01-03 上海联影医疗科技有限公司 组织密度分析方法及系统
ES2719264A1 (es) * 2018-01-08 2019-07-09 Cella Medical Solutions Sl Equipo de ayuda para intervencion mamaria
JP7082993B2 (ja) * 2018-01-24 2022-06-09 富士フイルム株式会社 医療画像処理装置、方法及びプログラム、診断支援装置、方法及びプログラム並びに医療支援システム及び方法
WO2019152850A1 (en) * 2018-02-02 2019-08-08 Centerline Biomedical, Inc. Segmentation of anatomic structures
EP3821813A4 (en) * 2018-07-13 2022-04-20 Furuno Electric Co., Ltd. ULTRASOUND IMAGING APPARATUS, ULTRASOUND IMAGING SYSTEM, ULTRASOUND IMAGING METHOD AND ULTRASOUND IMAGING PROGRAM
CN111091017A (zh) * 2018-10-24 2020-05-01 北京意锐新创科技有限公司 高频次交易状态下的移动支付设备的收银优化方法和装置
CN110400626B (zh) * 2019-07-08 2023-03-24 上海联影智能医疗科技有限公司 图像检测方法、装置、计算机设备和存储介质
CN110786854A (zh) * 2019-11-05 2020-02-14 广州互云医院管理有限公司 一种水脂混合体系下的反转回复序列t1测量方法
KR20210073282A (ko) * 2019-12-10 2021-06-18 한국전자통신연구원 영상 처리 장치 및 이를 포함하는 석회화 분석 시스템
CN113505798B (zh) * 2021-06-22 2024-03-22 浙江工业大学 一种时变数据的特征提取与追踪方法
CN114862877B (zh) * 2022-05-27 2024-03-22 四川大学华西医院 基于置信度评分的细胞粘连分割方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1010053A (ja) * 1996-06-24 1998-01-16 Nissan Motor Co Ltd 表面欠陥検査装置
JP2003235540A (ja) * 2002-02-20 2003-08-26 Masahito Taya 剥離細胞選別装置、剥離細胞選別方法及びそのプログラム
JP2007329634A (ja) * 2006-06-07 2007-12-20 Fuji Xerox Co Ltd 画像生成装置、画像処理装置、記録媒体、及びプログラム
JP2009247505A (ja) * 2008-04-03 2009-10-29 Fujifilm Corp 3次元腹腔内領域検出装置、方法、およびプログラム
WO2010098211A1 (ja) * 2009-02-24 2010-09-02 独立行政法人理化学研究所 輪郭抽出装置および輪郭抽出方法、並びにプログラム
WO2012043498A1 (ja) * 2010-09-30 2012-04-05 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、プログラム及び記録媒体
JP2012115342A (ja) * 2010-11-29 2012-06-21 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657362A (en) * 1995-02-24 1997-08-12 Arch Development Corporation Automated method and system for computerized detection of masses and parenchymal distortions in medical images
US8270687B2 (en) * 2003-04-08 2012-09-18 Hitachi Medical Corporation Apparatus and method of supporting diagnostic imaging for medical use
US8331637B2 (en) 2006-03-03 2012-12-11 Medic Vision-Brain Technologies Ltd. System and method of automatic prioritization and analysis of medical images
WO2011139232A1 (en) 2010-05-03 2011-11-10 Nanyang Technological University Automated identification of adipose tissue, and segmentation of subcutaneous and visceral abdominal adipose tissue

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1010053A (ja) * 1996-06-24 1998-01-16 Nissan Motor Co Ltd 表面欠陥検査装置
JP2003235540A (ja) * 2002-02-20 2003-08-26 Masahito Taya 剥離細胞選別装置、剥離細胞選別方法及びそのプログラム
JP2007329634A (ja) * 2006-06-07 2007-12-20 Fuji Xerox Co Ltd 画像生成装置、画像処理装置、記録媒体、及びプログラム
JP2009247505A (ja) * 2008-04-03 2009-10-29 Fujifilm Corp 3次元腹腔内領域検出装置、方法、およびプログラム
WO2010098211A1 (ja) * 2009-02-24 2010-09-02 独立行政法人理化学研究所 輪郭抽出装置および輪郭抽出方法、並びにプログラム
WO2012043498A1 (ja) * 2010-09-30 2012-04-05 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、プログラム及び記録媒体
JP2012115342A (ja) * 2010-11-29 2012-06-21 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム

Also Published As

Publication number Publication date
WO2015172753A3 (es) 2016-01-21
EP3144892B1 (en) 2019-01-16
WO2015172753A2 (es) 2015-11-19
CO7020178A1 (es) 2014-08-11
US20170091935A1 (en) 2017-03-30
US10007985B2 (en) 2018-06-26
EP3144892A2 (en) 2017-03-22
JP6329697B2 (ja) 2018-05-23

Similar Documents

Publication Publication Date Title
JP6329697B2 (ja) 体組織の自動的なセグメンテーションおよび定量化のための方法
Kwok et al. Automatic pectoral muscle segmentation on mediolateral oblique view mammograms
Saad et al. Image segmentation for lung region in chest X-ray images using edge detection and morphology
US10869644B2 (en) Method and system for extracting lower limb vasculature
EP2916737B1 (en) System and method for automated detection of lung nodules in medical images
US9990743B2 (en) Suppression of vascular structures in images
Wei et al. Segmentation of lung lobes in high-resolution isotropic CT images
CN112885453A (zh) 用于标识后续医学图像中的病理变化的方法和系统
Hogeweg et al. Suppression of translucent elongated structures: applications in chest radiography
Park Connectivity-based local adaptive thresholding for carotid artery segmentation using MRA images
Zhao et al. An automated pulmonary parenchyma segmentation method based on an improved region growing algorithmin PET-CT imaging
Sultana et al. Detection of pectoral muscle in mammograms using a mean-shift segmentation approach
Delmoral et al. Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study
Myint et al. Effective kidney segmentation using gradient based approach in abdominal CT images
CN112862785B (zh) Cta影像数据识别方法、装置及存储介质
CN112862786B (zh) Cta影像数据处理方法、装置及存储介质
Rebelo et al. Automatic epicardial fat segmentation and volume quantification on non-contrast cardiac Computed Tomography
You et al. Extraction of samples from airway and vessel trees in 3D lung CT based on a multi-scale principal curve tracing algorithm
US20220335602A1 (en) Method and system for image normalisation
CN112862787B (zh) Cta影像数据处理方法、装置及存储介质
US20240104722A1 (en) Method for detection and characterization of lesions
Maitra et al. Identification of abnormal masses in digital mammogram using statistical decision making
Johora et al. Early Detection of Lung Cancer from CT Scan Images Using Binarization Technique
Kovács Automatic segmentation of the vessel lumen from 3D CTA images of aortic dissection
Shaukat AN EFFICIENT ALGORITHMIC SOLUTION FOR AUTOMATIC SEGMENTATION OF LUNGS FROM CT IMAGES

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170417

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170808

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180420

R150 Certificate of patent or registration of utility model

Ref document number: 6329697

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250