JP2020503603A - 解剖学的画像処理における確率的セグメンテーションのためのシステム及び方法 - Google Patents

解剖学的画像処理における確率的セグメンテーションのためのシステム及び方法 Download PDF

Info

Publication number
JP2020503603A
JP2020503603A JP2019529893A JP2019529893A JP2020503603A JP 2020503603 A JP2020503603 A JP 2020503603A JP 2019529893 A JP2019529893 A JP 2019529893A JP 2019529893 A JP2019529893 A JP 2019529893A JP 2020503603 A JP2020503603 A JP 2020503603A
Authority
JP
Japan
Prior art keywords
patient
anatomy
segmentation
image
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019529893A
Other languages
English (en)
Other versions
JP7134962B2 (ja
JP2020503603A5 (ja
Inventor
ピーター カーステン ピーターセン,
ピーター カーステン ピーターセン,
マイケル シャープ,
マイケル シャープ,
レオ グラディー,
レオ グラディー,
Original Assignee
ハートフロー, インコーポレイテッド
ハートフロー, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ハートフロー, インコーポレイテッド, ハートフロー, インコーポレイテッド filed Critical ハートフロー, インコーポレイテッド
Publication of JP2020503603A publication Critical patent/JP2020503603A/ja
Publication of JP2020503603A5 publication Critical patent/JP2020503603A5/ja
Application granted granted Critical
Publication of JP7134962B2 publication Critical patent/JP7134962B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/143Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30172Centreline of tubular or elongated structure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

コンピュータのシステムを用いて、解剖学的画像解析において確率的セグメンテーションを実行するためのシステム及び方法が開示されている。一方法は、解剖学的構造の複数の画像を受信すること、解剖学的構造の1つまたは複数の幾何学的ラベルを受信すること、1つまたは複数の幾何学的ラベル及び受信した複数の画像に基づいて解剖学的構造のパラメータ化された表現を生成すること、パラメータ化された表現の領域を解剖学的構造の幾何学的パラメータにマッピングすること、患者の解剖学的構造の画像を受信すること、及び解剖学的構造の幾何学的パラメータへの解剖学的構造のパラメータ化された表現の領域のマッピングに基づいて、患者の解剖学的構造の患者固有のセグメンテーションの境界の確率分布を生成することを含む。

Description

関連出願
本願は、2016年12月23日に出願された米国仮特許出願第62/438,514号の優先権を主張し、その全開示はその全体が参照により本明細書に組み込まれる。
本開示の様々な実施形態は、概して医用イメージング及び関連方法に関する。より具体的には、本開示の特定の実施形態は、解剖学的画像解析において確率的セグメンテーションを実行するためのシステム及び方法に関する。
1タイプの医用画像分析は、画像を意味のある領域、例えば画像化された解剖学的構造対画像アーチファクトに分解することを含む。このプロセスは(医用)画像セグメンテーションと呼ばれることもある。場合によっては、画像のノイズまたは他の画像アーチファクトが存在していることは、対象の解剖学的構造の正確なセグメンテーションを妨げる可能性がある。セグメンテーションを自動化するための一般的な手法は、学習ベースのシステムを使用することを含み得る。各画像要素(例えば、ピクセル、ボクセル、またはオブジェクトのパラメータ)のクラスラベルの確率を予測するように、学習ベースのシステムを訓練してもよい。例えば、形状を適合させても、構造化出力モデルを適用して、その予測ラベルの確率に基づいて各画像要素にラベルを割り当ててもよい。学習ベースのシステムはまた、画像について、画像内の異なる構造の境界の位置を推定するように訓練されてもよい。場合によっては、これらの推定された境界は、離散的な画像の要素間の境界と整列しない可能性がある。最終的なセグメンテーションは、所与の画像についての見込みのあるセグメンテーションを反映することができる。
しかし、多くのセグメンテーションの境界の位置が、真実味のある場合がある。人間の技術者でさえ、曖昧な画像データのために異なる境界の位置を選択または描くことがある。さらに、訓練されたシステムによって推定された境界は、適切な訓練例がないため、または最適以下で訓練された方法のために曖昧である場合がある。この場合、訓練されたシステムは正確なオブジェクトの境界を提示していない場合がある。最終的なセグメンテーションは、そのセグメンテーションが解剖学的構造の一部のほぼ明確な正確な表現であるかどうか、あるいは代替のセグメンテーションが解剖学的構造の正確な表現をレンダリングする見込みはほとんど同じであるのかどうかを示していないことが多い。さらに、最終的なセグメンテーションは、どこが最終的なセグメンテーションの境界がより確実またはより確実ではなかった領域(複数可)かを示していない可能性がある。したがって、提供されたセグメンテーションの統計的信頼性(または統計的不確実性)を理解することが望まれている。代替的または集約的な解決策のセグメンテーションを生成することに対する要望も存在している。
本開示は、上述の問題または関心の1つまたは複数を克服することを対象としている。
本開示のある態様によれば、画像解析において確率的セグメンテーションを実行するためのシステム及び方法が開示される。解剖学的画像解析において確率的セグメンテーションを実行する1つの方法は、解剖学的構造の複数の画像を受信すること、解剖学的構造の1つまたは複数の幾何学的ラベルを受信すること、1つまたは複数の幾何学的ラベル及び受信した複数の画像に基づいて解剖学的構造のパラメータ化された表現を生成すること、パラメータ化された表現の領域を解剖学的構造の幾何学的パラメータにマッピングすること、患者の解剖学的構造の画像を受信すること、及び解剖学的構造の幾何学的パラメータへの解剖学的構造のパラメータ化された表現の領域のマッピングに基づいて、患者の解剖学的構造の患者固有のセグメンテーションの境界の確率分布を生成することを含む。別の実施形態によれば、解剖学的画像解析において確率的セグメンテーションを実行するシステムは、解剖学的画像解析において確率的セグメンテーションを実行するための命令を記憶するデータ記憶装置、及び解剖学的構造の複数の画像を受信すること、解剖学的構造の1つまたは複数の幾何学的ラベルを受信すること、1つまたは複数の幾何学的ラベル及び受信した複数の画像に基づいて解剖学的構造のパラメータ化された表現を生成すること、パラメータ化された表現の領域を解剖学的構造の幾何学的パラメータにマッピングすること、患者の解剖学的構造の画像を受信すること、及び解剖学的構造の幾何学的パラメータへの解剖学的構造のパラメータ化された表現の領域のマッピングに基づいて、患者の解剖学的構造の患者固有のセグメンテーションの境界の確率分布を生成することのために構成されるプロセッサを含む。
さらに別の実施形態によれば、解剖学的画像解析において確率的セグメンテーションの方法を実行するためのコンピュータ実行可能プログラミング命令を含むコンピュータシステムで使用するための非一時的コンピュータ可読媒体が提供される。方法は、解剖学的構造の複数の画像を受信すること、解剖学的構造の1つまたは複数の幾何学的ラベルを受信すること、1つまたは複数の幾何学的ラベル及び受信した複数の画像に基づいて解剖学的構造のパラメータ化された表現を生成すること、パラメータ化された表現の領域を解剖学的構造の幾何学的パラメータにマッピングすること、患者の解剖学的構造の画像を受信すること、及び解剖学的構造の幾何学的パラメータへの解剖学的構造のパラメータ化された表現の領域のマッピングに基づいて、患者の解剖学的構造の患者固有のセグメンテーションの境界の確率分布を生成することを含む。
開示される実施形態の追加の目的及び利点は、一部は以下の説明に記載され、一部は説明から明白になるか、開示される実施形態の実施によって習得され得る。開示された実施形態の目的及び利点は、添付の特許請求の範囲で特に指摘している要素及び組み合わせによって実現され、達成される。
上述の概略的な説明と以下の詳細な説明は共に、例示で単に説明をしているものであり、クレームされているように、開示の実施形態を限定するものではないという旨を理解すべきである。
添付の図面は、この明細書の一部に組み込まれ、これを構成し、種々の例示の実施形態を図示しており、この説明と併せて、開示している実施形態の原理を説明する役目を果たしている。
本開示の例示的な実施形態による、画像分析において確率的セグメンテーションを実行するための例示的なシステム及びネットワークのブロック図である。 図2A及び図2Bは本開示の例示的な実施形態による、パラメータ化されたオブジェクトの境界を使用して確率的セグメンテーションを実行するための例示的な方法のフローチャートである。 図3A及び図3Bは、本開示の例示的な実施形態による、血管の確率的セグメンテーションに適用される、図2A及び図2Bの方法の例示的実施形態のフローチャートである。 図4A及び図4Bは、本開示の例示的な実施形態による、局所画像記述子を使用して確率的セグメンテーションを実行するための方法の例示的な実施形態のフローチャートである。
これから本開示の例示的な実施形態について詳細に言及するが、それらの例は添付の図面に示されている。可能な場合は必ず、図面全体を通して、同じまたは類似の部分を示すために、同じ参照番号が使用される。
上述のように、医用画像セグメンテーションは、様々なセグメンテーションの境界の位置をレンダリングすることを伴い得る。多くの場合、最終的なセグメンテーションは、所与の画像に表される対象となるオブジェクト(例えば、解剖学的構造)についての見込みのあるセグメンテーションまたは境界を含む。しかし、他の多くのセグメンテーションの境界の位置も同様に真実味があり得る。セグメンテーションに使用される画像要素のクラスラベル確率は後処理される可能性があるが、最終的なセグメンテーションの信頼性または不確実性を理解することが望まれている。さらに、最終的なセグメンテーションに対する代替的な解決策(複数可)を提供することが望まれている。
本開示は、セグメンテーションの境界の位置の確率分布を予測することによって、セグメンテーションの統計的信頼性または統計的不確実性に関する情報を提供することを対象とする。一実施形態では、本開示は、セグメンテーションの境界及び/またはセグメンテーションの境界についての確率密度関数を推定するための訓練段階及び検証(または使用または生成)段階の両方を含み得る。例えば、開示されるシステム及び方法は、対象の患者の受信した画像(複数可)における解剖学的構造をセグメンテーションすること、及びセグメンテーションされた解剖学的構造の境界に対する確率密度関数を求めることに対して適用できる。一実施形態では、訓練段階は、受信した画像に関連するオブジェクトのパラメータ化の少なくとも1つのパラメータについて一組の確率密度関数を発展させることを含むことができる。例えば、訓練段階は、画像の集まりを受信すること、各画像に示される解剖学的な一部または部分の情報を受信または入力すること(例えば、各画像に対する局所的な解剖学的構造)、解剖学的な一部または部分のパラメータ化を定義すること、及び受信した情報に基づいて、パラメータ化する各パラメータに対する確率密度関数を生成することを伴い得る。訓練段階からの出力は、解剖学的モデルまたは医用モデルの各パラメータに対する確率密度関数を含み得る。
一実施形態では、検証段階は、患者の解剖学的構造の画像を受信することを含み得る。患者は、対象の患者、例えば診断的検査を望む患者であり得る。検証段階は、受信された画像に基づいて患者の解剖学的構造のセグメンテーションを完了し(例えば、セグメンテーションの境界のレンダリング、または表面再構成)、保存された訓練段階確率密度関数(複数可)を用いて、完成したセグメンテーションのパラメータに対する患者固有の確率密度関数を計算することを伴い得る。本明細書で使用されるとき、「例示的」という用語は、「理想」よりもむしろ「例」という意味で使用される。この例示的実施形態は医用画像分析の文脈で書かれるが、本開示はあらゆる非医用画像解析またはコンピュータビジョンの評価で、同様に適用され得る。
これから図面について言及するが、図1は、確率的セグメンテーションを実行するためのシステム及びネットワークの例示的な環境のブロック図を示す。特に、図1は、複数の医師102及び第三者プロバイダ104を示しており、それらのいずれも、1つまたは複数のコンピュータ、サーバ、及び/またはハンドヘルドモバイルデバイスを介して、インターネットなどの電子ネットワーク100に接続することができる。医師102及び/または第三者プロバイダ104は、1人または複数の患者の心臓、血管、及び/または器官系の画像を作成または他の方法で取得することができる。医師102及び/または第三者プロバイダ104はまた、年齢、病歴、血圧、血液粘度などのような、患者固有の情報の任意の組み合わせを入手し得る。医師102及び/または第三者プロバイダ104は、心臓、血管、及び/または器官系の画像及び/または患者固有の情報を、電子ネットワーク100によってサーバシステム106に送ることができる。サーバシステム106は、医師102及び/または第三者プロバイダ104から受信した画像及びデータを記憶するための記憶装置を含むことができる。サーバシステム106はまた、記憶装置に記憶された画像及びデータを処理するための処理装置を含むことができる。代替的にまたは追加的に、本開示の確率的セグメンテーション(または本開示のシステム及び方法の一部)は、外部のサーバまたはネットワークなしで、ローカル処理装置(例えば、ラップトップ)で実行されてもよい。
図2A及び図2Bは、パラメータ化されたオブジェクトの境界で訓練された学習システムを使用して確率的セグメンテーションを実行するための一実施形態を説明する。図3A及び図3Bは、図2A及び図2Bで論じられた方法の特定の実施形態または応用を対象とする。例えば、図3Aと図3Bは、パラメータ化されたオブジェクトの境界で訓練される学習システムを使用して血管を確率的にセグメンテーションするための実施形態を説明する。図4A及び4Bは、局所画像記述子を使用して訓練された学習システムを使用する別の確率的セグメンテーション方法を説明する。図2A及び図2Bの方法と対照的に、図4A及び図4Bの方法は、回帰子または単純化変換なしで画像をセグメンテーションすることを可能にする。電子ネットワーク100を介して医師102及び/または第三者プロバイダ104から受信した情報、画像、及びデータに基づいて、全方法をサーバシステム106によって実行することができる。
図2A及び図2Bは、確率密度関数を予測及び検証するための実施形態を説明している。セグメンテーションに関連して確率密度関数を理解することは、結果として得られるセグメンテーションが信頼できるものであるかどうか、または結果として得られるセグメンテーションの一部(複数可)が場合により不正確であるかどうかを理解するのに役立ち得る。分析はセグメンテーションに基づいて実行され得るので、本開示は、セグメンテーションに起因して、分析がどこでまたはどのように不正確であり得るかについての理解をもたらし得る。例えば、大きな血管のセグメンテーションの精度は血流分析に影響を及ぼし得るが、小さな下流の血管におけるセグメンテーションの精度は予測される血流の値の精度にほとんど影響を及ぼさない可能性がある。確率密度関数は、分析のためにセグメンテーションを使用するかどうか、または分析のためにセグメンテーションのどの部分を確実に使用することができるかを判断するのに役立ち得る。
一実施形態では、確率的セグメンテーションは、2つの段階、すなわち訓練段階と検証段階とを含み得る。訓練段階は、セグメンテーション/オブジェクトのパラメータ化のパラメータについて確率密度関数(PDF)を予測するために学習システム(例えば、ディープラーニングシステム)を訓練することを含み得る。検証段階は、新たに受信された画像のオブジェクトのパラメータ化のパラメータに対する確率密度関数を予測することを含み得る。
図2Aは、様々な実施形態による、確率密度関数を予測するために学習システム(例えば、ディープラーニングシステム)を訓練するための例示的な訓練段階方法200のフローチャートである。方法200は、特定の患者の撮像された対象となるオブジェクトの確率的セグメンテーションに対して、図2Bの方法210における検証段階または生成段階の基礎を提供し得る。一実施形態では、方法200のステップ201は、電子記憶媒体(例えば、ハードドライブ、ネットワークドライブ、クラウドドライブ、携帯電話、タブレット、データベースなど)の1つまたは複数の画像を受信することを含むことができる。医療の状況においては、これらの画像は、例えば、コンピュータ断層撮影(CT)、陽電子放出断層撮影(PET)、単一光子放射断層撮影(SPECT)、磁気共鳴画像法(MRI)、顕微鏡、超音波、(マルチビュー)血管造影などの医用撮像装置からのものであり得る。一実施形態では、単一の患者について複数の画像を使用することができる。さらなる実施形態では、画像は患者の解剖学的構造の構造を含み得る。他の実施形態では、画像は、類似した解剖学的特徴を有する多数の個人、または異なる解剖学的特徴を有する多数の個人のものであり得る。医療以外の状況では、これらの画像は、例えば、カメラ、衛星、レーダ、ライダ、ソナー、望遠鏡、顕微鏡などの任意の源からのものであり得る。以下の開示では、ステップ201で受信される画像は、「訓練画像」と称される場合がある。
一実施形態では、ステップ203は、1つまたは複数の訓練画像に示された1つまたは複数の対象となる構造に関する注釈を受信することを含むことができる。一実施形態では、すべての訓練画像に注釈を付けることができる。この種の実施形態は、「教師あり学習」と呼ばれることがある。別の実施形態では、注釈付きの訓練画像のサブセットのみを含むことがある。この種のシナリオは、「半教師あり学習」と呼ばれることがある。一実施形態では、対象となる構造は、患者の血管または組織を含むことがある。そのような場合、注釈(複数可)は、血管名(例えば、右冠状動脈(RCA)、左前下行枝動脈(LAD)、左回旋枝動脈(LCX)など)、血管の目印(例えば、大動脈の箇所、弁の箇所、小孔の箇所、分岐点など)、推定上の血管の位置、フラグ(例えば、イメージングが曖昧または不明瞭な、注記される箇所または境界)などのラベルを含み得る。
一実施形態では、ステップ205は、対象となる構造のオブジェクトの境界に対するパラメータ化を定義することを含むことができる。例えば、ステップ205は、対象となる構造のオブジェクトの境界として暗黙的または明示的な表面の表現を生成するかどうかを定めることを含むことができる。対象となる構造のオブジェクトの境界を定義することは、対象となる構造を1つまたは複数の部分に細分すること、及び各部分の境界を推定することを含むことができる。あるいは、対象となる構造を1つまたは複数のセグメントに細分することができ、各セグメントの境界を推定することができる。境界を推定することは、例えば、ある画像領域またはボクセルが構造の表現を含む確率を推定することによって、構造の位置(または構造の表面の表現)を推定することを含み得る。
そのようなシナリオの1つは、人の群がった画像を受信することを含み得る。人物の顔は、対象となる構造として定義でき、ステップ205は、人物の顔に対する所望のパラメータ化を定義することを含み得る。例えば、所望のパラメータ化には、人物の顔の3D表面モデルを含めることができる。ステップ205は、人物の顔のオブジェクトの境界を3D表面モデルとして生成することを含み得る。例えば、ステップ205は、画像内の点を定義し、その点が顔を示す画像の部分の一部である確率を推定することを含むことができる。確率推定値が複数の点について計算されると、人物の顔を表示している画像の部分と、人物の顔を表示していない画像の部分とを区別することができる。一実施形態では、顔を含む対象となるオブジェクトのパラメータ化を抽出することは、顔の目印(例えば、目、鼻の点、口の角など)の位置に関する注釈を受信することを含むことができる。各目印Kは、所与の画像の2Dの位置によって表すことができる。各目印の2Dの位置は単一のK×2次元のベクトルに繋げてもよく、この場合ベクトルは顔のパラメータ化として使用されてもよい。生成された確率と画像から、人物の顔の3Dの表面のモデルを構築することができる。一実施形態では、人物の顔の3Dの表面のモデルは、オブジェクトの境界を構成することができる。
別のシナリオとして、ステップ205は、左心室の心筋であるオブジェクトの境界に対してパラメータ化を定義することを含み得る。このような心筋のセグメンテーションの場合、ステップ205は、一連のラベル付き心臓コンピュータ断層撮影血管造影(CTA)画像を受信することを含むことができ、この場合各画像のボクセルは、左心室の心筋の内側または外側にあるものとして、ラベル付けすることができる。次いで、ステップ205は、受信した画像を、また弾性画像レジストレーションを用いて共通の空間に変形すること、及び各画像について変換を記録すること(T)をさらに含むことができる。次に、共通のスペースにおいて注釈付き心筋層の表面に一組のK点を分布させることができ、逆変換(T −1)を用いてその設定点を元の画像空間に変形させることができる。最後に、K個の3Dの点をK×3次元ベクトルに繋げて、左心室の心筋のパラメータ化として使用することができる。
内腔のセグメンテーションを含む場合において、ステップ205は、血管内腔のオブジェクトの境界に対するパラメータ化を定義することを含み得る。そのようなシナリオでは、ステップ205は、血管内腔の表面モデルと血管の中心のおおよその位置を定義する一組の道筋(例えば中心線)を受信することを含むことができる。次に、各断面画像について、ステップ205は、血管の中心線から延びる一組のK本の放射線を定義することを含むことができ、この場合K本の放射線は、平面の断面において中心線に対して等しい角度分布の放射線を含む。これらの放射線は内腔の表面のモデルと交差してもよく、中心線から交差点までの距離が記録されてもよい。これらのK個の距離は、K次元のベクトルに繋げて、断面の血管の形状のパラメータ化として使用され得る。
代替的にまたは追加的に、オブジェクトの境界のパラメータ化は、対象となる構造以外のオブジェクトの位置を推定すること、または対象となる構造の境界または表面上にないパラメータを使用してオブジェクトの境界を推定することを含むことができる。例えば、血管が対象となる構造である場合、オブジェクトの境界の表示を使用したオブジェクトの境界のパラメータ化は、中心線の位置を推定することを含み得る。より一般的な例として、パラメータ化は、中心軸の位置を推定することによって実行することができる。中心軸には、構造の境界に複数の極めて近い複数の点を有する、対象となる構造の一連の点を含めることができる。例えば、中心軸は、構造の境界上の複数の点と等距離にあるいくつかの点を結ぶことがある。構造の表面(例えば、構造の境界)に存在するのではなく、中心軸が構造の境界/表面の内側に存在する場合がある。言い換えれば、中心軸は、対象となる構造の骨格を形成することができる。中心軸を使用するパラメータ化はまた、中心軸の少なくとも1つの点について、その点から対象となる構造の境界までの距離を見つけることを含み得る。全体として、ステップ205は、対象となる構造のオブジェクトの境界に対する所望のタイプのパラメータ化を定義すること、ならびに対象となる構造のオブジェクトの境界を推定(またはパラメータ化)することを含むことができる。
一実施形態では、ステップ207は、訓練データのオブジェクトの境界のパラメータ化をするための確率密度関数(PDF)を予測すべくモデルを訓練すること(例えば、ステップ201及び203の画像及び注釈)を含み得る。例えば、訓練は、オブジェクトの境界のパラメータ化の同時分布のPDF、オブジェクトの境界のパラメータ化の各パラメータに対するPDFなどを予測することができる。モデルを訓練するために、様々な機械学習の技法を使用することができる。
例えば、モデルを訓練することは、混合モデルを使用することによって(例えば、混合密度モデルを使用することによって)オブジェクトの境界のパラメータ化のパラメータのPDFを近似することを含むことができる。例えば、オブジェクトの境界は、1組の目印の点によって表されるように仮定され得る。目印の点は、所与の入力された位置(例えば、入力パッチの中心)から所与の方向におけるオブジェクトの境界までの距離についての点推定値を示し得る。一実施形態では、入力パッチは、2Dフレームの曲線平面表現(例えば、血管中心線の方向にほぼ直交して抽出された2Dの矩形)から構成することができる。ステップ207は、距離についての点推定値/値を予測するためにモデルを訓練すること、ならびに予測された距離の値の確実性を示す統計的な値を求めることを含み得る。
例えば、統計的な値を求めることは、ガウス混合(MoG)を使用して、距離の値における統計的不確実性をモデル化することを含み得る。1つのシナリオでは、ステップ207は、MoGを説明するために重み付けの係数、平均値、及び標準偏差を予測することを学ぶためにモデルを訓練することを含み得る。MoGは、混合密度ネットワーク(MDN)の形態のニューラルネットワーク構造と組み合わせることができる。一実施形態では、MoGとニューラルネットワークを組み合わせた構造は、確率的勾配降下法を用いた逆伝播アルゴリズムで最適化することができる。最適化は、(大域的最適化ではなく)いくつかの極小値のうちのいずれかに向かって最適化することを含み得る。(いくつかの極小値のうち)到達する極小値は、多くの要因、例えばニューラルネットワークの構造、パラメータの初期化、学習スケジュール、最適化の種類などによって決定できる。多変量出力(例えば、ディープラーニング、サポートベクターマシン、ランダムフォレストなどの変形版)を予測することのできる任意の機械学習の手法が、この最適化ステップにおいて適用され得る。MoGまたはMDNの場合、条件付き平均(例えば、期待値または理想値)は、入力パッチからオブジェクトの境界までの距離を概算するために最適化され得る。
別の例として、PDFを予測するためにモデルを訓練するステップ207は、潜在的な変数について分布をモデル化すること、及びモデル化された分布から複数の予測をサンプリングすることによって、PDFを近似することを含み得る。例えば、モデルを訓練することは、PDF変分モデル(例えば、半教師あり変分自動エンコーダ)を近似することを含み得る。これらのPDF変分モデルは、ランダムにサンプリングされた入力パラメータに基づいて、オブジェクトの境界パラメータを予測することができる。PDF変分モデルはまた、画像の特徴の値に基づいて調整してもよい。1つのシナリオでは、これらの予測の広がりは標準偏差によりまとめることができる。一実施形態では、このような標準偏差は、オブジェクトの境界の1つまたは複数のセグメンテーションの不確実性のレベルを表すことができる。したがって、ステップ207は、上述のように標準偏差を計算することによってPDFを予測するためにモデルを訓練することを含み得る。ステップ209は、オブジェクトのパラメータ化の各パラメータの予測されたPDFを含むモデルの結果を、例えば物理データ記憶装置、クラウド記憶装置などに保存することを含むことができる。
図2Bは、本開示の例示的な実施形態による、特定の患者の画像に対するセグメンテーションの確実性を予測するための例示的な訓練段階(または使用または「生成段階」)の方法210のブロック図である。一実施形態では、セグメンテーションの不確実性は、訓練済みのモデルを使用して(例えば方法200から)予測され得る。不確実性は確率密度関数によって伝えられてもよい。
一実施形態では、ステップ211は、電子記憶媒体(例えば、ハードドライブ、ネットワークドライブ、クラウドドライブ、携帯電話、タブレット、データベースなど)の1つまたは複数の医用画像を受信することを含むことができる。一実施形態では、画像は医用画像を含むことができ、例えば、画像は、任意の医用撮像装置、例えばCT、MR、SPECT、PET、顕微鏡、超音波、(マルチビュー)血管造影などからのものとし得る。一実施形態では、訓練画像(例えば方法200のもの)は、一人の患者から取得された画像を含むことができ、ステップ211は、その一人の患者の画像も受信することを含むことができる。代替的にまたは追加的に、ステップ211は、非医療用撮像装置、例えばカメラ、衛星、レーダ、ライダ、ソナー、望遠鏡、顕微鏡などから1つ以上の画像を受信することを含むことができる。後続のステップで、ステップ211の間に受信される画像は、「検証画像」または「生成画像」と呼ばれることがある。
一実施形態では、ステップ213は、ステップ211の患者固有の画像で使用するための(方法200の)訓練済みのモデルを初期化することを含むことができる。例えば、訓練済みのモデルは、対象となる構造のオブジェクトのパラメータ化のパラメータについて、PDFを予測することができる。ステップ213は、訓練済みのモデルのPDF予測に対するオブジェクトのパラメータ化を施すことによって、訓練済みのモデルを初期化することを含み得る。例えば、ステップ213は、セグメンテーションの境界の推定値または他のオブジェクトの位置または境界の推定値を受信することを含み得る。言い換えれば、真実味のあるセグメンテーションの探索スペースを縮小するための予備ステップとして、ステップ211の(患者固有の)画像(複数可)に、既知のセグメンテーションアルゴリズムを適用することができる。例えば、患者固有の画像(複数可)における対象となる構造のオブジェクトの境界は、文献からの中心線抽出アルゴリズムを使用して、その中心軸(例えば中心線)によって近似することができる。
一実施形態では、ステップ215は、訓練済みのモデルを使用してオブジェクトのパラメータ化のパラメータについてPDFを予測することを含むことができる。例えば、MDNが使用される場合、予測は、PDFを近似し得るガウス分布の混合のパラメータを記述し得る。例えば、MDNは、訓練データと一致するように訓練中(例えば方法200)に最適化されてもよい。次に、検証中に、訓練済みのモデルは、受信した患者固有の画像(複数可)に最もよく一致するMDNを予測することができる。一実施形態では、ステップ215は、訓練済みのモデルを使用してオブジェクトのパラメータ化の各パラメータについてPDFを予測することを含み得る。
一実施形態では、ステップ217は、オブジェクトのパラメータ化のパラメータについてPDFから代表の値を選択することを含み得る。このステップは、任意の数の標準的な方法、例えば最大事後確率、最大尤度などを用いて実行することができる。代替的にまたは追加的に、ステップ217は、PDFに基づいて完全なセグメンテーションの境界を分解することを含み得る。一実施形態では、完全なセグメンテーションの境界を分解することは、表面の再構成を使用して実行され得る。例えば、3D表面再構成アルゴリズム(例えば、ポアソン表面再構成)を使用して、多数の予測されたセグメンテーションの境界の位置から表面を再構成することができる。最初にPDFから代表の値を選択することなくPDFを完全に利用する3D表面再構成アルゴリズムの特定の変形形態を設計することができる。例えば、一実施形態は、境界を再構成してPDFを精緻化するという反復プロセスを含む平均シフトモード発見アルゴリズムと同様のアルゴリズムを使用することを含み得る。代替的にまたは追加的に、初期の代表の値を選択しても、既知の再構成技法を用いて表面再構成を実行しても、再構成された表面にPDFがどれほど近似しているかに基づいて、PDFを再度重み付けしてもよい。このプロセスは収束するまで繰り返されてもよい。このプロセスの利点は、局所的に不正確なPDFの推定値が表面再構成技術の全体的な性質によって修正され得ることである。例えば、中心線から内腔の境界までの距離が40%で2mm、60%で3mmという見込みであることを局所的に示すPDFであれば、すべての周囲の距離は100%の確実性で3mmと予測され、現在のアプローチは、単一の(局所的な)点については2mm、内腔の周囲部分については3mmの予測をもたらし得る。しかし、反復的な再度の重み付けを含む上で概説した手法では、2mmが初期の反復における局所的な点の予測であり得るが、隣接距離に起因して計算は3mmの予測にすぐに収束し得る。対象となる構造が、ある(例えば、既知の)構造または幾何学形状を示す場合、その構造及び幾何学形状は、可能な再構成の空間を制限するための事前の知識として役立ち得る。例えば、管状の構造は、中心線に沿った一組の楕円形の目印によって表すことができる。
一実施形態では、ステップ217は、オブジェクトのパラメータ化の1つまたは複数のパラメータについて、完全なセグメンテーションの境界及び/または予測PDFの一方または両方を出力することを含むことができる。出力は、電子記憶媒体(例えば、ハードドライブ、ネットワークドライブ、クラウドドライブ、携帯電話、タブレット、データベースなど)に記憶されてもよく、及び/または(例えば、インターフェース、スクリーン、投影、プレゼンテーション、レポート、ダッシュボードなどを介して)表示されてもよい。
計算されたPDFには、いくつかの応用または用途があることがある。例えば、PDFを使用して(例えば、条件付き標準偏差を計算することによって)信頼度スコアを計算することができる。一実施形態では、ステップ217は、信頼度スコアを電子ディスプレイ及び/または電子記憶装置(ハードドライブ、ネットワークドライブ、クラウドストレージ、ポータブルディスクなど)に出力することを含み得る。信頼度スコアは複数の方法で使用できる。一実施形態では、PDFからの信頼度スコアまたはサンプルを使用して、より徹底的に分析することができる不確実または曖昧な画像/モデル/セグメンテーション領域に焦点を合わせるように、人間の専門家または計算アルゴリズムを導くことができる。例えば、所定の閾値スコアを下回る信頼度スコアを有するセグメンテーションの境界(例えば、対象となる構造のオブジェクトの境界)の領域は、視覚的なディスプレイにおいて強調表示されてもよい。
1つのシナリオでは、所定の閾値スコアを下回る信頼度スコアを有するセグメンテーションの境界の領域は、使用者のセグメンテーションの確認を促す一連の表示において優先され得る。領域の表示に優先順位を付けることは、相対的に高い信頼度スコアの領域を表示する前に、確認のために信頼度の低い領域を表示することを含み得る。相対的に高い信頼度スコアは、所定の閾値のスコアを超える信頼度スコアとして定義することができる。一例では、モデル確認ワークフローは、最低から最高までの信頼度スコアまでに基づいて、セグメンテーションの境界の領域を表示することができる。例えば、ワークフローは、相対的に高い信頼度スコアの境界の領域を検討する前に、最も低い信頼度スコアを有するセグメンテーションの境界の領域を検査または確認するように技術者に促し得る。1つの例示的なワークフローは、所定の閾値スコアを下回る信頼度スコアを有するセグメンテーションの境界の領域に対してのみ、技術者に警告し得る。代替的にまたは追加的に、ディスプレイは、高い信頼度スコアの部分を強調表示し、診断評価に使用され得るモデルのセグメントとしてこれらの部分のみを提供し得る。
一実施形態では、PDFからの計算された信頼度スコアまたはサンプルはまた、血管または臓器/筋肉モデルの1つまたは複数の位置における生理学的/生体力学的特性(例えば、流れ、速度、圧力、冠血流予備量比(FFR)、瞬時冠血流予備量比(iFFR)、軸方向の応力、壁せん断応力、ひずみ、力、形状、サイズ、体積、ねじれなどを含む血流の特性)を求めるための確率的入力として使用され得る。これらの生理学的または生体力学的特性は、生物物理学的シミュレーション、機械学習、データベースとの関連付けなどを介して求めることができる。例えば、内腔の境界点の不確実性は、内腔の幾何学形状の変動をモデル化するために使用できる。モデル化された内腔の幾何学形状の変形は、機械学習駆動型FFR法によって利用され得る。例えば、血管の大きさが特定の位置で不確実である場合、PDFは、不確実な血管の大きさに基づいて計算されたFFRの不確実性(軸方向応力、iFFRなど)を計算する機能を付与することができる。このようにすると、PDFは、(予測されたPDFを用いて)セグメンテーションの境界に基づいて計算された生理学的/生体力学的特性の信頼区間または確率密度関数の理解をもたらすことができる。確率的セグメンテーションモデルや生物生理学的なモデルは、順番にまたは同時に1つのエンドツーエンドアプローチで訓練することができる。
信頼度スコアはさらに、訓練データを重み付けするためのセグメンテーションのアルゴリズムに対する入力として使用されてもよい。例えば、訓練は、不確実な訓練の例(例えば、対象となる構造の低い精度の訓練セグメンテーション)とは異なる頻度または異なる反復で、確実な訓練サンプルをサンプリングすること(例えば、対象となる構造に対して高い精度でセグメンテーションを訓練すること)を含み得る。信頼度スコアは、どの組の訓練データが(例えば方法200の)確率密度関数モデルの訓練により大きな影響を与えるはずであるかを判断するのに助力することができる。
信頼度スコアはまた、再構成アルゴリズムの質を定量化するために使用されてもよい。再構成アルゴリズムの質を定量化することは、好ましいセグメンテーションの指標を提供し得る。例えば、好ましい再構成アルゴリズムは、他の再構成アルゴリズムによって生成された画像(複数可)に対してより確実なセグメンテーションへと至る画像を生成する再構成アルゴリズムを含むことができる。同様に、様々なモデルについて信頼度スコアを使用して、異なるパラメータ化モデルの中から選択することができる。セグメンテーションに対する信頼性がより高いモデル(例えば、完全なセグメンテーションの境界)が好ましい場合がある。一実施形態では、検討及び/または選択のために、場合によっては信頼度スコアの情報の案内とともに、複数の異なるモデルを使用者に提示することもできる。最後に、PDFまたは信頼度スコアを用いて統合モデルの構築/複数の画像の統合をして、結果のモデル/画像、再構成、または所与の目標のPDFまたは信頼度スコアに適合するかそれを上回る拡張を生成することができる。
図3A及び図3Bは、図2A及び図2Bで説明した例示的な方法の特定の実施形態または用途を対象としている。例えば、図3Aと図3Bは、それぞれ、血管の確率的セグメンテーションを実行するための例示的な訓練段階及び検証段階を説明する。血管の患者固有のセグメンテーションの精度は、血流シミュレーション、血管の幾何学的特性の計算、プラーク破裂予測、灌流予測などを含むいくつかの医学的評価に影響を与える可能性がある。自動化されたアルゴリズムによって血管の単一のセグメンテーションの出力が得られる場合があるが、セグメンテーションの境界の正確な位置に関していくつかの不確実性が存在する可能性がある。専門家二人であっても、曖昧な画像の内容に起因して、血管の境界の異なる注釈を支持する可能性がある。一実施形態では、方法300は、血管のセグメンテーションの境界の周りの確率密度関数(PDF)をモデル化することによって、生成された血管のセグメンテーションの境界の不確実性(または信頼度)をモデル化することができる。そのような確率的セグメンテーションモデルは、プラーク、組織、器官または骨のセグメンテーションの不確実性をモデル化するために適用することができ、その場合はセグメンテーションのモデルは複数の真実味のあるセグメンテーションの実現を取得するか、モデルの変動性をまとめることができる。
図3Aは、様々な実施形態による、患者の血管の確率的セグメンテーションを実行するための基礎を提供するように設計された訓練段階のための例示的な方法300のフローチャートである。一実施形態では、ステップ301は、電子記憶媒体(例えば、ハードドライブ、ネットワークドライブ、クラウドドライブ、携帯電話、タブレット、データベースなど)の冠状動脈の1つまたは複数の画像を受信することを含むことができる。これらの画像は、例えば、CT、MR、SPECT、PET、超音波、(マルチビュー)血管造影などの医用撮像装置からのものであり得る。これらの画像は、「訓練画像」と呼ばれ得る。
一実施形態では、ステップ303は、各訓練画像の血管内腔境界及び血管内腔中心線(複数可)の注釈を受信することを含むことができる。例えば、ステップ303は、受信した画像に表されている冠状血管の幾何学的なメッシュを受信または生成することを含み得る。一実施形態では、幾何学的なメッシュは一組の頂点及び辺として指定されてもよい。代替的にまたは追加的に、ステップ303は冠状血管の中心線を受信することを含み得る。中心線はまた、辺によって繋げることができる一組の頂点として表されてもよい。
一実施形態では、ステップ305は、訓練画像データ(例えば、幾何学的なメッシュ、頂点、辺、中心線など)を曲線平面表現(CPR)に変換することを含むことができる。例えば、3Dボリュームを構成するために、一組の平面(例えば、フレーム)が中心線に沿って(例えば、中心線に直交して)抽出されてもよい。一実施形態では、3Dボリュームは、2次元を定義する基準の座標系のフレームと、3次元を定義する中心線の長さとを有する曲線平面表現(CPR)を含むことができる。一実施形態では、曲線平面表現は、冠状血管の1つまたは複数のパラメータを予測するのに関連しない可能性がある自由度(例えば、中心線の曲率)を排除することができる。例えば、中心線の曲率は、冠状血管の内腔境界の位置に関連するパラメータを判断するのには無関係であり得る。
一実施形態では、ステップ307は、CPRまたはCPRの小領域を、中心線から内腔の境界点までの1つまたは複数の距離にマッピングすることができる統計モデルを訓練することを含むことができる。例えば、1つのそのような例示的な距離は、中心線の周りの一組の角度方向における各CPRフレームの中心から内腔の境界までの距離を含み得る。各々の距離の出力周囲の不確実性をモデル化するために、ステップ307は、ガウス(MoG)モデルの混合を仮定することを含み得る。一実施形態では、訓練された統計モデルは、各距離の出力についての一組の標準偏差と混合係数を予測することができる。標準偏差と混合係数は、正規分布の混合によりPDFと近似することがある。一実施形態では、統計モデルの目的関数は、中心線から内腔までの各注釈付き距離と、MoGモデルの条件付きの平均との間の損失として、特定され得る。一実施形態では、MoGモデルの目的関数は一意に定義されてもよく、MoGモデルの条件の平均は加重平均から構成されてもよい。例えば、MoGは1つまたは複数の手段を提供することができ、各手段に対応する重み付けは、混合モデルの混合係数に基づいて求めることができる。
図3Bは、一実施形態による、患者の血管の確率的セグメンテーションを提供することができる、検証段階のための例示的な方法310のブロック図である。一実施形態では、ステップ311は、電子記憶媒体(例えば、ハードドライブ、ネットワークドライブ、クラウドドライブ、携帯電話、タブレット、データベースなど)の患者の冠状動脈の画像データを受信することを含み得る。
一実施形態では、ステップ313は、受信した画像データを曲線平面表現(CPR)に変換することを含み得る。例えば、ステップ313は、(例えば、文献の任意の中心線検出アルゴリズムから)患者の冠状動脈の中心線の予測を受信することを含み得る。一組の平面を中心線に沿って(例えば、中心線に直交して)抽出して、2次元を定義する基準の座標系フレームと3次元を定義する中心線の長さとを有する3Dボリューム(例えば、CPR)を含めることができる。変換パラメータ(例えば、平行移動、スケール、回転)を記憶することができる。
一実施形態では、ステップ315は、(方法300の)訓練段階の記憶した結果を使用して、訓練中に特定された、中心線の周りの角度方向における各CPRフレームの中心から内腔の境界までの距離を予測することを含み得る。代替的にまたは追加的に、ステップ315は、各予測距離に対する標準偏差(複数可)と混合係数(複数可)を予測するために、訓練段階の保存された結果を使用することを含み得る。さらなる実施形態として、ステップ315は、推定された各内腔境界の条件付き平均及び/または条件付き標準偏差を計算することを含み得る。一実施形態では、推定内腔境界の条件付き平均は、内腔メッシュの目印の点の位置を含み得る。条件付き標準偏差は、目印の点の位置の不確実性を示す可能性がある。
一実施形態では、ステップ317は、患者の撮像された冠状動脈の解剖学的モデルを生成することを含み得る。解剖学的モデルは、最終的な内腔のセグメンテーションを含み得る。例えば、ステップ317は、予測された目印の点(複数可)を、CPR表現から元の3D画像空間に戻すように変換することを含むことができる。中心線に沿った各フレームの向き及び位置は、CPRの作成から判定してもよい(ステップ313の間に記憶されている場合)。一実施形態では、3Dの点はCPRから計算することができ、解剖学的モデルまたは最終的な内腔セグメンテーションを構築するために任意の3D表面再構成法(例えば、ポアソン表面再構成)を、目印の点(複数可)のこの点の群に、適用することができる。
一実施形態では、ステップ319は、血管の解剖学的モデル/完全セグメンテーションの境界、及び関連する不確実性値を電子記憶媒体(例えば、ハードドライブ、ネットワークドライブ、クラウドドライブ、携帯電話、タブレット、データベースなど)及び/またはディスプレイに出力することを含み得る。
図4A及び図4Bは、局所画像記述子を使用して訓練された学習システムを使用する確率的セグメンテーション方法を説明する。この種の確率的セグメンテーションは、回帰子または画像変換なしで行われてもよい。一実施形態では、境界点の位置は不確実である可能性があり、これは、境界点の近傍にある画像の要素が実行可能な代替候補である可能性があることを意味する。一実施形態では、セグメンテーションモデルは、画像の要素がオブジェクトの境界点を含む可能性に確率を割り当てるように訓練されてもよい。要素の局所的な近傍における確率は、次いで、内腔の境界点の不確実性または信頼度として解釈され得る。1つのそのようなセグメンテーションモデル(例えば統計的方法)は、画像の(例えば3Dボリュームの)オブジェクトの境界点を分類するように訓練済みのモデルを含み得る。オブジェクトの境界点の分類は、画像の局所的な画像記述子に基づいてもよい。局所的な画像記述子の例は、局所画像強度、ガウス導関数画像特徴、ガボールフィルタ応答、事前に訓練された人工ニューラルネットワーク(複数可)からの学習された特徴などを含み得る。
図4Aは、この種のセグメンテーションモデルに対する例示的な訓練段階を提供しており、図4Bは、このセグメンテーションモデルを検証する実施形態を説明している。図4Aは、様々な実施形態による、局所的な画像記述子に基づいて確率的セグメンテーションモデルを提供するように設計された訓練段階のための例示的な方法400のフローチャートである。一実施形態では、ステップ401は、電子記憶媒体(例えば、ハードドライブ、ネットワークドライブ、クラウドドライブ、携帯電話、タブレット、データベースなど)の対象となるオブジェクトの1つまたは複数の画像を受信することを含むことができる。これらの画像は、例えば、CT、MR、SPECT、PET、超音波、(マルチビュー)血管造影などの医用撮像装置からのものであり得る。画像は、患者の解剖学的構造の画像を含み得る。これらの画像は「訓練画像」と呼ばれることがある。
一実施形態では、ステップ403は、各画像要素(例えば、ボクセル)に対しラベルを受信することを含むことができる。ラベルは、対象となる構造の境界を示すことができる。ステップ405は、ラベルに基づいて(例えば、画像ボクセルによって)対象となる構造の境界を定義することを含むことができる。
一実施形態では、ステップ407は、ボクセルまたは画像の位置(例えば画像の小領域の中心)に境界点がある確率を予測するために、統計モデル(例えば最近傍分類子、ランダムフォレスト分類子など)を訓練することを含むことができる。確率は、ボクセルまたは点に関連する局所的な画像記述子に基づいて判定できる。局所的な画像記述子は、ラベルによって提供されてもよい(例えば、ステップ403の)。言い換えれば、訓練画像の1つまたは複数は、検出された画像由来の特徴を含み得る。画像由来の特徴のそれぞれは、対応するラベル及び点の位置のインジケータを有することができる(例えば、点は画像の小領域の中心に位置することができる)。ラベルは、対象となる構造の境界点をその点が構成しているかどうか(例えば、その点が画像の背景を構成するか、その点が対象となる構造の境界を構成しているか)を示すことができる。
画像由来の特徴とラベルとの間のこれらの関連付けまたはペアリングの各々は、訓練画像から生成された「訓練例」を構成することができる。訓練段階は、訓練例を決定すること及び/または受信することを含み得る。訓練段階は、画像記述子(例えば、画像由来の特徴)に基づいて、新しい画像に対するラベルを予測するために統計モデルを訓練することを含み得る。画像記述子は、新しい画像の位置(例えば、ボクセル)と関連付けられてもよく、新しい画像のラベルは、新しい画像の位置が対象のオブジェクトの境界を構成する可能性(例えば、確率)を含んでもよい。
図4Bは、一実施形態による、局所的な画像記述子に基づいて確率的セグメンテーションを提供することができる、検証段階のための例示的な方法410のブロック図である。一実施形態では、ステップ411は、電子記憶媒体(例えば、ハードドライブ、ネットワークドライブ、クラウドドライブ、携帯電話、タブレット、データベースなど)の画像を受信することを含むことができる。画像は患者の解剖学的構造の一部の表現を含み得る画像を含み得る。
一実施形態では、ステップ413は、(受信された画像の局所的画像領域内の)位置が(例えば、患者の解剖学的構造の)境界点を含む確率を予測することを含むことができる。例えば、ステップ413は、(方法400の)訓練された統計モデルを使用して、その場所がオブジェクトの境界点である確率を予測することを含むことができる。一実施形態では、ステップ413は、見込みのある境界点の周囲の領域を不確実な領域となるように定義することを含むことができる。代替的にまたは追加的に、ステップ413は、形状適合モデルを適用してオブジェクトの境界を決定することを含み得る。形状適合モデルの適用は、セグメンテーションの境界の周りの空間を網羅するという目的を有し得る。例えば、1つのシナリオは、セグメンテーションの境界の周りの空間全体を網羅するために形状適合モデルを適用することを含み得る。一実施形態では、形状適合モデルを適用してオブジェクトの境界を決定することは、不確実な領域がオブジェクトの境界の法線方向に沿って存在し得る境界点に基づき得る。中心軸の表現(例えば、曲線によって表される表面、一組の垂直放射線、及び放射線に沿った距離)の場合、不確実性はそれぞれの放射線の方向にあり得る。不確実性領域における確率マップの空間的な分布は、不確実性スコアとしてまとめることができる。例えば、確率マップの標準偏差を領域内で計算して不確実性スコアを判定することができる。あるいは、不確実性領域を不確実性スコアにマッピングするように別の統計的分類子を訓練することができる。
一実施形態では、ステップ415は、オブジェクトの完全セグメンテーションの境界、及び関連する不確実性値を電子記憶媒体(例えば、ハードドライブ、ネットワークドライブ、クラウドドライブ、携帯電話、タブレット、データベースなど)及び/またはディスプレイに生成して出力することを含み得る。オブジェクトは患者の解剖学的構造の少なくとも一部を含み得る。
そのため、セグメンテーションは、様々な精度の様々なセグメンテーションの境界の位置をレンダリングし得る。本開示は、セグメンテーションの境界の位置の確率分布を予測することによって、セグメンテーションの統計的信頼性(または統計的不確実性)に関する情報を提供することを対象とする。確率分布は確率密度関数を含み得る。確率密度関数を予測する一実施形態は、2つの段階、すなわち訓練段階と検証段階とを含み得る。例示的な訓練段階は、パラメータ化またはセグメンテーションの集合から統計的不確実性のパターンを認識すること、及び認識されたパターンを記憶することを含み得る。例示的な検証段階は、認識されたパターンを使用して新しい画像の画像セグメンテーションの確率密度関数を予測することを含み得る。一実施形態では、訓練段階は、セグメンテーションにおける不確実性のパターンを認識するために統計モデルまたはシステムを訓練することを含み得る。検証段階は、訓練された統計モデルを新しい画像、セグメンテーション、またはオブジェクトのパラメータ化に適用して、セグメンテーション/パラメータ化の確率密度関数または信頼値を予測することを含むことができる。確率密度関数または信頼値は、セグメンテーション(複数可)、セグメンテーション(複数可)から作成されたモデル、またはそのようなモデルを使用して実行された分析の精度を改善するのに使用することができる。
本発明の他の実施形態は、本明細書に開示された発明の明細及び実施を考慮すれば、当業者には明らかである。本明細書及び実施例は、例示的なものにすぎないとみなされることが意図されており、本発明の真の範囲及び趣旨は、次の特許請求の範囲によって示される。

Claims (20)

  1. 解剖学的画像解析において確率的セグメンテーションを実行するコンピュータ実施方法であって、
    解剖学的構造の複数の画像を受信すること、
    前記解剖学的構造の1つまたは複数の幾何学的ラベルを受信すること、
    前記1つまたは複数の幾何学的ラベル及び前記受信した複数の画像に基づいて前記解剖学的構造のパラメータ化された表現を生成すること、
    前記パラメータ化された表現の領域を前記解剖学的構造の幾何学的パラメータにマッピングすること、
    患者の解剖学的構造の画像を受信すること、及び
    前記解剖学的構造の前記幾何学的パラメータへの前記解剖学的構造の前記パラメータ化された表現の前記領域の前記マッピングに基づいて、前記患者の解剖学的構造の患者固有のセグメンテーションの境界の確率分布を生成することを含む前記方法。
  2. 前記確率分布に基づいて統計的信頼値を生成すること
    をさらに含む、請求項1に記載の方法。
  3. 前記確率分布に基づいて、前記患者の解剖学的構造の前記患者固有のセグメンテーションの境界を生成すること
    をさらに含む、請求項1に記載の方法。
  4. 前記解剖学的構造が血管を含み、前記患者の解剖学的構造が前記患者の脈管構造の血管を含む、請求項1に記載の方法。
  5. 前記幾何学的ラベルが、血管内腔境界、中心線、表面、またはそれらの組み合わせの注釈を含む、請求項1に記載の方法。
  6. 前記パラメータ化された表現の領域を幾何学的パラメータにマッピングするステップが、
    前記解剖学的構造の中心線の点から前記解剖学的構造の内腔の境界の点までの距離を判定すること、及び
    前記判定された距離まで前記パラメータ化された表現の領域をマッピングすること
    をさらに含む、請求項1に記載の方法。
  7. 前記判定された距離の統計的信頼度スコアを生成することをさらに含む、請求項6に記載の方法。
  8. 前記判定された距離に基づいて前記患者固有のセグメンテーションの境界を生成すること
    をさらに含む、請求項6に記載の方法。
  9. 前記複数の画像の各画像について、前記解剖学的構造のパラメータ化された表現を生成することであり、この場合前記パラメータ化された表現が3次元体積モデルを含んでいる、前記生成することをさらに含む、請求項1に記載の方法。
  10. 解剖学的画像解析において確率的セグメンテーションを実行するシステムであって、
    解剖学的画像解析において確率的セグメンテーションを実行するための命令を記憶するデータ記憶装置、及び
    解剖学的構造の複数の画像を受信すること、
    前記解剖学的構造の1つまたは複数の幾何学的ラベルを受信すること、
    前記1つまたは複数の幾何学的ラベル及び前記受信した複数の画像に基づいて前記解剖学的構造のパラメータ化された表現を生成すること、
    前記パラメータ化された表現の領域を前記解剖学的構造の幾何学的パラメータにマッピングすること、
    患者の解剖学的構造の画像を受信すること、及び
    前記解剖学的構造の前記幾何学的パラメータへの前記解剖学的構造の前記パラメータ化された表現の前記領域の前記マッピングに基づいて、前記患者の解剖学的構造の患者固有のセグメンテーションの境界の確率分布を生成することを含む方法を実行するために前記命令を実行するように構成されたプロセッサを含む、前記システム。
  11. 前記少なくとも1つのコンピュータシステムがさらに、
    前記確率分布に基づいて統計的信頼値を生成すること
    のために構成される、請求項10に記載のシステム。
  12. 前記少なくとも1つのコンピュータシステムがさらに、
    前記確率分布に基づいて、前記患者の解剖学的構造の前記患者固有のセグメンテーションの境界を生成することのために構成される、請求項10に記載のシステム。
  13. 前記解剖学的構造が血管を含み、前記患者の解剖学的構造が前記患者の脈管構造の血管を含む、請求項10に記載のシステム。
  14. 前記幾何学的ラベルが、血管内腔境界、中心線、表面、またはそれらの組み合わせの注釈を含む、請求項10に記載のシステム。
  15. 前記パラメータ化された表現の領域を幾何学的パラメータにマッピングするステップ、前記少なくとも1つのコンピュータシステムがさらに、
    前記解剖学的構造の中心線の点から前記解剖学的構造の内腔の境界の点までの距離を判定すること、及び
    前記判定された距離まで前記パラメータ化された表現の領域をマッピングすること
    のために構成されている、請求項10に記載のシステム。
  16. 前記少なくとも1つのコンピュータシステムがさらに、
    前記判定された距離の統計的信頼度スコアを生成することのために構成されている、請求項9に記載のシステム。
  17. 前記少なくとも1つのコンピュータシステムがさらに、
    前記判定された距離に基づいて前記患者固有のセグメンテーションの境界を生成すること
    のために構成されている、請求項9に記載のシステム。
  18. 解剖学的画像解析において確率的セグメンテーションを実行するためのコンピュータ実行可能プログラミング命令を含むコンピュータシステムで使用するための非一時的コンピュータ可読媒体であって、前記方法が、
    解剖学的構造の複数の画像を受信すること、
    前記解剖学的構造の1つまたは複数の幾何学的ラベルを受信すること、
    前記1つまたは複数の幾何学的ラベル及び前記受信した複数の画像に基づいて前記解剖学的構造のパラメータ化された表現を生成すること、
    前記パラメータ化された表現の領域を前記解剖学的構造の幾何学的パラメータにマッピングすること、
    患者の解剖学的構造の画像を受信すること、及び
    前記解剖学的構造の前記幾何学的パラメータへの前記解剖学的構造の前記パラメータ化された表現の前記領域の前記マッピングに基づいて、前記患者の解剖学的構造の患者固有のセグメンテーションの境界の確率分布を生成すること
    を含む前記非一時的コンピュータ可読媒体。
  19. 前記方法が、
    前記確率分布に基づいて統計的信頼値を生成することをさらに含む、請求項18に記載の非一時的コンピュータ可読媒体。
  20. 前記方法が、
    前記確率分布に基づいて、前記患者の解剖学的構造の前記患者固有のセグメンテーションの境界を生成すること
    をさらに含む、請求項18に記載の非一時的コンピュータ可読媒体。
JP2019529893A 2016-12-23 2017-12-22 解剖学的画像処理における確率的セグメンテーションのためのシステム及び方法 Active JP7134962B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662438514P 2016-12-23 2016-12-23
US62/438,514 2016-12-23
PCT/US2017/068112 WO2018119358A1 (en) 2016-12-23 2017-12-22 Systems and methods for probabilistic segmentation in anatomical image processing

Publications (3)

Publication Number Publication Date
JP2020503603A true JP2020503603A (ja) 2020-01-30
JP2020503603A5 JP2020503603A5 (ja) 2021-02-12
JP7134962B2 JP7134962B2 (ja) 2022-09-12

Family

ID=60972522

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019529893A Active JP7134962B2 (ja) 2016-12-23 2017-12-22 解剖学的画像処理における確率的セグメンテーションのためのシステム及び方法

Country Status (4)

Country Link
US (3) US10600181B2 (ja)
EP (2) EP3559907A1 (ja)
JP (1) JP7134962B2 (ja)
WO (1) WO2018119358A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022138277A1 (ja) * 2020-12-24 2022-06-30 富士フイルム株式会社 学習装置、方法及びプログラム並びに医用画像処理装置

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11568627B2 (en) 2015-11-18 2023-01-31 Adobe Inc. Utilizing interactive deep learning to select objects in digital visual media
US10192129B2 (en) 2015-11-18 2019-01-29 Adobe Systems Incorporated Utilizing interactive deep learning to select objects in digital visual media
EP3461253B1 (en) 2016-05-16 2023-08-09 Cathworks Ltd. Selection of vascular paths from images
IL263065B1 (en) 2016-05-16 2024-04-01 Cathworks Ltd Vascular evaluation system
US10600181B2 (en) * 2016-12-23 2020-03-24 Heartflow, Inc. Systems and methods for probabilistic segmentation in anatomical image processing
US10762637B2 (en) * 2017-10-27 2020-09-01 Siemens Healthcare Gmbh Vascular segmentation using fully convolutional and recurrent neural networks
EP3511866A1 (en) * 2018-01-16 2019-07-17 Koninklijke Philips N.V. Tissue classification using image intensities and anatomical positions
US11244195B2 (en) * 2018-05-01 2022-02-08 Adobe Inc. Iteratively applying neural networks to automatically identify pixels of salient objects portrayed in digital images
EP3644275A1 (en) * 2018-10-22 2020-04-29 Koninklijke Philips N.V. Predicting correctness of algorithmic segmentation
US11282208B2 (en) 2018-12-24 2022-03-22 Adobe Inc. Identifying target objects using scale-diverse segmentation neural networks
US10813612B2 (en) 2019-01-25 2020-10-27 Cleerly, Inc. Systems and method of characterizing high risk plaques
WO2020160664A1 (en) * 2019-02-06 2020-08-13 The University Of British Columbia Neural network image analysis
JP7296773B2 (ja) * 2019-04-26 2023-06-23 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理プログラム
EP3977364A4 (en) * 2019-05-31 2023-06-14 Thales Canada Inc. METHOD AND PROCESSING DEVICE FOR TRAINING A NEURAL NETWORK
US11024034B2 (en) * 2019-07-02 2021-06-01 Acist Medical Systems, Inc. Image segmentation confidence determination
JP2021051573A (ja) * 2019-09-25 2021-04-01 キヤノン株式会社 画像処理装置、および画像処理装置の制御方法
US11334995B2 (en) * 2019-11-27 2022-05-17 Shanghai United Imaging Intelligence Co., Ltd. Hierarchical systems and methods for image segmentation
US10695147B1 (en) * 2019-12-04 2020-06-30 Oxilio Ltd Method and system for dental boundary determination
US11562203B2 (en) 2019-12-30 2023-01-24 Servicenow Canada Inc. Method of and server for training a machine learning algorithm for estimating uncertainty of a sequence of models
US20220392065A1 (en) 2020-01-07 2022-12-08 Cleerly, Inc. Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking
US11969280B2 (en) 2020-01-07 2024-04-30 Cleerly, Inc. Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking
KR20220124217A (ko) 2020-01-07 2022-09-13 클리어리, 인크. 의료 영상 분석, 진단, 위험도 층화, 의사 결정 및/또는 질환 추적을 위한 시스템, 방법 및 디바이스
EP3863022A1 (en) * 2020-02-06 2021-08-11 Siemens Healthcare GmbH Method and system for automatically characterizing liver tissue of a patient, computer program and electronically readable storage medium
US11335004B2 (en) 2020-08-07 2022-05-17 Adobe Inc. Generating refined segmentation masks based on uncertain pixels
CN112287946B (zh) * 2020-09-23 2023-04-18 南方医科大学珠江医院 基于matlab的膝关节影像组学特征自动化提取方法
JP2022090798A (ja) * 2020-12-08 2022-06-20 キヤノンメディカルシステムズ株式会社 解析装置、解析システム及び解析方法
US11676279B2 (en) 2020-12-18 2023-06-13 Adobe Inc. Utilizing a segmentation neural network to process initial object segmentations and object user indicators within a digital image to generate improved object segmentations
US11875510B2 (en) 2021-03-12 2024-01-16 Adobe Inc. Generating refined segmentations masks via meticulous object segmentation
US20230169702A1 (en) 2021-11-29 2023-06-01 Heartflow, Inc. Systems and methods for processing electronic images for physiology-compensated reconstruction
WO2023097312A1 (en) 2021-11-29 2023-06-01 Heartflow, Inc. Systems and methods for processing electronic images using user inputs
US20230289963A1 (en) 2022-03-10 2023-09-14 Cleerly, Inc. Systems, devices, and methods for non-invasive image-based plaque analysis and risk determination

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012030072A (ja) * 2010-07-30 2012-02-16 Toshiba Corp 医用画像処理方法、記録媒体、及び医用画像処理装置
US20160267673A1 (en) * 2015-03-10 2016-09-15 Siemens Aktiengesellschaft Systems and Method for Computation and Visualization of Segmentation Uncertainty in Medical Images

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3534009B2 (ja) * 1999-09-24 2004-06-07 日本電気株式会社 輪郭抽出方法及び装置
US7680312B2 (en) 2005-07-13 2010-03-16 Siemens Medical Solutions Usa, Inc. Method for knowledge based image segmentation using shape models
DE102010022307A1 (de) * 2010-06-01 2011-12-01 Siemens Aktiengesellschaft Verfahren zur Überprüfung der Segmentierung einer Struktur in Bilddaten
US9430827B2 (en) * 2013-05-31 2016-08-30 Siemens Aktiengesellschaft Segmentation of a calcified blood vessel
US9747525B2 (en) * 2014-06-16 2017-08-29 Siemens Healthcare Gmbh Method and system for improved hemodynamic computation in coronary arteries
US10600181B2 (en) * 2016-12-23 2020-03-24 Heartflow, Inc. Systems and methods for probabilistic segmentation in anatomical image processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012030072A (ja) * 2010-07-30 2012-02-16 Toshiba Corp 医用画像処理方法、記録媒体、及び医用画像処理装置
US20160267673A1 (en) * 2015-03-10 2016-09-15 Siemens Aktiengesellschaft Systems and Method for Computation and Visualization of Segmentation Uncertainty in Medical Images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022138277A1 (ja) * 2020-12-24 2022-06-30 富士フイルム株式会社 学習装置、方法及びプログラム並びに医用画像処理装置

Also Published As

Publication number Publication date
US11443428B2 (en) 2022-09-13
US10600181B2 (en) 2020-03-24
US20180182101A1 (en) 2018-06-28
EP4145391A1 (en) 2023-03-08
US20220383495A1 (en) 2022-12-01
JP7134962B2 (ja) 2022-09-12
EP3559907A1 (en) 2019-10-30
US20200184646A1 (en) 2020-06-11
WO2018119358A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
JP7134962B2 (ja) 解剖学的画像処理における確率的セグメンテーションのためのシステム及び方法
US11847781B2 (en) Systems and methods for medical acquisition processing and machine learning for anatomical assessment
US11288813B2 (en) Systems and methods for anatomic structure segmentation in image analysis
US10147190B2 (en) Generation of a patient-specific anatomical atlas
Girum et al. Learning with context feedback loop for robust medical image segmentation
US9697600B2 (en) Multi-modal segmentatin of image data
CN110546685B (zh) 图像分割和分割预测
CN111210401A (zh) 根据医学图像的主动脉自动检测和量化
EP3807845B1 (en) Atlas-based location determination of an anatomical region of interest
JP2020508709A (ja) 変形可能なオブジェクトへのデバイス挿入のための応力予測および応力評価
JP7457011B2 (ja) 異常検出方法、異常検出プログラム、異常検出装置、サーバ装置及び情報処理方法
JP7456928B2 (ja) 胸部x線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置
Kazi et al. Automatic segmentation of the left atrium from computed tomography angiography images
US11138736B2 (en) Information processing apparatus and information processing method
JP2019500114A (ja) 位置合わせ精度の決定
JP2024069343A (ja) 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法
CN114727800A (zh) 用于对象检测或识别的图像处理方法和装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220831

R150 Certificate of patent or registration of utility model

Ref document number: 7134962

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150