JP2021511577A - 3d医用画像のジオメトリに従った、構造化された畳み込みを通したいくつかのニューラルネットワークによる3d医用画像の自動セグメンテーションプロセス - Google Patents

3d医用画像のジオメトリに従った、構造化された畳み込みを通したいくつかのニューラルネットワークによる3d医用画像の自動セグメンテーションプロセス Download PDF

Info

Publication number
JP2021511577A
JP2021511577A JP2020538900A JP2020538900A JP2021511577A JP 2021511577 A JP2021511577 A JP 2021511577A JP 2020538900 A JP2020538900 A JP 2020538900A JP 2020538900 A JP2020538900 A JP 2020538900A JP 2021511577 A JP2021511577 A JP 2021511577A
Authority
JP
Japan
Prior art keywords
image
different
cnn
cnns
voxels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020538900A
Other languages
English (en)
Other versions
JPWO2019137997A5 (ja
JP7398377B2 (ja
Inventor
ソレ,リュック
トム,ニコラ
オステトレ,アレクサンドル
マレスコー,ジャック
Original Assignee
アンスティテュ・ドゥ・ルシェルシュ・シュール・レ・カンセール・ドゥ・ラパレイユ・ディジェスティフ−イ・エール・セ・ア・デ
ビジブル・パシアン
コンセルバトワール・ナショナル・デ・アーツ・エ・メティエ(セ・エヌ・ア・エム)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アンスティテュ・ドゥ・ルシェルシュ・シュール・レ・カンセール・ドゥ・ラパレイユ・ディジェスティフ−イ・エール・セ・ア・デ, ビジブル・パシアン, コンセルバトワール・ナショナル・デ・アーツ・エ・メティエ(セ・エヌ・ア・エム) filed Critical アンスティテュ・ドゥ・ルシェルシュ・シュール・レ・カンセール・ドゥ・ラパレイユ・ディジェスティフ−イ・エール・セ・ア・デ
Publication of JP2021511577A publication Critical patent/JP2021511577A/ja
Publication of JPWO2019137997A5 publication Critical patent/JPWO2019137997A5/ja
Application granted granted Critical
Publication of JP7398377B2 publication Critical patent/JP7398377B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本発明は、ボクセルから構成される対象物の3D医用画像において視認可能な解剖学的および病理学的構造物または器具などの特徴の自動セグメンテーション方法に関する。前記方法は、N≧2であるN個の異なる畳み込みニューラルネットワークすなわちCNNを結合し、画像ボリュームのジオメトリまたはアーキテクチャに適合され比較できる構造化されたジオメトリまたはアーキテクチャを有する、全体的ソフトウェア手段または構成を提供することと、N個の異なる再構築軸または平面に従って3D画像の前記ボリュームを形成するボクセルを解析することとにあり、各CNNが、1つの軸または平面に属するボクセルの解析に割り振られていることを特徴とする。

Description

本発明は、データ処理の分野、より詳細には画像の処理および解析、特に医用画像のセグメンテーションに関連し、3D医用画像のジオメトリまたは構造化に従った、構造化された畳み込みを通した、1つまたはいくつかのニューラルネットワークによる3D医用画像の自動セグメンテーションプロセスに関する。
スキャナ、MRI、超音波、CTまたはSPECタイプの画像のような医用イメージングデバイスから作られる3次元画像は、3D画像の基本単位であるボクセルのセットから構成される。ボクセルは、2D画像の基本単位であるピクセルを3Dに拡張したものである。各ボクセルは、2D関数F(x,y)または3D関数F(x,y,z)の結果と考えることができるグレーレベルまたは濃さと関連付けられ、ここでx、yおよびzは空間座標を表す(図1参照)。
3D画像において、ボクセルは、様々な軸または平面に従って、2Dにて見られ得る。医用画像における3つの主要な軸または平面は、軸平面、矢状面および前頭面である(図2)。しかし、異なる角度を付けることで、無数の軸または平面が作り出され得る。
典型的には、2Dまたは3Dの医用画像は、臨床医が状態を評価するため、ならびに治療戦略を確定し計画するために描出する必要のある解剖学的および病理学的な構造物(器官、骨、組織、・・・)または人工的な要素(ステント、インプラント、器具、・・・)のセットを含む。この点において、器官および病変が画像内で識別される必要があり、これは、2D画像の各ピクセルまたは3D画像の各ボクセルをラベル付け(例えば色付け)することを意味する。このプロセスはセグメンテーションと呼ばれる。
図3は、横断面図による3D医用画像セグメンテーションの各ステージを例として示す。
セグメンテーションを行うための方法は数多く知られており、特に、アルゴリズム、とりわけAIアルゴリズムを利用する自動的な方法がある。
これに関して、最先端の技術では、ニューラルネットワークの多数のバリエーションが用いられている。これらは全て標準的で非特定的なアーキテクチャに基づいており、その結果として、全般的に、不適当なリソースの浪費と効率および正確性の欠如とを招いている。
本発明の主な目的は、上述の制限を克服することが意図された新規な方法および新規なシステムを提案することにある。
したがって、本発明は、対象物の、ボクセルから構成される3D医用画像において視認可能な解剖学的および病理学的構造物または器具などの特徴の自動セグメンテーション方法に関し、
前記方法は、
N≧2であるN個の異なる畳み込みニューラルネットワークすなわちCNNを結合し、画像ボリュームのジオメトリまたはアーキテクチャに適合され比較できる構造化されたジオメトリまたはアーキテクチャを有する、全体的(global)ソフトウェア手段または構成を提供することと、
N個の異なる再構築軸または平面に従って3D画像の前記ボリュームを形成するボクセルを解析することと
にあり、各CNNが、1つの軸または平面に属するボクセルの解析に割り振られていることを特徴とする。
スキャナ、MRI、超音波、CTまたはSPECタイプの画像のような医用イメージングデバイスから作られる3次元画像は、3D画像の基本単位であるボクセルのセットから構成され、ボクセルは、2D画像の基本単位であるピクセルを3Dに拡張したものであり、各ボクセルは、2D関数F(x,y)または3D関数F(x,y,z)の結果と考えることができるグレーレベルまたは濃さと関連付けられ、ここでx、yおよびzは空間座標を表す、ことを示す図である。 3D画像において、ボクセルは、様々な軸または平面に従って、2Dにて見られ得、医用画像における3つの主要な軸または平面は、軸平面、矢状面および前頭面のそれであることを示す図である。 横断面図による3D医用画像セグメンテーションの各ステージを例として示す図である。 本発明の第1の実施形態による3D画像の様々な解析の軸または平面を統合する独自の全体的CNNアルゴリズムの模式的で記号的表現であり、各軸または平面に特定のCNNが割り振られている。 CNNのシリアルなまたは逐次的な構成を示す、本発明の他の実施形態の模式的で記号的表現である。 CNNの並列的な構成を示す、本発明の他の実施形態の模式的で記号的表現である。 CNNの並列的な構成を有する本発明の他の実施形態の模式的で記号的表現である。 CNNの並列的な構成を有する本発明の他の実施形態の模式的で記号的表現である。
非限定的な例として示され、添付の図面を参照して説明される、いくつかの好適な実施形態に関する下記の説明を用いて、本発明がよりよく理解されるであろう。
− 図4は、本発明の第1の実施形態による3D画像の様々な解析の軸または平面を統合する独自の全体的CNNアルゴリズムの模式的で記号的表現であり、各軸または平面に特定のCNNが割り振られている。
− 図5は、CNNのシリアルなまたは逐次的な構成を示す、本発明の他の実施形態の模式的で記号的表現である。
− 図6は、CNNの並列的な構成を示す、本発明の他の実施形態の模式的で記号的表現である。
− 図7および8は、CNNの並列的な構成を有する本発明の他の実施形態の模式的で記号的表現である。
添付の図面の図4から8に示しているのは、対象物の、ボクセルから構成される3D医用画像において視認可能な解剖学的および病理学的構造物または器具などの特徴の自動セグメンテーション方法である。
本発明によれば、前記方法は、N≧2であるN個の異なる畳み込みニューラルネットワークすなわちCNNを結合し、画像ボリュームのジオメトリまたはアーキテクチャに適合され比較できる構造化されたジオメトリまたはアーキテクチャを有する、全体的ソフトウェア手段または構成を提供することと、N個の異なる再構築軸または平面に従って3D画像の前記ボリュームを形成するボクセルを解析することとにあり、各CNNが、1つの軸または平面に属するボクセルの解析に割り振られている。
よって、本発明は、医用画像のジオメトリ、構造化およびコンテンツそのものを考慮した複数のCNNの構造化された編成および共同での協調動作を提供する。
3D画像ボリュームのN個の異なる再構築軸または平面に従ってN個の異なるCNN(N≧2、好ましくはN≧3)を結合するこの特定の複合計算システム(場合によっては単一のフレームワークにグループ化される)が、2D画像を解析しセグメント化するための知られているCNNの使用を3D画像に拡張することを可能とする。
典型的には、本発明の方法およびシステムにおいて用いられ得る、知られているCNNアルゴリズムとして、「U−Net」がある(例えば:「U−Net: Convolutional Networks for Biomedical Image Segmentation」、O. Ronnebergerら;MICCAI 2015、Part III、LNCS 3951、pp 234−‘’241、Springer IPSを参照)。
「U−Net」は、「ResNet」または「DenseNet」などの他の知られているアーキテクチャと共に実現されてよい。
有利には、本発明の方法は、図4から8にも示すように、3D画像のN個の再構築平面の各々について、N個の提供されているCNNのうち専用のCNNを用いて、所与の平面のボクセルにより形成された2D画像を解析しセグメント化することと、前記異なるCNNにより行われた前記N個の解析の中間または最後の結果を結合することとにあってよく、前記CNNは、3D画像ボリュームと同様に構造化されている。
解析のために3D画像ボリュームをセグメント化すること、および、これらの部分的解析の結果を単一の3D画像セグメンテーションにマージ(結合)することにより、本発明は、限定されたリソースを用いて、複合的なセグメンテーションプロシージャを実現すること、および、正確で何らかの形で照合された結果を迅速に供給することを可能とする。
N個の解析およびセグメンテーションの結果の結合またはマージは:
− 各ボクセルについて、N個のネットワークの中間活性値(intermediate activation)を結合すること(図4を参照。いわゆる「特徴結合(feature combination)」)。結果として得られるマージされた情報は、次いで、画像の最終的なセグメンテーションを提供する全体的CNNにより入力データとして受け取られる;
− 例えば分類器の(加重)合計、乗算または当業者に知られている他の適合された予測アンサンブリングオペレーション(adapted prediction ensembling operation)によって、N個の異なるCNNの出力情報を結合すること(図7および8を参照。後段での融合またはマージ)
によって行われてよい。
図4に示す本発明の第1の実施形態によれば、方法は、単一のニューラルネットワークを提供することにあり得、単一のニューラルネットワークは、3D医用画像において見られ得る解剖学的および病理学的構造物または器具を自動的にセグメント化する、有利には並列で動作する、N個の異なるCNNをその構造において統合する。各CNNは、異なる再構築平面または軸に従って前記3D画像のボリュームを形成する全てのボクセルを解析し、異なる2D解析およびセグメンテーションの結果は、前記ニューラルネットワークの一番終わりの構造における畳み込みを通して、構造化されたジオメトリと結合される。
この場合、そのように形成された単一のメタCNNの内部構造そのものが、3D軸の画像解析と、異なる2D解析およびセグメンテーションから得られた情報の結合とを、統合する。
もちろん、そのような多重並列2D処理の結果の結合を伴うこれらの処理は、単一のフレームワークに統合されるのではなく、N個の独立したCNNの並列構成によって管理され得る(図6)。
図5に示す本発明の第2の代替的実施形態によれば、方法はまた、N個の逐次的な動作または画像処理ステップを行うことにあり得る。各ステップは、3D医用画像において見られ得る解剖学的および病理学的構造物または器具を自動的にセグメント化するCNNによって実施され、前記CNNの各CNNは、N個の異なるCNNの各々についての特定の再構築平面に従って、および、シーケンスにおける前のネットワークCNNi−1が存在する場合は、それによって提供される結果を用いることにより、3D画像のボリュームを形成する全てのボクセルを解析する。
この場合、CNNの2D逐次的処理スキームは、アルゴリズムフレームワークの全体的アーキテクチャにおいて、またはCNN構成の構造化されたジオメトリにおいて統合され、よって、シーケンスの情報の最終的な結合は、前記フレームワークまたは構成の構造に本質的に統合される。
図6から8に示す本発明の好適な実施形態に関して、セグメンテーション方法は主に、2つの連続する動作ステップの組み合わせにある。第1のステップは、N個のセグメンテーションを行うことにあり、各セグメンテーションは、N個の異なる再構築軸または平面のうちの1つに従って行われ、第2のステップは、これらN個のセグメンテーションの結果を、3D医用画像において見られ得る解剖学的および病理学的構造物または器具の単一のセグメンテーションに結合することにある。
有利には、第1の動作ステップは、並列的または逐次的に動作するN個の異なるCNNにより実施され、これらCNNの各々は、互いに独立して、3D医用画像において見られ得る解剖学的および病理学的構造物または器具を自動的にセグメント化し、各CNNは、N個の異なるCNNの各々についての異なる再構築平面に従って、3D画像のボリュームを形成する全てのボクセルを解析する。
図7に示す本発明の第1の代替的実施例によれば、第1のステップのN個のセグメンテーションの結果を3D医用画像において見られ得る解剖学的および病理学的構造物または器具の単一のセグメンテーションに結合することに専用される第2の動作ステップは、第1のステップのN個のセグメンテーションの間に全く同一のボクセルに割り当てられたN個のラベルの結合に対応するラベルを、画像ボリュームの各ボクセルに割り当てることにより実施される。
図8に示す本発明の第2の代替的実施例によれば、第1のステップのN個のセグメンテーションの結果を3D医用画像において見られ得る解剖学的および病理学的構造物または器具の単一のセグメンテーションに結合することに専用される第2の動作ステップは、第1のステップのN個のセグメンテーションの間に全く同一のボクセルに、およびそのボクセルの近傍のボクセルに割り当てられたN個のラベルの結合に対応するラベルを、画像ボリュームの各ボクセルに割り当てることにより実施される。
3D画像ボリュームにおいて、所与のボクセルの近傍のボクセルは、3つの異なるボクセルグループ、すなわち(図8に示すように):
− 考慮されるボクセルと面同士が接する6つのボクセルのグループ;
− 考慮されるボクセルと面同士または辺同士が接する18個のボクセルのグループ;
− 上記の18個のボクセルのグループ、および考慮されるボクセルの角の先端と一点で接する8つのさらなるボクセルを含む26個のボクセルのグループ
に関するものであってよい。
図4から8に示すように、(本発明の方法を実行するときに用いられる)N個の再構築平面は、好ましくは、矢状面2および前頭面または冠状面3、ならびに、矢状面および冠状面の交線を包含し、これらの平面に向かって前記線まわりに角度がシフトされた、横断面または軸平面1に垂直な少なくとも1つの他の平面を含む。
上記に加えてまたは替えて、N個の再構築平面は:
− 矢状面2または冠状面3に平行な平面、および/または、
− 複数の互いに平行な軸平面1
を含んでもよい。
本発明はまた、図4から8に記号的に示すように、上述の自動セグメンテーション方法を行うためのシステムを包含する。
前記システムは、N≧2であるN個の異なる畳み込みニューラルネットワーク(CNN)の、逐次的または並列的な編成での協調動作を、構造化された構成においてホストし、可能とする少なくとも1つのコンピュータデバイスを含むことを特徴とし、各CNNは、N個の異なる再構築軸または平面に従って3D画像の前記ボリュームを形成するボクセルを解析することにより、処理される3D医用画像において見られ得る解剖学的および病理学的構造物または器具のセグメンテーションを、自動的に、および他のCNNと独立して行うように適合されて構成され、各CNNは、1つの軸または平面に属するボクセルの解析に割り振られている。
好ましくは、前記システムはまた、前記N個の異なるCNNにより行われた解析およびセグメンテーションの結果を結合、および場合によっては表示するための手段を含む。
第1の代替例によれば、N個の異なるCNNは、前記N個の異なるCNNの各CNNが、N個の異なるCNNの各々についての特定の再構築平面に従って、3D画像のボリュームを形成する全てのボクセルを解析し、前のネットワークCNNi−1が存在する場合は、それにより提供された結果を用いるように、シリアルアーキテクチャで構成されてよい(図5)。
第2の代替例によれば、N個の異なるCNNは、場合によっては単一のアルゴリズムフレームワーク内において、並列アーキテクチャで構成されてよく、前記N個の異なるCNNの結果は、最終ステージで結合される(図4、6および8)。
もちろん、本発明は、添付の図面において説明および表現されている少なくとも1つの実施形態に限定されるものではない。本発明の保護範囲を超えることなく、特に様々な要素の構成の観点からの、または技術的均等物の置き換えによる変形が、依然可能である。

Claims (15)

  1. 対象物の、ボクセルから構成される3D医用画像において視認可能な解剖学的および病理学的構造物または器具などの特徴の自動セグメンテーション方法であって、方法が、
    N≧2であるN個の異なる畳み込みニューラルネットワークすなわちCNNを結合し、画像ボリュームのジオメトリまたはアーキテクチャに適合され比較できる構造化されたジオメトリまたはアーキテクチャを有する、全体的ソフトウェア手段または構成を提供することと、
    N個の異なる再構築軸または平面に従って3D画像の前記ボリュームを形成するボクセルを解析することと
    にあり、
    各CNNが、1つの軸または平面に属するボクセルの解析に割り振られていることを特徴とする、自動セグメンテーション方法。
  2. 3D画像のN個の再構築平面の各々について、N個の提供されているCNNのうち専用のCNNを用いて、所与の平面のボクセルにより形成された2D画像を解析しセグメント化することと、前記異なるCNNにより行われた前記N個の解析の中間または最後の結果を結合することとにあり、前記CNNが、3D画像ボリュームと同様に構造化されていることを特徴とする、請求項1に記載の自動セグメンテーション方法。
  3. 自動セグメンテーション方法が、単一のニューラルネットワークを提供することにあり、単一のニューラルネットワークが、3D医用画像において見られ得る解剖学的および病理学的構造物または器具を自動的にセグメント化する、有利には並列で動作する、N個の異なるCNNをその構造において統合していることと、各CNNが、異なる再構築平面または軸に従って前記3D画像のボリュームを形成する全てのボクセルを解析することと、異なる2D解析およびセグメンテーションの結果が、前記ニューラルネットワークの一番終わりの構造における畳み込みを通して、構造化されたジオメトリと結合されることとを特徴とする、請求項1または2に記載の自動セグメンテーション方法。
  4. 自動セグメンテーション方法が、N個の逐次的な動作または画像処理ステップを行うことにあり、各ステップが、3D医用画像において見られ得る解剖学的および病理学的構造物または器具を自動的にセグメント化するCNNによって実施され、前記CNNの各CNNが、N個の異なるCNNの各々についての特定の再構築平面に従って、および、シーケンスにおける前のネットワークCNNi−1が存在する場合は、それによって提供される結果を用いることにより、3D画像のボリュームを形成する全てのボクセルを解析することを特徴とする、請求項1または2に記載の自動セグメンテーション方法。
  5. 自動セグメンテーション方法が、2つの連続する動作ステップの組み合わせを主に含み、第1のステップが、N個のセグメンテーションを行うことにあり、各セグメンテーションが、N個の異なる再構築軸または平面のうちの1つに従って行われ、および、第2のステップが、これらN個のセグメンテーションの結果を、3D医用画像において見られ得る解剖学的および病理学的構造物または器具の単一のセグメンテーションに結合することにあることを特徴とする、請求項1から4のいずれか一項に記載の自動セグメンテーション方法。
  6. 第1の動作ステップが、並列的または逐次的に動作するN個の異なるCNNにより実施され、これらCNNの各々が、互いに独立して、3D医用画像において見られ得る解剖学的および病理学的構造物または器具を自動的にセグメント化し、各CNNが、N個の異なるCNNの各々についての異なる再構築平面に従って、3D画像のボリュームを形成する全てのボクセルを解析することを特徴とする、請求項5に記載の自動セグメンテーション方法。
  7. 第1のステップのN個のセグメンテーションの結果を、3D医用画像において見られ得る解剖学的および病理学的構造物または器具の単一のセグメンテーションに結合することに専用される第2の動作ステップが、第1のステップのN個のセグメンテーションの間に全く同一のボクセルに割り当てられたN個のラベルの結合に対応するラベルを、画像ボリュームの各ボクセルに割り当てることにより実施されることを特徴とする、請求項5または6に記載の自動セグメンテーション方法。
  8. 第1のステップのN個のセグメンテーションの結果を3D医用画像において見られ得る解剖学的および病理学的構造物または器具の単一のセグメンテーションに結合することに専用される第2の動作ステップが、第1のステップのN個のセグメンテーションの間に全く同一のボクセルに、およびそのボクセルの近傍のボクセルに割り当てられたN個のラベルの結合に対応するラベルを、画像ボリュームの各ボクセルに割り当てることにより実施されることを特徴とする、請求項5または6に記載の自動セグメンテーション方法。
  9. N個の平面が、矢状面(2)および前頭面または冠状面(3)、ならびに、矢状面および冠状面の交線を包含し、これらの平面に向かって前記線まわりに角度がシフトされた、横断面または軸平面(1)に垂直な少なくとも1つの他の平面を含むことを特徴とする、請求項1から8のいずれか一項に記載の自動セグメンテーション方法。
  10. 用いられるN個の再構築平面が、矢状面(2)または冠状面(3)に平行な平面を含むことを特徴とする、請求項1から8のいずれか一項に記載の自動セグメンテーション方法。
  11. 用いられるN個の再構築平面が、いくつかの互いに平行な軸平面(1)を含むことを特徴とする、請求項1から8のいずれか一項に記載の自動セグメンテーション方法。
  12. 請求項1から11のいずれか一項に記載の自動セグメンテーション方法を行うためのシステムであって、N≧2であるN個の異なる畳み込みニューラルネットワーク(CNN)の、逐次的または並列的な編成での協調動作を、構造化された構成においてホストし、可能とする少なくとも1つのコンピュータデバイスを含み、各CNNが、N個の異なる再構築軸または平面に従って3D画像の前記ボリュームを形成するボクセルを解析することにより、処理される3D医用画像において見られ得る解剖学的および病理学的構造物または器具のセグメンテーションを、自動的に、および他のCNNと独立して行うように適合されて構成され、各CNNが、1つの軸または平面に属するボクセルの解析に割り振られていることを特徴とする、システム。
  13. システムが、前記N個の異なるCNNにより行われた解析およびセグメンテーションの結果を結合、および場合によっては表示するための手段も含むことを特徴とする、請求項12に記載のシステム。
  14. N個の異なるCNNの各CNNが、N個の異なるCNNの各々についての特定の再構築平面に従って、3D画像のボリュームを形成する全てのボクセルを解析し、前のネットワークCNNi−1が存在する場合は、それにより提供された結果を用いるように、前記N個の異なるCNNがシリアルアーキテクチャで構成されることを特徴とする、請求項12または13に記載のシステム。
  15. N個の異なるCNNが、場合によっては単一のアルゴリズムフレームワーク内において、並列アーキテクチャで構成され、前記N個の異なるCNNの結果が、最終ステージで結合されることを特徴とする、請求項12または13に記載のシステム。
JP2020538900A 2018-01-10 2019-01-10 3d医用画像のジオメトリに従った、構造化された畳み込みを通したいくつかのニューラルネットワークによる3d医用画像の自動セグメンテーションプロセス Active JP7398377B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862615529P 2018-01-10 2018-01-10
US62/615,529 2018-01-10
PCT/EP2019/050542 WO2019137997A1 (en) 2018-01-10 2019-01-10 Automatic segmentation process of a 3d medical image by several neural networks through structured convolution according to the geometry of the 3d medical image

Publications (3)

Publication Number Publication Date
JP2021511577A true JP2021511577A (ja) 2021-05-06
JPWO2019137997A5 JPWO2019137997A5 (ja) 2022-01-17
JP7398377B2 JP7398377B2 (ja) 2023-12-14

Family

ID=65019502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020538900A Active JP7398377B2 (ja) 2018-01-10 2019-01-10 3d医用画像のジオメトリに従った、構造化された畳み込みを通したいくつかのニューラルネットワークによる3d医用画像の自動セグメンテーションプロセス

Country Status (8)

Country Link
US (1) US11551362B2 (ja)
EP (1) EP3738099A1 (ja)
JP (1) JP7398377B2 (ja)
KR (1) KR20200119250A (ja)
CN (1) CN111868781A (ja)
BR (1) BR112020014144A2 (ja)
CA (1) CA3087740A1 (ja)
WO (1) WO2019137997A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021120815A (ja) * 2020-01-30 2021-08-19 富士通株式会社 推定処理プログラム、推定処理方法、及び情報処理装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112020014201A2 (pt) * 2018-01-10 2020-12-01 Institut de Recherche sur les Cancers de l'Appareil Digestif - IRCAD sistema e método de segmentação automática de uma imagem médica 3d por uma ou várias redes neurais através de convolução estruturada de acordo com a geometria anatômica da imagem médica 3d
CN110852325B (zh) * 2019-10-31 2023-03-31 上海商汤智能科技有限公司 图像的分割方法及装置、电子设备和存储介质
WO2021209542A1 (en) 2020-04-17 2021-10-21 Visible Patient Automatic determination method of at least one parameter indicative of the degree or level of functionality of a lung
JP2024077825A (ja) 2022-11-29 2024-06-10 富士通株式会社 病変検出方法および病変検出プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2232164A1 (en) * 1995-09-19 1997-03-27 Morphometrix Technologies Inc. A neural network assisted multi-spectral segmentation system
EP1996959A4 (en) * 2006-03-03 2012-02-29 Medic Vision Brain Technologies Ltd SYSTEM AND METHOD FOR PRIORITIZE PRIORITIZATION AND AUTOMATIC ANALYSIS OF MEDICAL IMAGES
WO2007105107A2 (en) * 2006-03-14 2007-09-20 Agency For Science, Technology And Research Methods, apparatus and computer-readable media for image segmentation
US8706188B2 (en) * 2008-06-04 2014-04-22 The Board Of Trustees Of The Leland Stanford Junior University Automatic segmentation of articular cartilage from MRI
US9589374B1 (en) * 2016-08-01 2017-03-07 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
US9965863B2 (en) 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
US9947102B2 (en) 2016-08-26 2018-04-17 Elekta, Inc. Image segmentation using neural network method
US10387740B2 (en) 2016-10-10 2019-08-20 Gyrfalcon Technology Inc. Object detection and recognition apparatus based on CNN based integrated circuits
CN106373168A (zh) * 2016-11-24 2017-02-01 北京三体高创科技有限公司 一种基于医疗图像的分割与三维重建方法、3d打印系统
US10360494B2 (en) * 2016-11-30 2019-07-23 Altumview Systems Inc. Convolutional neural network (CNN) system based on resolution-limited small-scale CNN modules
US10580131B2 (en) 2017-02-23 2020-03-03 Zebra Medical Vision Ltd. Convolutional neural network for segmentation of medical anatomical images
US9968257B1 (en) * 2017-07-06 2018-05-15 Halsa Labs, LLC Volumetric quantification of cardiovascular structures from medical imaging
US10769788B2 (en) 2017-09-12 2020-09-08 Nantomics, Llc Few-shot learning based image recognition of whole slide image at tissue level
US10546389B2 (en) 2018-04-06 2020-01-28 Elekta Ab (Publ) Devices and methods for identifying an object in an image
US10430949B1 (en) 2018-04-24 2019-10-01 Shenzhen Keya Medical Technology Corporation Automatic method and system for vessel refine segmentation in biomedical images using tree structure based deep learning model
EP3567548B1 (en) 2018-05-09 2020-06-24 Siemens Healthcare GmbH Medical image segmentation
US20200037962A1 (en) 2018-08-01 2020-02-06 General Electric Company Plane selection using localizer images

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALIASGHAR MORTAZI ET AL.: ""Multi-Planar Deep Segmentation Networks for Cardiac Substructures from MRI and CT"", ARXIV.ORG[ONLINE], JPN7023000656, 3 August 2017 (2017-08-03), pages 1 - 8, ISSN: 0005124149 *
SEYED SADEGH MOHSENI SALEHI ET AL.: ""Auto-Context Convolutional Neural Network (Auto-Net) for Brain Extraction in Magnetic Resonance Im", IEEE TRANSACTIONS ON MEDICAL IMAGING, vol. 36, no. 11, JPN6023005987, November 2017 (2017-11-01), pages 2319 - 2330, ISSN: 0005124151 *
日朝祐太他: "畳み込みニューラルネットワークを用いたCT画像からの股関節および大腿部の筋骨格領域自動抽出", 電子情報通信学会技術研究報告, vol. 第117巻 第281号, JPN6023005986, 30 October 2017 (2017-10-30), JP, pages 3 - 4, ISSN: 0005124150 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021120815A (ja) * 2020-01-30 2021-08-19 富士通株式会社 推定処理プログラム、推定処理方法、及び情報処理装置
JP7316611B2 (ja) 2020-01-30 2023-07-28 富士通株式会社 推定処理プログラム、推定処理方法、及び情報処理装置

Also Published As

Publication number Publication date
KR20200119250A (ko) 2020-10-19
WO2019137997A1 (en) 2019-07-18
EP3738099A1 (en) 2020-11-18
CA3087740A1 (en) 2019-07-18
BR112020014144A2 (pt) 2020-12-08
JP7398377B2 (ja) 2023-12-14
CN111868781A (zh) 2020-10-30
US20200334826A1 (en) 2020-10-22
RU2020126037A (ru) 2022-02-10
US11551362B2 (en) 2023-01-10

Similar Documents

Publication Publication Date Title
JP2021511577A (ja) 3d医用画像のジオメトリに従った、構造化された畳み込みを通したいくつかのニューラルネットワークによる3d医用画像の自動セグメンテーションプロセス
CN111127466B (zh) 医学图像检测方法、装置、设备及存储介质
Folmsbee et al. Active deep learning: Improved training efficiency of convolutional neural networks for tissue classification in oral cavity cancer
US7529396B2 (en) Method, computer program product, and apparatus for designating region of interest
US7860331B2 (en) Purpose-driven enhancement filtering of anatomical data
Zanjani et al. Mask-MCNet: Tooth instance segmentation in 3D point clouds of intra-oral scans
Meirovitch et al. A multi-pass approach to large-scale connectomics
US11229377B2 (en) System and method for next-generation MRI spine evaluation
Yao et al. Texture synthesis based thyroid nodule detection from medical ultrasound images: interpreting and suppressing the adversarial effect of in-place manual annotation
Huang et al. Combining anatomical constraints and deep learning for 3-D CBCT dental image multi-label segmentation
Li et al. A deep learning approach with temporal consistency for automatic myocardial segmentation of quantitative myocardial contrast echocardiography
JP7240403B2 (ja) 3d医用画像の解剖学的ジオメトリに従った、構造化された畳み込みを通した1つまたはいくつかのニューラルネットワークによる3d医用画像の自動セグメンテーションプロセス
Wu et al. Transformer-based 3D U-Net for pulmonary vessel segmentation and artery-vein separation from CT images
CN115661141B (zh) 基于cbct图像牙齿和牙槽骨分割方法及系统
Gao et al. Deep learning-based framework for segmentation of multiclass rib fractures in CT utilizing a multi-angle projection network
RU2803978C2 (ru) Процесс автоматической сегментации трехмерного медицинского изображения с помощью нескольких нейронных сетей посредством структурированной свертки в соответствии с геометрией трехмерного медицинского изображения
EP3794550B1 (en) Comparison of a region of interest along a time series of images
Suji et al. A survey and taxonomy of 2.5 D approaches for lung segmentation and nodule detection in CT images
JPWO2019137997A5 (ja)
Zhang et al. Renal surface reconstruction and segmentation for image-guided surgical navigation of laparoscopic partial nephrectomy
Tschirren et al. Airway tree segmentation using adaptive regions of interest
Ravi et al. Pathological medical image segmentation: A quick review based on parametric techniques
Hsu et al. DeepOPG: Improving Orthopantomogram Finding Summarization with Weak Supervision
Zhang et al. Xsede-enabled high-throughput lesion activity assessment
RU2783364C1 (ru) Устройство создания многомерных виртуальных изображений органов дыхания человека и способ создания объёмных изображений с применением устройства

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20200904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231204

R150 Certificate of patent or registration of utility model

Ref document number: 7398377

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150