JP2019504659A - 自動化された心臓ボリュームセグメンテーション - Google Patents
自動化された心臓ボリュームセグメンテーション Download PDFInfo
- Publication number
- JP2019504659A JP2019504659A JP2018527794A JP2018527794A JP2019504659A JP 2019504659 A JP2019504659 A JP 2019504659A JP 2018527794 A JP2018527794 A JP 2018527794A JP 2018527794 A JP2018527794 A JP 2018527794A JP 2019504659 A JP2019504659 A JP 2019504659A
- Authority
- JP
- Japan
- Prior art keywords
- processor
- image
- cnn model
- data
- machine learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
- G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
- G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
- G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
- G01R33/563—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution of moving material, e.g. flow contrast angiography
- G01R33/56308—Characterization of motion or flow; Dynamic imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
- G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
- G01R33/561—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
- G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
- G01R33/561—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
- G01R33/5613—Generating steady state signals, e.g. low flip angle sequences [FLASH]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
- G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
- G01R33/563—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution of moving material, e.g. flow contrast angiography
- G01R33/56308—Characterization of motion or flow; Dynamic imaging
- G01R33/56316—Characterization of motion or flow; Dynamic imaging involving phase contrast techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- High Energy & Nuclear Physics (AREA)
- Signal Processing (AREA)
- Vascular Medicine (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
Description
心室輪郭を作成する最も基本的な方法は、自動化されたアルゴリズムやツールをまったく用いずに、ある種のポリゴン又はスプライン描画ツールを用いて手動でプロセスを完了することである。この場合、ユーザは、例えば、心室の外形のフリーハンド書きを作成し、又は、スプライン制御点を投下し、スプライン制御点を滑らかなスプライン輪郭に接続することができる。輪郭の初期作成の後、ソフトウェアのユーザインターフェースに応じて、ユーザは通常、例えば、制御点を移動、追加、もしくは削除することによって、又はスプラインセグメントを移動することによって、輪郭を修正する何らかの能力を有する。
乳頭筋は、左心室と右心室の両方の心内膜の内部にある筋肉である。乳頭筋は、心室収縮中に弁への圧力が増加したとき、僧帽弁及び三尖弁が閉じられているのを維持するために役立つ。図3は、左心室の乳頭筋及び心筋を示す例示的なSSFP MRI画像300a(拡張末期)及び300b(収縮末期)を示す。拡張末期(画像300a)において主な課題は、乳頭筋をそれらが埋め込まれている血液プールから区別することであり、収縮末期(画像300b)において主な課題は、乳頭筋を心筋から区別することであることに留意されたい。
心臓のセグメンテーションは、典型的には短軸又はSAXスタックからの画像上で作成される。SAXスタック上でセグメンテーションを行う1つの主要な欠点は、SAX平面が僧帽弁及び三尖弁の平面にほぼ平行なことである。これは2つの影響を有する。第1に、これらの弁はSAXスタックのスライス上で区別することが非常に難しい。第2に、SAXスタックが弁平面に正確に平行ではないと想定すると、部分的に心室にあり部分的に心房にある心臓の底部の近くに少なくとも1つのスライスがあることになる。
心臓イメージングアプリケーションの4Dフローワークフローでは、異なる心臓ビュー(例えば、2CH、3CH、4CH、SAX)を見て心室をセグメント化するために、ユーザは、心臓における異なるランドマークの領域を定義するように要求され得る。LVをセグメント化し、2CH、3CH、及び4CH左心ビューを見るために必要とされるランドマークは、LV尖部、僧帽弁、及び大動脈弁を含む。RVをセグメント化し、対応するビューを見るために必要とされるランドマークは、RV尖部、三尖弁、及び肺動脈弁を含む。
従って、上述された欠点の一部又はすべてに対処するシステム及び方法が必要とされる。
方法は、少なくとも1つのプロセッサによって、生成された輪郭を画像データと共にディスプレイ上に自律的に表示させるステップをさらに含むことができる。
本明細書で提供される本開示の見出し及び要約書は、単に便宜のためであり、実装形態の範囲又は意義を解釈するものではない。
(Deep Ventricleアーキテクチャ)
図6は、心臓SSFP検査における心室セグメンテーションに利用される、本明細書ではDeep Ventricleと呼ばれる畳み込みニューラルネットワーク(CNN)アーキテクチャ600を示す。ネットワーク600は、2つの経路を含み、すなわち、左側は、畳み込みレイヤ606とプーリングレイヤ608とを含む収縮経路602であり、右側は、アップサンプリング又は転置畳み込みレイヤ610と畳み込みレイヤ606とを含む拡張経路604である。
モデルハイパーパラメータが、トレーニング中に読み込まれる少なくとも1つの非一時的プロセッサ可読記憶媒体(例えば、構成ファイル)に記憶され得る。モデルを記述するパラメータは、以下を含み得る。
・num_pooling_layers:プーリング(及びアップサンプリング)レイヤの総数、
・pooling_type:使用するプーリング操作のタイプ(例えば、max)、
・num_init_filters:第1のレイヤのフィルタ(畳み込みカーネル)の数、
・num_conv_layers:各プーリング操作の間の畳み込みレイヤの数、
・conv_kernel_size:畳み込みカーネルのピクセル単位のエッジ長、
・dropout_prob:特定のノードの活性化がネットワークを介したバッチの所与の順方向/逆方向パスでゼロに設定される確率、
・border_mode:畳み込み前に入力特徴マップをゼロパディングする方法、
・activation:各畳み込み後に使用する非線形活性化関数、
・weight_init:ネットワーク内で重みを初期化するための手段、
・batch_norm:ネットワークのダウンサンプリング/収縮部分における各非線形性の後にバッチ正規化を利用するか否か、
・batch_norm_momentum:特徴毎の平均及び標準偏差のバッチ正規化計算におけるモメンタム、
・down_trainable:ネットワークのダウンサンプリング部分が新しいデータを見ると学習することを可能にするかどうか、
・bridge_trainable:ブリッジ畳み込みが学習することを可能にするかどうか、
・up_trainable:ネットワークのアップサンプリング部分が学習することを可能にするかどうか、及び
・out_trainable:ピクセル単位確率を作成する最終畳み込みが学習することを可能にするかどうか。
・crop_frac:元のものに対するLMDBにおける画像の部分サイズ、
・height:画像のピクセル単位の高さ、及び
・width:画像のピクセル単位の幅。
・horizontal_flip:水平方向に入力/ラベル対をランダムにフリップするかどうか、
・vertical_flip:垂直方向に入力/ラベル対をランダムにフリップするかどうか、
・shear_amount:画像/ラベル対をせん断する正/負の制限値、
・shift_amount:画像/ラベル対をシフトする最大分割値(max fractional value)、
・zoom_amount:画像/ラベル対においてズームインする最大分割値、
・rotation_amount:画像/ラベル対を回転する正/負の制限値、
・zoom_warping:ズーミングとワーピングを一緒に利用するかどうか、
・brightness:画像輝度を変更する正/負の制限値、
・contrast:画像コントラストを変更する正/負の制限値、及び
・alpha, beta:弾性変形の強度を記述する第1のパラメータ及び第2のパラメータ。
・batch_size:各順方向/逆方向パスでネットワークを示す例の数、
・max_epoch:データを通した反復の最大数、
・optimizer_name:使用するオプティマイザ関数の名前、
・optimizer_lr:学習率の値、
・objective: 使用する目的関数、
・early_stopping_monitor:いつモデルトレーニングがトレーニングを停止すべきかを決定するために監視するパラメータ、及び
・early_stopping_patience:モデルトレーニングを停止する前にearly_stopping_monitor値が改善しなくなった後に待機をするエポック(Epoch)の数。
少なくともいくつかの実装形態では、トレーニング用の前処理された画像/セグメンテーションマスク対を記憶するライトニングメモリマップデータベース(LMDB)が使用され得る。このデータベースアーキテクチャは、トレーニングデータを記憶する他の手段に対して多くの利点を持つ。そのような利点は、キーのマッピングが速度に関して辞書式(lexicographical for speed)であること、画像/セグメンテーションマスク対がトレーニングに必要とされるフォーマットで記憶されるので、それらがトレーニング時間にさらに前処理を必要としないこと、及び、画像/セグメンテーションマスク対を読み込むことが計算上安価なトランザクションであることを含む。
セル区別タスクの2つのクラス、すなわち前景モデル及び背景モデルのみに関心があった以前のモデルとは異なり、本明細書に開示されるSSFPモデルは、4つのクラス、すなわち、背景、LV心内膜、LV心外膜、及びRV心内膜を区別しようと試みる。これを達成するために、ネットワーク出力は、3つの確率マップ、すなわち非背景クラス毎に1つの確率マップを含むことができる。トレーニング中に、3つのクラスの各々についてのグランドトゥルースバイナリマスクが、ピクセルデータと共にネットワークに提供される。ネットワーク損失が、3つのクラスにわたる損失の合計として決定され得る。3つのグランドトゥルースマスクのいずれかが画像に対して欠損している(すなわち、グランドトゥルースが空のマスクではなく、データがないことを意味する)場合、そのマスクは損失を計算するときに無視されてよい。
図7は、SSFP LMDBの作成のためのプロセス700を示す。702では、輪郭情報がSSFPグランドトゥルースデータベース704から抽出される。これらの輪郭は、特定のSSFPスライス位置及び時点に関連付けられて、輪郭X位置及びY位置の辞書としてグランドトゥルースデータベース704に記憶される。706では、対応するSSFP DICOM(Digital Imaging and Communications in Medicine)画像708からのピクセルデータが、この情報から作成されたブール型マスク(Boolean mask)と対にされる。710では、システムは、画像を正規化し、画像/マスクをクロップし、画像/マスクをサイズ変更することによって、画像及びマスクを前処理する。少なくともいくつかの実装形態では、MRIは、それらが平均値0を有し、画像のバッチの第1及び第99パーセンタイル(the 1st and 99th percentile)が−0.5及び0.5であり、すなわち、それらの「使用可能範囲」は−0.5と0.5の間にあるように正規化される。心室輪郭が画像のより大きな割合を占めるように、画像がクロップ及びサイズ変更され得る。これは、より多くの総数の前景クラスピクセルをもたらし、心室の細かな詳細(特にコーナー)をより簡単に解像し、より小さい計算能力のみでモデルの収束を容易にする。
Deep Ventricleトレーニング
推定は、新しいデータについての予測のためのトレーニングされたモデルを利用するプロセスである。少なくともいくつかの実装形態では、ウェブアプリケーション(又は「ウェブアプリ」)が推定のために使用され得る。図9は、予測が新しいSSFP検査に対して行われ得る例示的なパイプライン又はプロセス900を表示する。902では、ユーザがウェブアプリケーションに検査をロードした後、ユーザが、(例えば、「欠損輪郭を生成する」アイコンをクリックすることによって)推定サービスを起動することができ、それにより、任意の欠損(まだ作成されていない)輪郭を自動的に生成する。そのような輪郭は、例えば、LV Endo、LV Epi、又はRV Endoを含むことができる。少なくともいくつかの実装形態では、推定は、検査がユーザによってアプリケーションにロードされたとき、又は検査がユーザによってサーバに最初にアップロードされたときに、自動的に起動され得る。推定がアップロード時に行われる場合、予測は、非一時的プロセッサ可読記憶媒体にその時に記憶され得るが、ユーザが検査を開くまでは表示されない。
4Dフローデータのトレーニングデータベース作成
上述されたSSFP Deep Ventricle推定と同様に、ウェブアプリケーションが4Dフローデータについての推定のために使用され得る。図21は、システムが新しい4Dフロー検査に対して予測を行うプロセス2100のためのパイプラインを示す。2102では、ユーザがウェブアプリケーションに検査をロードした後、ユーザは、上記に説明され図9に示された推定パイプラインと同様のパイプラインを介して推定サービスを起動することができる。ランドマークは、手動又は自動で(例えば、後述される自動ランドマーク発見アルゴリズムによって)既に定義されている。
心室のエンドツーエンドセグメンテーションのための別の手法では、ボリューム測定用画像、ボリューム測定用マスク、及び3D畳み込みカーネルを全体にわたって利用する。この実装形態の説明及び操作は共に、上述されたSSFP実装形態のそれに密接に従うが、いくつかの重要な違いを有する。従って、簡潔にするために、以下の議論は主にそのような違いに焦点を当てる。
Deep Ventricle自動セグメンテーションモデルの追加の実装形態は、心室の血液プールのみがセグメント化され乳頭筋が除外されるものである。実際に、乳頭筋は小さく不規則に形成されているので、それらは典型的には便宜的にセグメント化されたエリアに含まれる。血液プールから乳頭筋を除外する、この実装形態のアーキテクチャ、ハイパーパラメータ、及びトレーニングデータベースは、上述されたSSFP実装形態にすべて類似している。しかしながら、この実装形態では、グランドトゥルースセグメンテーションデータベースが、乳頭筋を除外しそれらを含まない左及び右心室心内膜アノテーションを含む。
従来の画像分類又はセグメンテーションニューラルネットワークアーキテクチャは、一度に単一の画像、場合によっては複数チャンネル(例えば、RGB)画像、場合によってはボリューム測定用画像に対して動作する。標準的2D手法は、一度に3Dボリュームからの単一のスライスに対して動作するネットワークを含む。この場合、単一のスライスからの情報のみが、そのスライスにおけるデータを分類又はセグメント化するために使用される。この手法の問題は、対象のスライスについて、周囲の時点又はスライスからの文脈が推定に組み込まれないことである。標準的3D手法は、ボリューム測定用予測を行うために3Dカーネルを利用しボリューム測定用情報を組み込む。しかしながら、この手法は、低速であり、トレーニングと推定の両方のためにかなりの計算リソースを必要とする。
SSFPシネ検査は4次元のデータ(空間で3つ、時間で1つ)を含み、4Dフロー検査は5次元のデータ(空間で3つ、時間で1つ、4チャンネルの情報)を含む。これら4チャンネルの情報は、解剖学的形態(すなわち信号強度)、軸位相、y軸位相、及びz軸位相である。モデルを構築する最も単純な方法は、各3D空間点で信号強度のみを使用し、時間情報、又は4Dフローの場合は流れ情報を組み込まない。この単純なモデルは、形状(x,y,z)の3Dデータ立方体を入力として取り込む。
本明細書に述べられているシステム及び方法はまた、3D MRIにおける複数の心臓ランドマークの領域の自動化された検出を可能にする。システムは、画像化された心臓の様々な位置、向き、及び外観を有するMRIの多様なセットを取り扱う。さらに、システムは、不完全なアノテーションを有するデータベースからの学習の問題を効果的に扱う。より具体的には、システムは、トレーニングセット上の各入力ボリューム測定用画像について一部のランドマークのみが位置特定されたときに、画像内のすべてのランドマークを検出する問題に対処する。
提示された機械学習手法では、2次元(2D)DICOM画像の系列として記憶された心臓の3次元(3D)磁気共鳴イメージング(MRI)を含む、4Dフローデータのデータベースが使用される。典型的には、単一の心周期にわたって、約20個の3Dボリューム測定用画像が取得され、各々が心拍の1つのスナップショットに対応する。従って、初期データベースは、異なる時間ステップにおける異なる患者の3D画像に対応する。各3D MRIは、ウェブアプリケーションのユーザによって配置されたゼロランドマークから6ランドマークまでのいくつかのランドマークアノテーションを提示する。ランドマークのアノテーションは、存在する場合、時点tに対応する3D MRIのランドマークの位置(x,y,z)を示す座標(x,y,z,t)のベクトルとして記憶される。
ネットワークアーキテクチャ
以下の議論は、3D MRI及びラベルマップ対のLMDBデータベースを使用してどのようにディープニューラルネットワークがトレーニングされ得るかを説明する。全体的な目的は、以前に見られなかった画像上の心臓ランドマークの位置をネットワークが予測できるように、ネットワークのパラメータを調整することである。トレーニングプロセスのフローチャートは図8に示され上記に説明されている。
新しい画像が与えられると、図28を参照して上記に説明されたものと同様の様式で画像を前処理することによって、ランドマーク位置が推定される。より正確には、画像がサイズ変更され、クリッピングされ、スケーリングされ、画像のヒストグラムが等化され、画像がセンタリングされ得る。ネットワークは、6つのランドマークの場合、ランドマーク毎に1つのマップで合計6つの3Dマップを出力する。これらのマップは、各ランドマークが特定の位置に発見される確率を記述する。あるいは、マップは、ランドマークの真の位置から逆距離関数を符号化する(すなわち、高い値は小さい距離に帰着し、低い値は大きい距離に帰着する)とみなされ得る。
少なくともいくつかの実装形態では、データセットは、以前のユーザによってウェブアプリケーションにアップロードされた臨床検査から構成される。アノテーションは、異なる画像上にユーザによって配置されてよい。先に説明されたように、このデータセットは、トレーニング、検証、及び試験セットに分割される。
モデルアクセシビリティ
心臓MRIがウェブアプリケーションにアップロードされると、ユーザは「心臓」セクションの下の「ビュー」ボタンを選択することができる。これにより、「ランドマークを位置特定する」ボタンを用いて画像の右側に新しいパネルを開く。このボタンを選択すると、各時点におけるすべての3D画像で6つのランドマークを自動的に位置特定する。位置特定されたランドマークのリストが右パネル上に見える。ランドマーク名を選択することにより、画像のフォーカスを予測されたランドマーク位置にもたらし、ユーザは、必要とみなされる任意の修正を行うことを可能にされる。ユーザが満足すると、心臓の標準的2、3、4チャンバービュー及びSAXビューを作成する「標準ビュー」ボタンをユーザが選択することができる。
4Dフローでは、各患者の取得の時点毎に流速情報が利用可能である。この情報を十分に利用するために、時間軸に沿った標準偏差が3D画像の各ボクセルで計算されてよい。標準偏差の大きさは、1心拍の経過におけるそのピクセルの血流変動の量に関連付けられる。次いで、この標準偏差画像は、先に説明された正規化パイプライン、すなわち、サイズ変更、クリッピング、スケーリング、ヒストグラム等化、センタリングに従って正規化される。フローデータの時間情報を符号化するために、いくつかの他の手法が考えられ得ることに留意されたい。例えば、4D信号のフーリエ変換が最後の次元に沿って計算されてもよく、様々な周波数ビン(frequency bins)が信号を符号化するために使用されてもよい。より一般的には、追加の計算及びメモリパワーを必要とするという犠牲を払って、時系列全体がネットワークに入力されてもよい。
ニューラルネットワークに対する入力は、追加のチャンネルによって拡張されてもよい。より正確には、4次元(4D)テンソルが定義されてよく、この場合、最後の次元が、解剖学的ピクセル強度と流れ大きさ又は速度の成分とを別々のチャンネルとして符号化する。上記に説明されたネットワークは、入力としてそのようなテンソルを受け入れるように拡張され得る。これは、第1のレイヤの拡張が4Dテンソルを受け入れることを必要とする。後続ステップのネットワークトレーニング、推定、及びユーザ対話は、先述されているものと同様のままである。
左心室及び右心室のより精密なセグメンテーションを行うために、心臓の弁の位置及び方向を識別することが有利であり得る。少なくともいくつかの実装形態では、前述の心室セグメンテーションインターフェース内で、ユーザは、利用可能な長軸ビューを使用して弁平面上にある点をマーキングすることができる。弁平面は、最も良く適合する平面を発見するために回帰を行うことによって、これの入力点から決定される。平面の法線は、心室の尖部から離れる向きへ設定される。平面が定義されると、正側にあるボリュームの任意の部分が心室の総ボリュームから差し引かれる。これにより、心室のボリュームを決定する際に、弁の外側に何も含まれないことを保証する。
図35は、本明細書に説明された様々な機能性を実装するために適したプロセッサベースのデバイス3504を示す。必須とされないが、実装形態の一部の部分は、1つ又は複数のプロセッサによって実行されるプログラムアプリケーションモジュール、オブジェクト、又はマクロのようなプロセッサ実行可能命令又はロジックの一般的なコンテキストで説明される。説明された実装形態及び他の実装形態は、スマートフォンやタブレットコンピュータなどのハンドヘルドデバイス、ウェアラブルデバイス、マルチプロセッサシステム、マイクロプロセッサベースもしくはプログラマブル家電、パーソナルコンピュータ(「PC」)、ネットワークPC、ミニコンピュータ、並びにメインフレームコンピュータなどを含む、様々なプロセッサベースのシステム構成で実施され得ることは、当業者には理解されよう。
Claims (102)
- 機械学習システムであって、
プロセッサ実行可能命令又はデータのうちの少なくとも1つを記憶する少なくとも1つの非一時的プロセッサ可読記憶媒体と、
前記少なくとも1つの非一時的プロセッサ可読記憶媒体に通信可能に結合された少なくとも1つのプロセッサと
を備え、前記少なくとも1つのプロセッサは、
複数のバッチのラベル付けされた画像セットを備える学習データを受け取ることであって、各画像セットは、解剖構造を表す画像データを備え、各画像セットは、前記画像セットの各画像において描かれた前記解剖構造の特定部分の領域を識別する少なくとも1つのラベルを含む、受け取ることと、
前記受け取られた学習データを利用して前記解剖構造の少なくとも一部分をセグメント化するように完全畳み込みニューラルネットワーク(CNN)モデルをトレーニングすることと、
前記トレーニングされたCNNモデルを、前記機械学習システムの前記少なくとも1つの非一時的プロセッサ可読記憶媒体に記憶することと
を行う、機械学習システム。 - 前記CNNモデルは、収縮経路及び拡張経路を備え、前記収縮経路は、いくつかの畳み込みレイヤ及びいくつかのプーリングレイヤを含み、各プーリングレイヤは、少なくとも1つの畳み込みレイヤによって先行され、前記拡張経路は、いくつかの畳み込みレイヤ及びいくつかのアップサンプリングレイヤを含み、各アップサンプリングレイヤは、少なくとも1つの畳み込みレイヤによって先行され、学習されたカーネルを用いてアップサンプリング及び補間を行う転置畳み込み操作を備える請求項1に記載の機械学習システム。
- 各アップサンプリングレイヤに続いて、前記CNNモデルは、スキップ接続を介して前記収縮経路における対応するレイヤからの特徴マップの連結を含む請求項2に記載の機械学習システム。
- 前記画像データは、心周期全体にわたる1つ又は複数の時点における心臓を表す請求項1に記載の機械学習システム。
- 前記画像データは、超音波データ又は可視光写真データを含む請求項4に記載の機械学習システム。
- 前記CNNモデルは、1と2000の間の個数の特徴マップを有する第1の畳み込みレイヤを含む収縮経路を含む請求項1に記載の機械学習システム。
- 前記CNNモデルは、いくつかの畳み込みレイヤを備え、各畳み込みレイヤは、サイズ3×3及び1のストライドの畳み込みカーネルを含む請求項1に記載の機械学習システム。
- 前記CNNモデルは、いくつかのプーリングレイヤを備え、各プーリングレイヤは、2のストライドを有する2×2最大プーリングレイヤを備える請求項1に記載の機械学習システム。
- 前記CNNモデルは、4つのプーリングレイヤ及び4つのアップサンプリングレイヤを含む請求項1に記載の機械学習システム。
- 前記CNNモデルは、いくつかの畳み込みレイヤを含み、前記CNNモデルは、ゼロパディング操作を使用して各畳み込みレイヤへの入力をパディングする請求項1に記載の機械学習システム。
- 前記CNNモデルは、複数の非線形活性化関数レイヤを含む請求項1に記載の機械学習システム。
- 前記少なくとも1つのプロセッサは、
前記複数のバッチのラベル付けされた画像セットにおける前記画像データの少なくとも一部の修正を介して、前記学習データを補強する請求項1に記載の機械学習システム。 - 前記少なくとも1つのプロセッサは、
水平フリップ、垂直フリップ、切り取り量、シフト量、ズーム量、回転量、輝度レベル、又はコントラストレベルのうちの少なくとも1つに応じて、前記複数のバッチのラベル付けされた画像セットにおける前記画像データの少なくとも一部を修正する請求項12に記載の機械学習システム。 - 前記CNNモデルは、前記少なくとも1つの非一時的プロセッサ可読記憶媒体に記憶された複数のハイパーパラメータを含み、前記少なくとも1つのプロセッサは、
複数の構成に従って前記CNNモデルを構成することであって、各構成は、前記ハイパーパラメータの値の異なる組み合わせを備える、構成することと、
前記複数の構成の各々について、前記CNNモデルの精度を検証することと、
前記検証により決定された前記精度に少なくとも部分的に基づいて、少なくとも1つの構成を選択することと
を行う請求項1に記載の機械学習システム。 - 前記少なくとも1つのプロセッサは、
各画像セットについて、前記画像セットが前記解剖構造の複数の部分のいずれかに対するラベルを欠損しているかどうかを識別し、
少なくとも1つのラベルを欠損していると識別された画像セットについて、前記識別された欠損ラベルを説明するようにトレーニング損失関数を修正する請求項1に記載の機械学習システム。 - 前記画像データは、ボリューム測定用画像を含み、各ラベルは、ボリューム測定用ラベルマスク又は輪郭を含む請求項1に記載の機械学習システム。
- 前記CNNモデルの各畳み込みレイヤは、サイズN×N×Kピクセルの畳み込みカーネルを含み、N及びKは、正の整数である請求項16に記載の機械学習システム。
- 前記CNNモデルの各畳み込みレイヤは、サイズN×Mピクセルの畳み込みカーネルを含み、N及びMは、正の整数である請求項1に記載の機械学習システム。
- 前記画像データは、心周期全体にわたる1つ又は複数の時点における心臓を表し、前記複数のバッチのラベル付けされた画像セットのサブセットは、乳頭筋を除外したラベルを含む請求項1に記載の機械学習システム。
- 各処理された画像について、前記CNNモデルは、空間に関して前記処理された画像に隣接するか、又は時間に関して前記処理された画像に隣接するかの少なくとも一方である少なくとも1つの画像についてのデータを利用する請求項1に記載の機械学習システム。
- 各処理された画像について、前記CNNモデルは、空間に関して前記処理された画像に隣接する少なくとも1つの画像についてのデータを利用し、時間に関して前記処理された画像に隣接する少なくとも1つの画像についてのデータを利用する請求項1に記載の機械学習システム。
- 各処理された画像について、前記CNNモデルは、時間情報又は位相情報のうちの少なくとも1つを利用する請求項1に記載の機械学習システム。
- 前記画像データは、定常自由歳差運動(SSFP)磁気共鳴イメージング(MRI)データ又は4DフローMRIデータのうちの少なくとも1つを含む請求項1に記載の機械学習システム。
- プロセッサ実行可能命令又はデータのうちの少なくとも1つを記憶する少なくとも1つの非一時的プロセッサ可読記憶媒体と、前記少なくとも1つの非一時的プロセッサ可読記憶媒体に通信可能に結合された少なくとも1つのプロセッサとを備える機械学習システムを動作させる方法であって、
前記少なくとも1つのプロセッサによって、複数のバッチのラベル付けされた画像セットを備える学習データを受け取るステップであって、各画像セットは、解剖構造を表す画像データを備え、各画像セットは、前記画像セットの各画像において描かれた前記解剖構造の特定部分の領域を識別する少なくとも1つのラベルを含む、ステップと、
前記少なくとも1つのプロセッサによって、前記受け取られた学習データを利用して前記解剖構造の少なくとも一部分をセグメント化するように完全畳み込みニューラルネットワーク(CNN)モデルをトレーニングするステップと、
前記少なくとも1つのプロセッサによって、前記トレーニングされたCNNモデルを、前記機械学習システムの前記少なくとも1つの非一時的プロセッサ可読記憶媒体に記憶するステップと
を含む方法。 - 前記CNNモデルをトレーニングするステップは、収縮経路及び拡張経路を備えるCNNモデルをトレーニングするステップを含み、前記収縮経路は、いくつかの畳み込みレイヤ及びいくつかのプーリングレイヤを含み、各プーリングレイヤは、少なくとも1つの畳み込みレイヤによって先行され、前記拡張経路は、いくつかの畳み込みレイヤ及びいくつかのアップサンプリングレイヤを含み、各アップサンプリングレイヤは、少なくとも1つの畳み込みレイヤによって先行され、学習されたカーネルを用いてアップサンプリング及び補間を行う転置畳み込み操作を備える請求項24に記載の方法。
- CNNモデルをトレーニングするステップは、前記受け取られた学習データを利用して前記解剖構造の少なくとも一部分をセグメント化するようにCNNモデルをトレーニングするステップを含み、各アップサンプリングレイヤに続いて、前記CNNモデルは、スキップ接続を介して前記収縮経路における対応するレイヤからの特徴マップの連結を含む請求項25に記載の方法。
- 学習データを受け取るステップは、心周期全体にわたる1つ又は複数の時点における心臓を表す画像データを受け取るステップを含む請求項24に記載の方法。
- CNNモデルをトレーニングするステップは、前記受け取られた学習データを利用して前記解剖構造の少なくとも一部分をセグメント化するようにCNNモデルをトレーニングするステップを含み、前記CNNモデルは、1と2000の間の個数の特徴マップを有する第1の畳み込みレイヤを含む収縮経路を含む請求項24に記載の方法。
- CNNモデルをトレーニングするステップは、前記受け取られた学習データを利用して前記解剖構造の少なくとも一部分をセグメント化するように複数の畳み込みレイヤを含むCNNモデルをトレーニングするステップを含み、各畳み込みレイヤは、サイズ3×3及び1のストライドの畳み込みカーネルを含む請求項24に記載の方法。
- CNNモデルをトレーニングするステップは、前記受け取られた学習データを利用して前記解剖構造の少なくとも一部分をセグメント化するように複数のプーリングレイヤを含むCNNモデルをトレーニングするステップを含み、各プーリングレイヤは、2のストライドを有する2×2最大プーリングレイヤを備える請求項25に記載の方法。
- CNNモデルをトレーニングするステップは、前記受け取られた学習データを利用して前記解剖構造の少なくとも一部分をセグメント化するようにCNNモデルをトレーニングするステップを含み、前記CNNモデルは、4つのプーリングレイヤ及び4つのアップサンプリングレイヤを含む請求項24に記載の方法。
- CNNモデルをトレーニングするステップは、前記受け取られた学習データを利用して前記解剖構造の少なくとも一部分をセグメント化するように複数の畳み込みレイヤを含むCNNモデルをトレーニングするステップを含み、前記CNNモデルは、ゼロパディング操作を使用して各畳み込みレイヤへの入力をパディングする請求項24に記載の方法。
- CNNモデルをトレーニングするステップは、前記受け取られた学習データを利用して前記解剖構造の少なくとも一部分をセグメント化するようにCNNモデルをトレーニングするステップを含み、前記CNNモデルは、複数の非線形活性化関数レイヤを含む請求項24に記載の方法。
- 前記少なくとも1つのプロセッサによって、前記複数のバッチのラベル付けされた画像セットにおける画像データの少なくとも一部の修正を介して、前記学習データを補強するステップをさらに含む請求項24に記載の方法。
- 前記少なくとも1つのプロセッサによって、水平フリップ、垂直フリップ、切り取り量、シフト量、ズーム量、回転量、輝度レベル、又はコントラストレベルのうちの少なくとも1つに応じて、前記複数のバッチのラベル付けされた画像セットにおける前記画像データの少なくとも一部を修正するステップをさらに含む請求項34に記載の方法。
- 前記CNNモデルは、前記少なくとも1つの非一時的プロセッサ可読記憶媒体に記憶された複数のハイパーパラメータを含み、前記方法は、
前記少なくとも1つのプロセッサによって、複数の構成に従って前記CNNモデルを構成するステップであって、各構成は、前記ハイパーパラメータの値の異なる組み合わせを備える、ステップと、
前記複数の構成の各々について、前記少なくとも1つのプロセッサによって、前記CNNモデルの精度を検証するステップと、
前記少なくとも1つのプロセッサによって、前記検証により決定された前記精度に少なくとも部分的に基づいて、少なくとも1つの構成を選択するステップと
をさらに含む請求項24に記載の方法。 - 各画像セットについて、前記少なくとも1つのプロセッサによって、前記画像セットが前記解剖構造の複数の部分のいずれかに対するラベルを欠損しているかどうかを識別するステップと、
少なくとも1つのラベルを欠損していると識別された画像セットについて、前記少なくとも1つのプロセッサによって、前記識別された欠損ラベルを説明するようにトレーニング損失関数を修正するステップと
をさらに含む請求項24に記載の方法。 - 学習データを受け取るステップは、ボリューム測定用画像を含む画像データを受け取るステップを含み、各ラベルは、ボリューム測定用ラベルマスク又は輪郭を含む請求項24に記載の方法。
- CNNモデルをトレーニングするステップは、前記受け取られた学習データを利用して前記解剖構造の少なくとも一部分をセグメント化するように複数の畳み込みレイヤを含むCNNモデルをトレーニングするステップを含み、前記CNNモデルの各畳み込みレイヤは、サイズN×N×Kピクセルの畳み込みカーネルを含み、N及びKは、正の整数である請求項38に記載の方法。
- CNNモデルをトレーニングするステップは、前記受け取られた学習データを利用して前記解剖構造の少なくとも一部分をセグメント化するように複数の畳み込みレイヤを含むCNNモデルをトレーニングするステップを含み、前記CNNモデルの各畳み込みレイヤは、サイズN×Mピクセルの畳み込みカーネルを含み、N及びMは、正の整数である請求項24に記載の方法。
- 学習データを受け取るステップは、心周期全体にわたる1つ又は複数の時点における心臓を表す画像データを受け取るステップを含み、前記複数のバッチのラベル付けされた画像セットのサブセットは、乳頭筋を除外したラベルを含む請求項24に記載の方法。
- CNNモデルをトレーニングするステップは、前記受け取られた学習データを利用して前記解剖構造の少なくとも一部分をセグメント化するようにCNNモデルをトレーニングするステップを含み、各処理された画像について、前記CNNモデルは、空間に関して前記処理された画像に隣接するか、又は時間に関して前記処理された画像に隣接するかの少なくとも一方である少なくとも1つの画像についてのデータを利用する請求項24に記載の方法。
- CNNモデルをトレーニングするステップは、前記受け取られた学習データを利用して前記解剖構造の少なくとも一部分をセグメント化するようにCNNモデルをトレーニングするステップを含み、各処理された画像について、前記CNNモデルは、空間に関して前記処理された画像に隣接する少なくとも1つの画像についてのデータを利用し、時間に関して前記処理された画像に隣接する少なくとも1つの画像についてのデータを利用する請求項24に記載の方法。
- CNNモデルをトレーニングするステップは、前記受け取られた学習データを利用して前記解剖構造の少なくとも一部分をセグメント化するようにCNNモデルをトレーニングするステップを含み、各処理された画像について、前記CNNモデルは、時間情報又は位相情報のうちの少なくとも1つを利用する請求項24に記載の方法。
- 学習データを受け取るステップは、定常自由歳差運動(SSFP)磁気共鳴イメージング(MRI)データ又は4DフローMRIデータのうちの少なくとも1つを含む画像データを受け取るステップを含む請求項24に記載の方法。
- 機械学習システムであって、
プロセッサ実行可能命令又はデータのうちの少なくとも1つを記憶する少なくとも1つの非一時的プロセッサ可読記憶媒体と、
前記少なくとも1つの非一時的プロセッサ可読記憶媒体に通信可能に結合された少なくとも1つのプロセッサと
を備え、前記少なくとも1つのプロセッサは、
解剖構造を表す画像データを受け取ることと、
完全畳み込みニューラルネットワーク(CNN)モデルを介して、前記受け取られた画像データを処理して、前記画像データの各画像の各ピクセルについてのクラス毎の確率を生成することであって、各クラスは、前記画像データにより表される前記解剖構造の複数の部分のうちの1つに対応する、生成することと、
前記画像データの各画像について、前記生成されたクラス毎の確率を使用して、複数のクラスの各々についての確率マップを生成することと、
前記生成された確率マップを、前記少なくとも1つの非一時的プロセッサ可読記憶媒体に記憶することと
を行う、機械学習システム。 - 前記CNNモデルは、収縮経路及び拡張経路を備え、前記収縮経路は、いくつかの畳み込みレイヤ及びいくつかのプーリングレイヤを含み、各プーリングレイヤは、少なくとも1つの畳み込みレイヤによって先行され、前記拡張経路は、いくつかの畳み込みレイヤ及びいくつかのアップサンプリングレイヤを含み、各アップサンプリングレイヤは、少なくとも1つの畳み込みレイヤによって先行され、学習されたカーネルを用いてアップサンプリング及び補間を行う転置畳み込み操作を備える請求項46に記載の機械学習システム。
- 前記画像データは、心周期全体にわたる1つ又は複数の時点における心臓を表す請求項46に記載の機械学習システム。
- 前記少なくとも1つのプロセッサは、
前記生成された確率マップに少なくとも部分的に基づいて、前記解剖構造の前記複数の部分のうちの少なくとも1つの標識をディスプレイ上に自律的に表示させる請求項46に記載の機械学習システム。 - 前記少なくとも1つのプロセッサは、
前記処理された画像データを後処理して、少なくとも1つの物理的制約が満たされることを保証する請求項46に記載の機械学習システム。 - 前記画像データは、心周期全体にわたる1つ又は複数の時点における心臓を表し、前記少なくとも1つの物理的制約は、心筋のボリュームがすべての時点で同じであること、又は右心室と左心室が互いに重なることができないことのうちの少なくとも一方を含む請求項50に記載の機械学習システム。
- 前記少なくとも1つのプロセッサは、
前記画像データの各画像について、各ピクセルの前記クラスを最も高い確率を有するクラスに設定することによって、前記複数の確率マップをラベルマスクに変換する請求項46に記載の機械学習システム。 - 前記少なくとも1つのプロセッサは、
前記画像データの各画像について、各ピクセルの前記クラスを、前記ピクセルについてのクラス確率のすべてが、決定された閾値を下回るときに、背景クラスに設定する請求項52に記載の機械学習システム。 - 前記少なくとも1つのプロセッサは、
前記画像データの各画像について、各ピクセルの前記クラスを、前記ピクセルが、前記ピクセルが関連付けられた前記クラスの最大の接続された領域の部分ではないときに、背景クラスに設定する請求項52に記載の機械学習システム。 - 前記少なくとも1つのプロセッサは、
前記画像データに対する前記ラベルマスクの各々をそれぞれのスプライン輪郭に変換する請求項52に記載の機械学習システム。 - 前記少なくとも1つのプロセッサは、
生成された前記輪郭を前記画像データと共にディスプレイ上に自律的に表示させる請求項55に記載の機械学習システム。 - 前記少なくとも1つのプロセッサは、
前記表示された輪郭のうちの少なくとも1つのユーザ修正を受け取り、
前記修正された輪郭を前記少なくとも1つの非一時的プロセッサ可読記憶媒体に記憶する請求項56に記載の機械学習システム。 - 前記少なくとも1つのプロセッサは、
生成された前記輪郭を利用して、前記解剖構造の前記複数の部分のうちの少なくとも1つのボリュームを決定する請求項55に記載の機械学習システム。 - 前記解剖構造は、心臓を含み、前記少なくとも1つのプロセッサは、
生成された前記輪郭を利用して、心周期の複数の時点における前記心臓の前記複数の部分のうちの少なくとも1つのボリュームを決定する請求項55に記載の機械学習システム。 - 前記少なくとも1つのプロセッサは、
前記心周期の前記複数の時点のうちのどれが前記心周期の収縮末期フェーズ及び拡張末期フェーズに対応するかを、それぞれ最小ボリューム及び最大ボリュームを有すると決定された時点に基づいて自動的に決定する請求項59に記載の機械学習システム。 - 前記少なくとも1つのプロセッサは、
前記解剖構造の前記複数の部分のうちの前記少なくとも1つの前記決定されたボリュームをディスプレイ上に表示させる請求項58に記載の機械学習システム。 - 前記画像データは、ボリューム測定用画像を含む請求項46に記載の機械学習システム。
- 前記CNNモデルの各畳み込みレイヤは、サイズN×N×Kピクセルの畳み込みカーネルを含み、N及びKは、正の整数である請求項62に記載の機械学習システム。
- プロセッサ実行可能命令又はデータのうちの少なくとも1つを記憶する少なくとも1つの非一時的プロセッサ可読記憶媒体と、前記少なくとも1つの非一時的プロセッサ可読記憶媒体に通信可能に結合された少なくとも1つのプロセッサとを備える機械学習システムを動作させる方法であって、
前記少なくとも1つのプロセッサによって、解剖構造を表す画像データを受け取るステップと、
前記少なくとも1つのプロセッサによって、完全畳み込みニューラルネットワーク(CNN)モデルを介して、前記受け取られた画像データを処理して、前記画像データの各画像の各ピクセルについてのクラス毎の確率を生成するステップであって、各クラスは、前記画像データにより表される前記解剖構造の複数の部分のうちの1つに対応する、ステップと、
前記画像データの各画像について、前記少なくとも1つのプロセッサによって、前記生成されたクラス毎の確率を使用して、複数の前記クラスの各々についての確率マップを生成するステップと、
前記少なくとも1つのプロセッサによって、前記生成された確率マップを、前記少なくとも1つの非一時的プロセッサ可読記憶媒体に記憶するステップと
を含む方法。 - 前記CNNモデルを介して前記受け取られた画像データを処理するステップは、収縮経路及び拡張経路を備えるCNNモデルを介して前記受け取られた画像データを処理するステップを含み、前記収縮経路は、いくつかの畳み込みレイヤ及びいくつかのプーリングレイヤを含み、各プーリングレイヤは、少なくとも1つの畳み込みレイヤによって先行され、前記拡張経路は、いくつかの畳み込みレイヤ及びいくつかのアップサンプリングレイヤを含み、各アップサンプリングレイヤは、少なくとも1つの畳み込みレイヤによって先行され、学習されたカーネルを用いてアップサンプリング及び補間を行う転置畳み込み操作を備える請求項64に記載の方法。
- 画像データを受け取るステップは、心周期全体にわたる1つ又は複数の時点における心臓を表す画像データを受け取るステップを含む請求項64に記載の方法。
- 前記少なくとも1つのプロセッサによって、前記生成された確率マップに少なくとも部分的に基づいて、前記解剖構造の前記複数の部分のうちの少なくとも1つの標識をディスプレイ上に自律的に表示させるステップをさらに含む請求項64に記載の方法。
- 前記少なくとも1つのプロセッサによって、前記処理された画像データを後処理して、少なくとも1つの物理的制約が満たされることを保証するステップをさらに含む請求項64に記載の方法。
- 画像データを受け取るステップは、心周期全体にわたる1つ又は複数の時点における心臓を表す画像データを受け取るステップを含み、前記少なくとも1つの物理的制約は、心筋のボリュームがすべての時点で同じであること、又は右心室と左心室が互いに重なることができないことのうちの少なくとも一方を含む、請求項68に記載の方法。
- 前記画像データの各画像について、前記少なくとも1つのプロセッサによって、各ピクセルの前記クラスを最も高い確率を有するクラスに設定することによって、前記複数の確率マップをラベルマスクに変換するステップをさらに含む請求項64に記載の方法。
- 前記画像データの各画像について、前記少なくとも1つのプロセッサによって、各ピクセルの前記クラスを、前記ピクセルについてのクラス確率のすべてが、決定された閾値を下回るときに、背景クラスに設定するステップをさらに含む請求項70に記載の方法。
- 前記画像データの各画像について、前記少なくとも1つのプロセッサによって、各ピクセルの前記クラスを、前記ピクセルが、前記ピクセルが関連付けられた前記クラスの最大の接続された領域の部分ではないときに、背景クラスに設定するステップをさらに含む請求項70に記載の方法。
- 前記少なくとも1つのプロセッサによって、前記画像データに対する前記ラベルマスクの各々をそれぞれのスプライン輪郭に変換するステップをさらに含む請求項70に記載の方法。
- 前記少なくとも1つのプロセッサによって、生成された前記輪郭を前記画像データと共にディスプレイ上に自律的に表示させるステップをさらに含む請求項73に記載の方法。
- 前記少なくとも1つのプロセッサによって、前記表示された輪郭のうちの少なくとも1つのユーザ修正を受け取るステップと、
前記少なくとも1つのプロセッサによって、前記修正された輪郭を前記少なくとも1つの非一時的プロセッサ可読記憶媒体に記憶するステップとをさらに含む請求項74に記載の方法。 - 前記少なくとも1つのプロセッサによって、生成された前記輪郭を利用して、前記解剖構造の前記複数の部分のうちの少なくとも1つのボリュームを決定するステップをさらに含む請求項73に記載の方法。
- 前記解剖構造は、心臓を含み、前記方法は、
前記少なくとも1つのプロセッサによって、生成された前記輪郭を利用して、心周期の複数の時点における前記心臓の前記複数の部分のうちの少なくとも1つのボリュームを決定するステップをさらに含む請求項73に記載の方法。 - 前記少なくとも1つのプロセッサによって、前記心周期の前記複数の時点のうちのどれが前記心周期の収縮末期フェーズ及び拡張末期フェーズに対応するかを、それぞれ最小ボリューム及び最大ボリュームを有すると決定された時点に基づいて自動的に決定するステップをさらに含む請求項77に記載の方法。
- 前記少なくとも1つのプロセッサによって、前記解剖構造の前記複数の部分のうちの前記少なくとも1つの前記決定されたボリュームをディスプレイ上に表示させるステップをさらに含む請求項76に記載の方法。
- 画像データを受け取るステップは、ボリューム測定用画像データを受け取るステップを含む請求項64に記載の方法。
- CNNモデルを介して前記受け取られた画像データを処理するステップは、各畳み込みレイヤがサイズN×N×Kピクセルの畳み込みカーネルを含み、N及びKが正の整数である、CNNモデルを介して、前記受け取られた画像データを処理するステップを含む請求項80に記載の方法。
- 機械学習システムであって、
プロセッサ実行可能命令又はデータのうちの少なくとも1つを記憶する少なくとも1つの非一時的プロセッサ可読記憶媒体と、
前記少なくとも1つの非一時的プロセッサ可読記憶媒体に通信可能に結合された少なくとも1つのプロセッサと
を備え、前記少なくとも1つのプロセッサは、
複数のセットの3D MRI画像を受け取ることであって、前記複数のセットの各々における前記画像は、患者の解剖構造を表す、受け取ることと、
前記複数のセットの3D MRI画像についての複数のアノテーションを受け取ることであって、各アノテーションは、対応する画像において描かれた患者の解剖構造のランドマークを示す、受け取ることと、
前記3D MRI画像を利用して複数の前記ランドマークの位置を予測するように畳み込みニューラルネットワーク(CNN)モデルをトレーニングすることと、
前記トレーニングされたCNNモデルを、前記機械学習システムの前記少なくとも1つの非一時的プロセッサ可読記憶媒体に記憶することと
を行う、機械学習システム。 - 前記少なくとも1つのプロセッサは、前記3D MRI画像を利用して前記複数のランドマークの位置を予測するように完全畳み込みニューラルネットワーク(CNN)モデルをトレーニングする請求項82に記載の機械学習システム。
- 前記少なくとも1つのプロセッサは、1つ又は複数のセットの空間座標である出力を有するCNNモデルをトレーニングし、前記1つ又は複数の空間座標の各セットは、前記複数のランドマークのうちの1つの位置を識別する請求項82に記載の機械学習システム。
- 前記CNNモデルは、1つ又は複数の全接続レイヤに後続される収縮経路を含む請求項82に記載の機械学習システム。
- 前記CNNモデルは、収縮経路及び拡張経路を備え、前記収縮経路は、いくつかの畳み込みレイヤ及びいくつかのプーリングレイヤを含み、各プーリングレイヤは、1つ又は複数の畳み込みレイヤによって先行され、前記拡張経路は、いくつかの畳み込みレイヤ及びいくつかのアップサンプリングレイヤを含み、各アップサンプリングレイヤは、1つ又は複数の畳み込みレイヤによって先行され、学習されたカーネルを用いてアップサンプリング及び補間を行う転置畳み込み操作を備える請求項82に記載の機械学習システム。
- 前記少なくとも1つのプロセッサは、
前記解剖構造の1つ又は複数のランドマークの各々について、前記受け取られたセットの3D MRI画像及び前記受け取られた複数のアノテーションに少なくとも部分的に基づいて、3Dラベルマップを定義し、各3Dラベルマップは、前記ランドマークが前記3Dラベルマップ上の特定の位置に配置されている可能性を符号化し、
前記少なくとも1つのプロセッサは、前記3D MRI画像及び前記生成された3Dラベルマップを利用して前記1つ又は複数のランドマークをセグメント化するように前記CNNモデルをトレーニングする請求項82に記載の機械学習システム。 - 前記複数のセットの各々における前記画像は、心周期の異なるそれぞれの時点における患者の心臓を表し、各アノテーションは、対応する画像において描かれた患者の心臓のランドマークを示す請求項82に記載の機械学習システム。
- 前記少なくとも1つのプロセッサは、
3D MRI画像のセットを受け取り、
前記CNNモデルを介して、前記受け取られた3D MRI画像を処理して、前記1つ又は複数のランドマークのうちの少なくとも1つを検出し、
前記複数のランドマークのうちの前記検出された少なくとも1つをディスプレイ上に提示されるようにする請求項82に記載の機械学習システム。 - 前記少なくとも1つのプロセッサは、
前記CNNモデルを介して、前記受け取られた3D MRI画像を処理し、ポイント又はラベルマップのうちの少なくとも1つを出力する請求項89に記載の機械学習システム。 - 前記少なくとも1つのプロセッサは、
前記CNNモデルを介して、前記受け取られた3D MRI画像を処理して、複数の時点において前記複数のランドマークのうちの少なくとも1つを検出し、
複数の時点における前記複数のランドマークのうちの前記検出された少なくとも1つをディスプレイ上に提示されるようにする請求項89に記載の機械学習システム。 - 前記CNNモデルは、前記受け取られた3D MRI画像に関連付けられた位相情報を利用する請求項82に記載の機械学習システム。
- プロセッサ実行可能命令又はデータのうちの少なくとも1つを記憶する少なくとも1つの非一時的プロセッサ可読記憶媒体と、前記少なくとも1つの非一時的プロセッサ可読記憶媒体に通信可能に結合された少なくとも1つのプロセッサとを備える機械学習システムを動作させる方法であって、
前記少なくとも1つのプロセッサによって、複数のセットの3D MRI画像を受け取るステップであって、前記複数のセットの各々における前記画像は、患者の解剖構造を表す、ステップと、
前記少なくとも1つのプロセッサによって、前記複数のセットの3D MRI画像についての複数のアノテーションを受け取るステップであって、各アノテーションは、対応する画像において描かれた患者の解剖構造のランドマークを示す、ステップと、
前記少なくとも1つのプロセッサによって、前記3D MRI画像を利用して複数の前記ランドマークの位置を予測するように畳み込みニューラルネットワーク(CNN)モデルをトレーニングするステップと、
前記少なくとも1つのプロセッサによって、前記トレーニングされたCNNモデルを、前記機械学習システムの前記少なくとも1つの非一時的プロセッサ可読記憶媒体に記憶するステップと
を含む方法。 - CNNモデルをトレーニングするステップは、前記3D MRI画像を利用して前記複数のランドマークの位置を予測するように完全畳み込みニューラルネットワーク(CNN)モデルをトレーニングするステップを含む請求項93に記載の方法。
- CNNモデルをトレーニングするステップは、1つ又は複数のセットの空間座標である出力を有するCNNモデルをトレーニングするステップを含み、前記1つ又は複数の空間座標の各セットは、前記複数のランドマークのうちの1つの位置を識別する請求項93に記載の方法。
- CNNモデルをトレーニングするステップは、1つ又は複数の全接続レイヤに後続される収縮経路を含むCNNモデルをトレーニングするステップを含む請求項93に記載の方法。
- CNNモデルをトレーニングするステップは、収縮経路及び拡張経路を備えるCNNモデルをトレーニングするステップを含み、前記収縮経路は、いくつかの畳み込みレイヤ及びいくつかのプーリングレイヤを含み、各プーリングレイヤは、1つ又は複数の畳み込みレイヤによって先行され、前記拡張経路は、いくつかの畳み込みレイヤ及びいくつかのアップサンプリングレイヤを含み、各アップサンプリングレイヤは、1つ又は複数の畳み込みレイヤによって先行され、学習されたカーネルを用いてアップサンプリング及び補間を行う転置畳み込み操作を備える請求項93に記載の方法。
- 前記解剖構造の複数のランドマークの各々について、前記少なくとも1つのプロセッサによって、前記受け取られたセットの3D MRI画像及び前記受け取られた複数のアノテーションに少なくとも部分的に基づいて、3Dラベルマップを定義するステップをさらに含み、各3Dラベルマップは、前記ランドマークが前記3Dラベルマップ上の特定の位置に配置されている可能性を符号化する請求項93に記載の方法。
- 複数のセットの3D MRI画像を受け取るステップは、複数のセットの3D MRI画像を受け取るステップを含み、前記複数のセットの各々における前記画像が、心周期の異なるそれぞれの時点における患者の心臓を表し、各アノテーションが、対応する画像において描かれた患者の心臓のランドマークを示す請求項93に記載の方法。
- 前記少なくとも1つのプロセッサによって、3D MRI画像のセットを受け取るステップと、
前記少なくとも1つのプロセッサによって、前記CNNモデルを介して、前記受け取られた3D MRI画像を処理して、前記複数のランドマークのうちの少なくとも1つを検出するステップと、
前記少なくとも1つのプロセッサによって、前記複数のランドマークのうちの前記検出された少なくとも1つをディスプレイ上に提示されるようにするステップと
をさらに含む請求項93に記載の方法。 - 前記少なくとも1つのプロセッサによって、前記CNNモデルを介して、前記受け取られた3D MRI画像を処理して、複数の時点において前記複数のランドマークのうちの少なくとも1つを検出するステップと、
前記少なくとも1つのプロセッサによって、複数の時点における前記複数のランドマークのうちの前記検出された少なくとも1つをディスプレイ上に提示されるようにするステップと
をさらに含む請求項97に記載の方法。 - CNNモデルをトレーニングするステップは、前記受け取られた3D MRI画像に関連付けられた位相情報を利用するCNNモデルをトレーニングするステップを含む請求項93に記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562260565P | 2015-11-29 | 2015-11-29 | |
US62/260,565 | 2015-11-29 | ||
US201662415666P | 2016-11-01 | 2016-11-01 | |
US62/415,666 | 2016-11-01 | ||
PCT/US2016/064028 WO2017091833A1 (en) | 2015-11-29 | 2016-11-29 | Automated cardiac volume segmentation |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019504659A true JP2019504659A (ja) | 2019-02-21 |
JP2019504659A5 JP2019504659A5 (ja) | 2019-12-05 |
JP6993334B2 JP6993334B2 (ja) | 2022-01-13 |
Family
ID=58763712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018527794A Active JP6993334B2 (ja) | 2015-11-29 | 2016-11-29 | 自動化された心臓ボリュームセグメンテーション |
Country Status (5)
Country | Link |
---|---|
US (1) | US10871536B2 (ja) |
EP (1) | EP3380859A4 (ja) |
JP (1) | JP6993334B2 (ja) |
CN (1) | CN108603922A (ja) |
WO (1) | WO2017091833A1 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020205030A (ja) * | 2019-06-17 | 2020-12-24 | 株式会社アクセル | 学習方法、コンピュータプログラム、分類器、生成器、及び処理システム |
JP2021520530A (ja) * | 2019-04-01 | 2021-08-19 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | 生体検出方法及び装置、電子機器ならびに記憶媒体 |
JP2021163038A (ja) * | 2020-03-31 | 2021-10-11 | 東芝情報システム株式会社 | 平面データ処理装置、平面データ処理方法及び平面データ処理用プログラム |
JP2021163039A (ja) * | 2020-03-31 | 2021-10-11 | 東芝情報システム株式会社 | 平面データ処理装置、平面データ処理方法及び平面データ処理用プログラム |
JP2022529493A (ja) * | 2019-07-29 | 2022-06-22 | シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド | 画像処理方法及び装置、電子機器並びに記憶媒体 |
JP2022529557A (ja) * | 2019-04-22 | 2022-06-23 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | 医用画像分割方法、医用画像分割装置、電子機器及びコンピュータプログラム |
WO2022255820A1 (ko) * | 2021-06-03 | 2022-12-08 | 연세대학교 산학협력단 | 심방벽 두께를 산출하는 장치 및 산출 방법 |
KR20230033125A (ko) * | 2021-08-27 | 2023-03-08 | 주식회사 팬토믹스 | 심실 구축률 측정을 통한 심부전 진단 방법 |
WO2023075480A1 (ko) * | 2021-10-28 | 2023-05-04 | 주식회사 온택트헬스 | 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법, 장치, 레이블링을 위한 의료 영상을 선별하기 위한 방법 및 장치 |
JP7471877B2 (ja) | 2019-03-22 | 2024-04-22 | キヤノンメディカルシステムズ株式会社 | 磁気共鳴イメージング装置、磁気共鳴イメージング方法及びプログラム |
Families Citing this family (157)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015109254A2 (en) | 2014-01-17 | 2015-07-23 | Morpheus Medical, Inc. | Apparatus, methods and articles for four dimensional (4d) flow magnetic resonance imaging |
US10331852B2 (en) | 2014-01-17 | 2019-06-25 | Arterys Inc. | Medical imaging and efficient sharing of medical imaging information |
US10588589B2 (en) * | 2014-07-21 | 2020-03-17 | Zebra Medical Vision Ltd. | Systems and methods for prediction of osteoporotic fracture risk |
US10039513B2 (en) | 2014-07-21 | 2018-08-07 | Zebra Medical Vision Ltd. | Systems and methods for emulating DEXA scores based on CT images |
CN108603922A (zh) | 2015-11-29 | 2018-09-28 | 阿特瑞斯公司 | 自动心脏体积分割 |
US20170154273A1 (en) * | 2015-11-30 | 2017-06-01 | Seematics Systems Ltd | System and method for automatically updating inference models |
US11177022B2 (en) * | 2016-10-17 | 2021-11-16 | International Business Machines Corporation | Workflow for automatic measurement of doppler pipeline |
EP3533063A1 (en) | 2016-10-27 | 2019-09-04 | Progenics Pharmaceuticals, Inc. | Network for medical image analysis, decision support system, and related graphical user interface (gui) applications |
KR102631381B1 (ko) * | 2016-11-07 | 2024-01-31 | 삼성전자주식회사 | 컨볼루션 신경망 처리 방법 및 장치 |
WO2018105171A1 (ja) * | 2016-12-06 | 2018-06-14 | コニカミノルタ株式会社 | 画像認識システム及び画像認識方法 |
US11132543B2 (en) * | 2016-12-28 | 2021-09-28 | Nvidia Corporation | Unconstrained appearance-based gaze estimation |
US11113800B2 (en) | 2017-01-18 | 2021-09-07 | Nvidia Corporation | Filtering image data using a neural network |
US10902598B2 (en) | 2017-01-27 | 2021-01-26 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
US10580159B2 (en) * | 2017-01-31 | 2020-03-03 | Siemens Healthcare Gmbh | Coarse orientation detection in image data |
US10997502B1 (en) | 2017-04-13 | 2021-05-04 | Cadence Design Systems, Inc. | Complexity optimization of trainable networks |
KR102475826B1 (ko) * | 2017-04-21 | 2022-12-09 | 삼성메디슨 주식회사 | 영상 분할 방법 및 그 전자 장치 |
US10467759B2 (en) * | 2017-07-27 | 2019-11-05 | Siemens Healthcare Gmbh | Intelligent contouring of anatomy with structured user click points |
CN108229479B (zh) | 2017-08-01 | 2019-12-31 | 北京市商汤科技开发有限公司 | 语义分割模型的训练方法和装置、电子设备、存储介质 |
US10753997B2 (en) * | 2017-08-10 | 2020-08-25 | Siemens Healthcare Gmbh | Image standardization using generative adversarial networks |
EP3470006B1 (en) | 2017-10-10 | 2020-06-10 | Holo Surgical Inc. | Automated segmentation of three dimensional bony structure images |
EP3443888A1 (en) | 2017-08-15 | 2019-02-20 | Holo Surgical Inc. | A graphical user interface for displaying automatically segmented individual parts of anatomy in a surgical navigation system |
EP3445048A1 (en) | 2017-08-15 | 2019-02-20 | Holo Surgical Inc. | A graphical user interface for a surgical navigation system for providing an augmented reality image during operation |
CN109426773A (zh) * | 2017-08-24 | 2019-03-05 | 浙江宇视科技有限公司 | 一种道路识别方法和装置 |
CN107811626A (zh) * | 2017-09-10 | 2018-03-20 | 天津大学 | 一种基于一维卷积神经网络和s变换的心律失常分类方法 |
US9947103B1 (en) * | 2017-10-03 | 2018-04-17 | StradVision, Inc. | Learning method and learning device for improving image segmentation and testing method and testing device using the same |
US10043113B1 (en) * | 2017-10-04 | 2018-08-07 | StradVision, Inc. | Method and device for generating feature maps by using feature upsampling networks |
US10223610B1 (en) * | 2017-10-15 | 2019-03-05 | International Business Machines Corporation | System and method for detection and classification of findings in images |
GB2567636B (en) * | 2017-10-17 | 2021-11-10 | Perspectum Diagnostics Ltd | Method and apparatus for imaging an organ |
US10783640B2 (en) * | 2017-10-30 | 2020-09-22 | Beijing Keya Medical Technology Co., Ltd. | Systems and methods for image segmentation using a scalable and compact convolutional neural network |
CN107833229A (zh) * | 2017-11-02 | 2018-03-23 | 上海联影医疗科技有限公司 | 信息处理方法、装置及系统 |
US10565707B2 (en) * | 2017-11-02 | 2020-02-18 | Siemens Healthcare Gmbh | 3D anisotropic hybrid network: transferring convolutional features from 2D images to 3D anisotropic volumes |
WO2019085985A1 (en) * | 2017-11-02 | 2019-05-09 | Shenzhen United Imaging Healthcare Co., Ltd. | Systems and methods for generating semantic information for scanning image |
AU2018369757B2 (en) * | 2017-11-14 | 2023-10-12 | Magic Leap, Inc. | Fully convolutional interest point detection and description via homographic adaptation |
WO2019103912A2 (en) | 2017-11-22 | 2019-05-31 | Arterys Inc. | Content based image retrieval for lesion analysis |
CN107818314B (zh) * | 2017-11-22 | 2019-03-19 | 北京达佳互联信息技术有限公司 | 脸部图像处理方法、装置及服务器 |
CN116741352A (zh) * | 2017-11-24 | 2023-09-12 | 佳能医疗系统株式会社 | 医用数据处理装置、磁共振成像装置及学习完毕模型生成方法 |
CN109886992A (zh) * | 2017-12-06 | 2019-06-14 | 深圳博脑医疗科技有限公司 | 用于分割mri图像中异常信号区的全卷积网络模型训练方法 |
CN108013904B (zh) * | 2017-12-15 | 2020-12-25 | 无锡祥生医疗科技股份有限公司 | 心脏超声成像方法 |
WO2019124076A1 (ja) * | 2017-12-20 | 2019-06-27 | キヤノンメディカルシステムズ株式会社 | 医用信号処理装置 |
JP7246903B2 (ja) * | 2017-12-20 | 2023-03-28 | キヤノンメディカルシステムズ株式会社 | 医用信号処理装置 |
US10973486B2 (en) | 2018-01-08 | 2021-04-13 | Progenics Pharmaceuticals, Inc. | Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination |
US10896508B2 (en) * | 2018-02-07 | 2021-01-19 | International Business Machines Corporation | System for segmentation of anatomical structures in cardiac CTA using fully convolutional neural networks |
WO2019159324A1 (ja) * | 2018-02-16 | 2019-08-22 | パナソニックIpマネジメント株式会社 | 処理方法およびそれを利用した処理装置 |
US11534136B2 (en) * | 2018-02-26 | 2022-12-27 | Siemens Medical Solutions Usa, Inc. | Three-dimensional segmentation from two-dimensional intracardiac echocardiography imaging |
US11024025B2 (en) * | 2018-03-07 | 2021-06-01 | University Of Virginia Patent Foundation | Automatic quantification of cardiac MRI for hypertrophic cardiomyopathy |
SG11202008448QA (en) * | 2018-03-12 | 2020-09-29 | Lvis Corp | Systems and methods for generating thin image slices from thick image slices |
US11950961B2 (en) | 2018-03-14 | 2024-04-09 | The Regents Of The University Of California | Automated cardiac function assessment by echocardiography |
US10891731B2 (en) | 2018-05-07 | 2021-01-12 | Zebra Medical Vision Ltd. | Systems and methods for pre-processing anatomical images for feeding into a classification neural network |
US10949968B2 (en) | 2018-05-07 | 2021-03-16 | Zebra Medical Vision Ltd. | Systems and methods for detecting an indication of a visual finding type in an anatomical image |
US10706545B2 (en) * | 2018-05-07 | 2020-07-07 | Zebra Medical Vision Ltd. | Systems and methods for analysis of anatomical images |
CN108596338A (zh) * | 2018-05-09 | 2018-09-28 | 四川斐讯信息技术有限公司 | 一种神经网络训练集的获取方法及其系统 |
EP3570249A1 (en) | 2018-05-14 | 2019-11-20 | Koninklijke Philips N.V. | Preprocessing medical image data for machine learning |
KR102184755B1 (ko) | 2018-05-31 | 2020-11-30 | 서울대학교 산학협력단 | 안면 특화 초 고화질 심층 신경망 학습 장치 및 방법 |
JP7051595B2 (ja) * | 2018-06-05 | 2022-04-11 | ザイオソフト株式会社 | 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム |
US10726555B2 (en) | 2018-06-06 | 2020-07-28 | International Business Machines Corporation | Joint registration and segmentation of images using deep learning |
WO2019241155A1 (en) | 2018-06-11 | 2019-12-19 | Arterys Inc. | Simulating abnormalities in medical images with generative adversarial networks |
US11125844B2 (en) * | 2018-07-06 | 2021-09-21 | The Board Of Trustees Of The Leland Stanford Junior University | Deep learning based methods to accelerate multi-spectral imaging |
CN108986891A (zh) * | 2018-07-24 | 2018-12-11 | 北京市商汤科技开发有限公司 | 医疗影像处理方法及装置、电子设备及存储介质 |
CN109285157A (zh) * | 2018-07-24 | 2019-01-29 | 深圳先进技术研究院 | 左心室心肌分割方法、装置及计算机可读存储介质 |
EP3608870A1 (en) | 2018-08-10 | 2020-02-12 | Holo Surgical Inc. | Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure |
CN109190682B (zh) * | 2018-08-13 | 2020-12-18 | 北京安德医智科技有限公司 | 一种基于3d核磁共振影像的脑部异常的分类方法及设备 |
JP7277536B2 (ja) * | 2018-08-14 | 2023-05-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP7134017B2 (ja) | 2018-08-14 | 2022-09-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US10304193B1 (en) * | 2018-08-17 | 2019-05-28 | 12 Sigma Technologies | Image segmentation and object detection using fully convolutional neural network |
EP3821377A4 (en) * | 2018-08-24 | 2022-04-20 | Arterys Inc. | REGISTRATION BASED ON DEEP LEARNING |
US11954881B2 (en) | 2018-08-28 | 2024-04-09 | Apple Inc. | Semi-supervised learning using clustering as an additional constraint |
US11164067B2 (en) * | 2018-08-29 | 2021-11-02 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems, methods, and apparatuses for implementing a multi-resolution neural network for use with imaging intensive applications including medical imaging |
CN110874605B (zh) * | 2018-08-31 | 2024-05-03 | 嘉楠明芯(北京)科技有限公司 | 图像识别处理方法和装置 |
CN109242865B (zh) * | 2018-09-26 | 2020-09-25 | 上海联影智能医疗科技有限公司 | 基于多图谱的医学图像自动分区系统、方法、装置及存储介质 |
US11227390B2 (en) | 2018-09-26 | 2022-01-18 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for image processing |
US11475991B2 (en) | 2018-09-28 | 2022-10-18 | Varian Medical Systems International Ag | Methods and systems for adaptive radiotherapy treatment planning using deep learning engines |
US20200104695A1 (en) * | 2018-09-28 | 2020-04-02 | Varian Medical Systems International Ag | Methods and systems for radiotherapy treatment planning using deep learning engines |
US11823800B2 (en) * | 2018-10-12 | 2023-11-21 | The Medical College Of Wisconsin, Inc. | Medical image segmentation using deep learning models trained with random dropout and/or standardized inputs |
CN109407067B (zh) * | 2018-10-13 | 2023-06-27 | 中国人民解放军海军航空大学 | 基于时频图卷积神经网络的雷达动目标检测与分类一体化方法 |
CN109360210B (zh) | 2018-10-16 | 2019-10-25 | 腾讯科技(深圳)有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
KR102695522B1 (ko) * | 2018-10-17 | 2024-08-14 | 삼성전자주식회사 | 이미지 인식 모델을 트레이닝시키는 장치 및 방법과 이미지 인식 장치 및 방법 |
US10991091B2 (en) * | 2018-10-30 | 2021-04-27 | Diagnocat Inc. | System and method for an automated parsing pipeline for anatomical localization and condition classification |
US11464467B2 (en) * | 2018-10-30 | 2022-10-11 | Dgnct Llc | Automated tooth localization, enumeration, and diagnostic system and method |
US10799183B2 (en) * | 2018-11-07 | 2020-10-13 | General Electric Company | Methods and systems for whole body imaging |
CN109583942B (zh) * | 2018-11-07 | 2021-05-11 | 浙江工业大学 | 一种基于密集网络的多任务卷积神经网络顾客行为分析方法 |
CN109410289B (zh) * | 2018-11-09 | 2021-11-12 | 中国科学院精密测量科学与技术创新研究院 | 一种深度学习的高欠采样超极化气体肺部mri重建方法 |
KR102660563B1 (ko) * | 2018-11-15 | 2024-04-26 | 삼성메디슨 주식회사 | 태아 심장의 이상 여부를 판단하는 초음파 진단 장치 및 초음파 진단 장치의 동작 방법 |
CN109614991A (zh) * | 2018-11-19 | 2019-04-12 | 成都信息工程大学 | 一种基于Attention的多尺度扩张性心肌的分割分类方法 |
CN110009640B (zh) * | 2018-11-20 | 2023-09-26 | 腾讯科技(深圳)有限公司 | 处理心脏视频的方法、设备和可读介质 |
EP3660785A1 (en) * | 2018-11-30 | 2020-06-03 | Laralab UG | Method and system for providing an at least 3-dimensional medical image segmentation of a structure of an internal organ |
CN109727270B (zh) * | 2018-12-10 | 2021-03-26 | 杭州帝视科技有限公司 | 心脏核磁共振图像的运动机理和纹理特征分析方法和系统 |
CN113674338A (zh) * | 2018-12-14 | 2021-11-19 | 北京市商汤科技开发有限公司 | 双心室量化方法、装置、电子设备及存储介质 |
CN109785336B (zh) * | 2018-12-18 | 2020-11-27 | 深圳先进技术研究院 | 基于多路径卷积神经网络模型的图像分割方法及装置 |
EP3671660A1 (en) * | 2018-12-20 | 2020-06-24 | Dassault Systèmes | Designing a 3d modeled object via user-interaction |
KR20200081044A (ko) | 2018-12-27 | 2020-07-07 | 삼성전자주식회사 | 뉴럴 네트워크의 컨볼루션 연산을 처리하는 방법 및 장치 |
KR102021515B1 (ko) * | 2018-12-27 | 2019-09-16 | (주)제이엘케이인스펙션 | 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법 |
TWI697010B (zh) * | 2018-12-28 | 2020-06-21 | 國立成功大學 | 醫療矢面影像的取得方法、神經網路的訓練方法及計算機裝置 |
US11657508B2 (en) | 2019-01-07 | 2023-05-23 | Exini Diagnostics Ab | Systems and methods for platform agnostic whole body image segmentation |
US11620510B2 (en) * | 2019-01-23 | 2023-04-04 | Samsung Electronics Co., Ltd. | Platform for concurrent execution of GPU operations |
US10813612B2 (en) | 2019-01-25 | 2020-10-27 | Cleerly, Inc. | Systems and method of characterizing high risk plaques |
US10402977B1 (en) * | 2019-01-25 | 2019-09-03 | StradVision, Inc. | Learning method and learning device for improving segmentation performance in road obstacle detection required to satisfy level 4 and level 5 of autonomous vehicles using laplacian pyramid network and testing method and testing device using the same |
US10410352B1 (en) * | 2019-01-25 | 2019-09-10 | StradVision, Inc. | Learning method and learning device for improving segmentation performance to be used for detecting events including pedestrian event, vehicle event, falling event and fallen event using edge loss and test method and test device using the same |
US11950877B2 (en) | 2019-02-05 | 2024-04-09 | University Of Virginia Patent Foundation | System and method for fully automatic LV segmentation of myocardial first-pass perfusion images |
CN109978888B (zh) * | 2019-02-18 | 2023-07-28 | 平安科技(深圳)有限公司 | 一种图像分割方法、装置及计算机可读存储介质 |
CN109949318B (zh) * | 2019-03-07 | 2023-11-14 | 西安电子科技大学 | 基于多模态影像的全卷积神经网络癫痫病灶分割方法 |
CN109949299A (zh) * | 2019-03-25 | 2019-06-28 | 东南大学 | 一种心脏医学图像自动分割方法 |
WO2020194663A1 (ja) * | 2019-03-28 | 2020-10-01 | オリンパス株式会社 | トラッキング装置、学習済モデル、内視鏡システム及びトラッキング方法 |
WO2020194664A1 (ja) * | 2019-03-28 | 2020-10-01 | オリンパス株式会社 | トラッキング装置、学習済モデル、内視鏡システム及びトラッキング方法 |
WO2020219620A1 (en) | 2019-04-24 | 2020-10-29 | Progenics Pharmaceuticals, Inc. | Systems and methods for automated and interactive analysis of bone scan images for detection of metastases |
CA3134745A1 (en) | 2019-04-24 | 2020-10-29 | Progenics Pharmaceuticals, Inc. | Systems and methods for interactive adjustment of intensity windowing in nuclear medicine images |
CN110136804B (zh) * | 2019-04-25 | 2021-11-16 | 深圳向往之医疗科技有限公司 | 一种心肌质量计算方法、系统及电子设备 |
CN110136067B (zh) * | 2019-05-27 | 2022-09-06 | 商丘师范学院 | 一种针对超分辨率b超影像的实时影像生成方法 |
CN110188720A (zh) * | 2019-06-05 | 2019-08-30 | 上海云绅智能科技有限公司 | 一种基于卷积神经网络的目标检测方法及系统 |
US10748650B1 (en) * | 2019-07-17 | 2020-08-18 | Richard Ricci | Machine learning of dental images for E-commerce |
CN110243827B (zh) * | 2019-07-18 | 2020-11-20 | 华中科技大学 | 一种适用于光透明样本的快速三维成像方法 |
US10937158B1 (en) | 2019-08-13 | 2021-03-02 | Hong Kong Applied Science and Technology Research Institute Company Limited | Medical image segmentation based on mixed context CNN model |
CN110731777B (zh) * | 2019-09-16 | 2023-07-25 | 平安科技(深圳)有限公司 | 基于图像识别的左心室测量方法、装置以及计算机设备 |
CN110852987B (zh) * | 2019-09-24 | 2022-04-22 | 西安交通大学 | 基于深形态学的血管斑块检测方法、设备及存储介质 |
US11544407B1 (en) | 2019-09-27 | 2023-01-03 | Progenics Pharmaceuticals, Inc. | Systems and methods for secure cloud-based medical image upload and processing |
US11564621B2 (en) | 2019-09-27 | 2023-01-31 | Progenies Pharmacenticals, Inc. | Systems and methods for artificial intelligence-based image analysis for cancer assessment |
US11900597B2 (en) | 2019-09-27 | 2024-02-13 | Progenics Pharmaceuticals, Inc. | Systems and methods for artificial intelligence-based image analysis for cancer assessment |
KR102347496B1 (ko) * | 2019-10-08 | 2022-01-10 | 사회복지법인 삼성생명공익재단 | 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템 및 방법 |
CN112365504A (zh) * | 2019-10-29 | 2021-02-12 | 杭州脉流科技有限公司 | Ct左心室分割方法、装置、设备和存储介质 |
CN112749593A (zh) * | 2019-10-31 | 2021-05-04 | 通用电气精准医疗有限责任公司 | 医学成像系统、识别检测对象的体位的方法、存储介质 |
US11232859B2 (en) * | 2019-11-07 | 2022-01-25 | Siemens Healthcare Gmbh | Artificial intelligence for basal and apical slice identification in cardiac MRI short axis acquisitions |
US11514573B2 (en) * | 2019-11-27 | 2022-11-29 | Shanghai United Imaging Intelligence Co., Ltd. | Estimating object thickness with neural networks |
US11334995B2 (en) * | 2019-11-27 | 2022-05-17 | Shanghai United Imaging Intelligence Co., Ltd. | Hierarchical systems and methods for image segmentation |
US20230052727A1 (en) * | 2019-12-17 | 2023-02-16 | Abyss Solutions Pty Ltd | Method and system for detecting physical features of objects |
US11216922B2 (en) | 2019-12-17 | 2022-01-04 | Capital One Services, Llc | Systems and methods for recognition of user-provided images |
US20220392065A1 (en) | 2020-01-07 | 2022-12-08 | Cleerly, Inc. | Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking |
US11969280B2 (en) | 2020-01-07 | 2024-04-30 | Cleerly, Inc. | Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking |
JP2023509514A (ja) | 2020-01-07 | 2023-03-08 | クリールリー、 インコーポレーテッド | 医用画像分析、診断、重症度分類、意思決定、および/または疾患追跡のためのシステム、方法、およびデバイス |
US11615508B2 (en) * | 2020-02-07 | 2023-03-28 | GE Precision Healthcare LLC | Systems and methods for consistent presentation of medical images using deep neural networks |
GB202003239D0 (en) * | 2020-03-05 | 2020-04-22 | Mirada Medical Ltd | System and method for interactive contouring of medical images |
EP3878361B1 (en) * | 2020-03-12 | 2024-04-24 | Siemens Healthineers AG | Method and device for determining a cardiac phase in magnet resonance imaging |
CN111400016B (zh) * | 2020-03-25 | 2023-05-16 | 新华三信息安全技术有限公司 | 一种调用应用程序接口函数的方法和设备 |
US11205287B2 (en) * | 2020-03-27 | 2021-12-21 | International Business Machines Corporation | Annotation of digital images for machine learning |
US11386988B2 (en) | 2020-04-23 | 2022-07-12 | Exini Diagnostics Ab | Systems and methods for deep-learning-based segmentation of composite images |
US11321844B2 (en) | 2020-04-23 | 2022-05-03 | Exini Diagnostics Ab | Systems and methods for deep-learning-based segmentation of composite images |
CN111666972A (zh) * | 2020-04-28 | 2020-09-15 | 清华大学 | 基于深度神经网络的肝部病例图像分类方法及系统 |
EP4143739A4 (en) | 2020-05-01 | 2023-09-27 | Magic Leap, Inc. | IMAGE DESCRIPTOR NETWORK WITH IMPOSED HIERARCHICAL NORMALIZATION |
US11532084B2 (en) * | 2020-05-11 | 2022-12-20 | EchoNous, Inc. | Gating machine learning predictions on medical ultrasound images via risk and uncertainty quantification |
JP2023525287A (ja) * | 2020-05-11 | 2023-06-15 | エコーノース インコーポレーテッド | ラベルなしの動き学習 |
US11523801B2 (en) * | 2020-05-11 | 2022-12-13 | EchoNous, Inc. | Automatically identifying anatomical structures in medical images in a manner that is sensitive to the particular view in which each image is captured |
CN111768391B (zh) * | 2020-07-01 | 2024-04-05 | 杭州脉流科技有限公司 | 一种基于ct影像的全自动心脏功能学分析方法、装置、计算机设备以及存储介质 |
US11721428B2 (en) | 2020-07-06 | 2023-08-08 | Exini Diagnostics Ab | Systems and methods for artificial intelligence-based image analysis for detection and characterization of lesions |
US11556742B2 (en) * | 2020-08-03 | 2023-01-17 | International Business Machines Corporation | Training machine learning models to exclude ambiguous data samples |
CN112184840B (zh) | 2020-09-22 | 2022-09-02 | 上海交通大学 | 基于多尺度结构化字典学习的3d点云压缩系统 |
US11636593B2 (en) | 2020-11-06 | 2023-04-25 | EchoNous, Inc. | Robust segmentation through high-level image understanding |
EP4248356A1 (en) | 2020-11-20 | 2023-09-27 | Bayer Aktiengesellschaft | Representation learning |
US11562512B2 (en) * | 2020-12-09 | 2023-01-24 | Raytheon Company | System and method for generating and displaying contours |
US20240303973A1 (en) | 2021-02-26 | 2024-09-12 | Bayer Aktiengesellschaft | Actor-critic approach for generating synthetic images |
CN113570569B (zh) * | 2021-07-26 | 2024-04-16 | 东北大学 | 一种基于深度学习的心脏室间隔抖动自动检测系统 |
CN113628230A (zh) * | 2021-08-10 | 2021-11-09 | 上海慧虎信息科技有限公司 | 心脏核磁共振图像中心室心肌分割模型训练方法、分割方法及装置 |
CN113936173A (zh) * | 2021-10-08 | 2022-01-14 | 上海交通大学 | 一种最大化互信息的图像分类方法、设备、介质及系统 |
WO2023069917A1 (en) * | 2021-10-22 | 2023-04-27 | The Board Of Regents Of The University Of Texas System | Ai-assisted clinician contour reviewing and revision |
US20230289963A1 (en) | 2022-03-10 | 2023-09-14 | Cleerly, Inc. | Systems, devices, and methods for non-invasive image-based plaque analysis and risk determination |
WO2023183478A1 (en) * | 2022-03-23 | 2023-09-28 | University Of Southern California | Automated vessel wall segmentation system and method |
WO2023199088A1 (en) * | 2022-04-11 | 2023-10-19 | University Of Leeds | Determination of cardiac functional indices |
US20240005514A1 (en) * | 2022-07-01 | 2024-01-04 | Q Bio, Inc. | Dynamic segmentation of anatomical structures |
CN115239720A (zh) * | 2022-09-22 | 2022-10-25 | 安徽省儿童医院(安徽省新华医院、安徽省儿科医学研究所、复旦大学附属儿科医院安徽医院) | 基于经典Graf的DDH超声影像人工智能诊断系统及方法 |
CN117649523B (zh) * | 2023-11-28 | 2024-07-09 | 齐鲁工业大学(山东省科学院) | 一种基于LUnetr模型的可变心脏MRI分割方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090080745A1 (en) * | 2007-09-21 | 2009-03-26 | Yefeng Zheng | Method and system for measuring left ventricle volume |
US20110123253A1 (en) * | 2009-11-20 | 2011-05-26 | Boku-Undo Co., Ltd. | Illustrating tool |
JP2011523147A (ja) * | 2008-06-12 | 2011-08-04 | ルノディ,フランク セバスティアン | 画像処理、特に医療画像を処理するための方法及び装置 |
JP2011527055A (ja) * | 2008-07-03 | 2011-10-20 | エヌイーシー ラボラトリーズ アメリカ インク | 有糸分裂像検出装置および計数システム、および有糸分裂像を検出して計数する方法 |
JP2012512730A (ja) * | 2010-03-31 | 2012-06-07 | ザクリトエ、アクツィオネルノエ、オブシェストボ、“インパルス” | 医療用途のデジタルx線画像の対象領域における明るさレベルを計算する方法 |
US20130336553A1 (en) * | 2010-08-13 | 2013-12-19 | Smith & Nephew, Inc. | Detection of anatomical landmarks |
US20150117760A1 (en) * | 2013-10-30 | 2015-04-30 | Nec Laboratories America, Inc. | Regionlets with Shift Invariant Neural Patterns for Object Detection |
JP2015131023A (ja) * | 2014-01-14 | 2015-07-23 | 株式会社東芝 | 磁気共鳴イメージング装置 |
JP2015154918A (ja) * | 2014-02-19 | 2015-08-27 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 病変検出装置及び方法 |
US20150238148A1 (en) * | 2013-10-17 | 2015-08-27 | Siemens Aktiengesellschaft | Method and system for anatomical object detection using marginal space deep neural networks |
Family Cites Families (100)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5115812A (en) | 1988-11-30 | 1992-05-26 | Hitachi, Ltd. | Magnetic resonance imaging method for moving object |
JP2776844B2 (ja) | 1988-11-30 | 1998-07-16 | 株式会社日立製作所 | 磁気共鳴動体イメージング装置 |
JP3137378B2 (ja) | 1991-09-25 | 2001-02-19 | 株式会社東芝 | 磁気共鳴イメージング装置 |
JP3452400B2 (ja) | 1994-08-02 | 2003-09-29 | 株式会社日立メディコ | 磁気共鳴イメージング装置 |
JP3501182B2 (ja) | 1994-11-22 | 2004-03-02 | 株式会社日立メディコ | 流速画像を算出できる磁気共鳴イメージング装置 |
KR19990082557A (ko) * | 1996-02-09 | 1999-11-25 | 윌리암 제이. 버크 | 불확실한 트레이닝 데이터를 사용하여 대상을검출 및 분류하기위한 뉴럴 네트워크의 트레이닝 방법 및 장치 |
US6324532B1 (en) * | 1997-02-07 | 2001-11-27 | Sarnoff Corporation | Method and apparatus for training a neural network to detect objects in an image |
AU4827700A (en) | 1999-05-05 | 2000-11-17 | Healthgram, Inc. | Portable health record |
US6711433B1 (en) | 1999-09-30 | 2004-03-23 | Siemens Corporate Research, Inc. | Method for providing a virtual contrast agent for augmented angioscopy |
US8166381B2 (en) | 2000-12-20 | 2012-04-24 | Heart Imaging Technologies, Llc | Medical image management system |
US6934698B2 (en) | 2000-12-20 | 2005-08-23 | Heart Imaging Technologies Llc | Medical image management system |
DE10117685C2 (de) | 2001-04-09 | 2003-02-27 | Siemens Ag | Verfahren zur Bearbeitung von Objekten eines standardisierten Kommunikationsprotokolls |
US7139417B2 (en) | 2001-08-14 | 2006-11-21 | Ge Medical Systems Global Technology Company Llc | Combination compression and registration techniques to implement temporal subtraction as an application service provider to detect changes over time to medical imaging |
US7158692B2 (en) | 2001-10-15 | 2007-01-02 | Insightful Corporation | System and method for mining quantitive information from medical images |
US7355597B2 (en) | 2002-05-06 | 2008-04-08 | Brown University Research Foundation | Method, apparatus and computer program product for the interactive rendering of multivalued volume data with layered complementary values |
GB0219408D0 (en) | 2002-08-20 | 2002-09-25 | Mirada Solutions Ltd | Computation o contour |
DE602004027479D1 (de) | 2003-04-24 | 2010-07-15 | Koninkl Philips Electronics Nv | Eingriffsfreie links-herzkammervolumenbestimmung |
US7254436B2 (en) | 2003-05-30 | 2007-08-07 | Heart Imaging Technologies, Llc | Dynamic magnetic resonance angiography |
EP1788911B1 (en) | 2004-08-19 | 2017-06-28 | Otis Elevator Company | Operating a three phase device using single phase power |
US7292032B1 (en) | 2004-09-28 | 2007-11-06 | General Electric Company | Method and system of enhanced phase suppression for phase-contrast MR imaging |
US7127095B2 (en) | 2004-10-15 | 2006-10-24 | The Brigham And Women's Hospital, Inc. | Factor analysis in medical imaging |
EP1659511A1 (en) | 2004-11-18 | 2006-05-24 | Cedara Software Corp. | Image archiving system and method for handling new and legacy archives |
US7736313B2 (en) | 2004-11-22 | 2010-06-15 | Carestream Health, Inc. | Detecting and classifying lesions in ultrasound images |
US8000768B2 (en) | 2005-01-10 | 2011-08-16 | Vassol Inc. | Method and system for displaying blood flow |
US20070061460A1 (en) | 2005-03-24 | 2007-03-15 | Jumpnode Systems,Llc | Remote access |
US7567707B2 (en) * | 2005-12-20 | 2009-07-28 | Xerox Corporation | Red eye detection and correction |
JP5091644B2 (ja) | 2006-12-04 | 2012-12-05 | 株式会社東芝 | X線コンピュータ断層撮像装置及び医用画像処理装置 |
US7764846B2 (en) * | 2006-12-12 | 2010-07-27 | Xerox Corporation | Adaptive red eye correction |
US8369590B2 (en) | 2007-05-21 | 2013-02-05 | Cornell University | Method for segmenting objects in images |
JP5191787B2 (ja) | 2008-04-23 | 2013-05-08 | 株式会社日立メディコ | X線ct装置 |
WO2009142167A1 (ja) | 2008-05-22 | 2009-11-26 | 株式会社 日立メディコ | 磁気共鳴イメージング装置及び血管画像取得方法 |
US20110230756A1 (en) | 2008-09-30 | 2011-09-22 | University Of Cape Town | Fluid flow assessment |
JP5422171B2 (ja) | 2008-10-01 | 2014-02-19 | 株式会社東芝 | X線画像診断装置 |
US8148984B2 (en) | 2008-10-03 | 2012-04-03 | Wisconsin Alumni Research Foundation | Method for magnitude constrained phase contrast magnetic resonance imaging |
US8301224B2 (en) | 2008-10-09 | 2012-10-30 | Siemens Aktiengesellschaft | System and method for automatic, non-invasive diagnosis of pulmonary hypertension and measurement of mean pulmonary arterial pressure |
WO2010056900A1 (en) | 2008-11-13 | 2010-05-20 | Avid Radiopharmaceuticals, Inc. | Histogram-based analysis method for the detection and diagnosis of neurodegenerative diseases |
US20100158332A1 (en) * | 2008-12-22 | 2010-06-24 | Dan Rico | Method and system of automated detection of lesions in medical images |
US8457373B2 (en) | 2009-03-16 | 2013-06-04 | Siemens Aktiengesellschaft | System and method for robust 2D-3D image registration |
WO2010117573A2 (en) | 2009-04-07 | 2010-10-14 | Virginia Commonwealth University | Automated measurement of brain injury indices using brain ct images, injury data, and machine learning |
US8527251B2 (en) | 2009-05-01 | 2013-09-03 | Siemens Aktiengesellschaft | Method and system for multi-component heart and aorta modeling for decision support in cardiac disease |
US20110182493A1 (en) | 2010-01-25 | 2011-07-28 | Martin Huber | Method and a system for image annotation |
US8805048B2 (en) | 2010-04-01 | 2014-08-12 | Mark Batesole | Method and system for orthodontic diagnosis |
US8938113B2 (en) | 2010-07-26 | 2015-01-20 | Kjaya, Llc | Adaptive visualization for direct physician use |
US8897519B2 (en) | 2010-09-28 | 2014-11-25 | Siemens Aktiengesellschaft | System and method for background phase correction for phase contrast flow images |
US8374414B2 (en) | 2010-11-05 | 2013-02-12 | The Hong Kong Polytechnic University | Method and system for detecting ischemic stroke |
CN103262120B (zh) | 2010-12-09 | 2017-03-22 | 皇家飞利浦电子股份有限公司 | 图像数据的体积描绘 |
US8600476B2 (en) | 2011-04-21 | 2013-12-03 | Siemens Aktiengesellschaft | Patient support table control system for use in MR imaging |
RU2014102345A (ru) | 2011-06-27 | 2015-08-10 | Конинклейке Филипс Н.В. | Анатомическая пометка обнаруженных изменений в данных изображений, полученных в ходе длительных наблюдений |
US9513357B2 (en) | 2011-07-07 | 2016-12-06 | The Board Of Trustees Of The Leland Stanford Junior University | Comprehensive cardiovascular analysis with volumetric phase-contrast MRI |
US9585568B2 (en) | 2011-09-11 | 2017-03-07 | Steven D. Wolff | Noninvasive methods for determining the pressure gradient across a heart valve without using velocity data at the valve orifice |
US8837800B1 (en) | 2011-10-28 | 2014-09-16 | The Board Of Trustees Of The Leland Stanford Junior University | Automated detection of arterial input function and/or venous output function voxels in medical imaging |
US8682049B2 (en) | 2012-02-14 | 2014-03-25 | Terarecon, Inc. | Cloud-based medical image processing system with access control |
US9014781B2 (en) | 2012-04-19 | 2015-04-21 | General Electric Company | Systems and methods for magnetic resonance angiography |
US9165360B1 (en) | 2012-09-27 | 2015-10-20 | Zepmed, Llc | Methods, systems, and devices for automated analysis of medical scans |
US9495752B2 (en) * | 2012-09-27 | 2016-11-15 | Siemens Product Lifecycle Management Software Inc. | Multi-bone segmentation for 3D computed tomography |
US20150374237A1 (en) | 2013-01-31 | 2015-12-31 | The Regents Of The University Of California | Method for accurate and robust cardiac motion self-gating in magnetic resonance imaging |
US9898659B2 (en) | 2013-05-19 | 2018-02-20 | Commonwealth Scientific And Industrial Research Organisation | System and method for remote medical diagnosis |
WO2015031641A1 (en) * | 2013-08-29 | 2015-03-05 | Mayo Foundation For Medical Education And Research | System and method for boundary classification and automatic polyp detection |
US9406142B2 (en) * | 2013-10-08 | 2016-08-02 | The Trustees Of The University Of Pennsylvania | Fully automatic image segmentation of heart valves using multi-atlas label fusion and deformable medial modeling |
US9700219B2 (en) * | 2013-10-17 | 2017-07-11 | Siemens Healthcare Gmbh | Method and system for machine learning based assessment of fractional flow reserve |
US20150139517A1 (en) | 2013-11-15 | 2015-05-21 | University Of Iowa Research Foundation | Methods And Systems For Calibration |
WO2015109254A2 (en) | 2014-01-17 | 2015-07-23 | Morpheus Medical, Inc. | Apparatus, methods and articles for four dimensional (4d) flow magnetic resonance imaging |
US9430829B2 (en) | 2014-01-30 | 2016-08-30 | Case Western Reserve University | Automatic detection of mitosis using handcrafted and convolutional neural network features |
US20150324690A1 (en) | 2014-05-08 | 2015-11-12 | Microsoft Corporation | Deep Learning Training System |
US9928588B2 (en) | 2014-05-15 | 2018-03-27 | Brainlab Ag | Indication-dependent display of a medical image |
KR20160010157A (ko) | 2014-07-18 | 2016-01-27 | 삼성전자주식회사 | 차원 축소 기반 3차원 컴퓨터 보조 진단 장치 및 방법 |
US9707400B2 (en) * | 2014-08-15 | 2017-07-18 | Medtronic, Inc. | Systems, methods, and interfaces for configuring cardiac therapy |
EP3043318B1 (en) | 2015-01-08 | 2019-03-13 | Imbio | Analysis of medical images and creation of a report |
DE102015000789A1 (de) | 2015-01-26 | 2016-07-28 | Senvion Gmbh | Schwingungsdämpfer für eine Windenergieanlage, Verfahren zum Einbau eines Schwingungsdämpfers in einen Turm einer Windenergieanlage und Windenergieanlage |
KR101974769B1 (ko) | 2015-03-03 | 2019-05-02 | 난토믹스, 엘엘씨 | 앙상블-기반 연구 추천 시스템 및 방법 |
US10115194B2 (en) * | 2015-04-06 | 2018-10-30 | IDx, LLC | Systems and methods for feature detection in retinal images |
US9633306B2 (en) | 2015-05-07 | 2017-04-25 | Siemens Healthcare Gmbh | Method and system for approximating deep neural networks for anatomical object detection |
US10176408B2 (en) | 2015-08-14 | 2019-01-08 | Elucid Bioimaging Inc. | Systems and methods for analyzing pathologies utilizing quantitative imaging |
CN110688891B (zh) | 2015-08-15 | 2024-05-31 | 硕动力公司 | 采用3d批归一化的三维(3d)卷积 |
US9792531B2 (en) * | 2015-09-16 | 2017-10-17 | Siemens Healthcare Gmbh | Intelligent multi-scale medical image landmark detection |
US9569736B1 (en) * | 2015-09-16 | 2017-02-14 | Siemens Healthcare Gmbh | Intelligent medical image landmark detection |
US10192129B2 (en) * | 2015-11-18 | 2019-01-29 | Adobe Systems Incorporated | Utilizing interactive deep learning to select objects in digital visual media |
CN108603922A (zh) | 2015-11-29 | 2018-09-28 | 阿特瑞斯公司 | 自动心脏体积分割 |
JP7110098B2 (ja) | 2015-12-18 | 2022-08-01 | ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア | 頭部コンピュータ断層撮影における緊急性の特徴の解釈及び定量化 |
US10163028B2 (en) | 2016-01-25 | 2018-12-25 | Koninklijke Philips N.V. | Image data pre-processing |
DE102016204225B3 (de) * | 2016-03-15 | 2017-07-20 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Verfahren zur automatischen Erkennung von anatomischen Landmarken und Vorrichtung |
CN105825509A (zh) * | 2016-03-17 | 2016-08-03 | 电子科技大学 | 基于3d卷积神经网络的脑血管分割方法 |
US9886758B2 (en) | 2016-03-31 | 2018-02-06 | International Business Machines Corporation | Annotation of skin image using learned feature representation |
CN205665697U (zh) * | 2016-04-05 | 2016-10-26 | 陈进民 | 基于细胞神经网络或卷积神经网络的医学影像识别诊断系统 |
CN106127725B (zh) | 2016-05-16 | 2019-01-22 | 北京工业大学 | 一种基于多分辨率cnn的毫米波雷达云图分割方法 |
CN106096632A (zh) * | 2016-06-02 | 2016-11-09 | 哈尔滨工业大学 | 基于深度学习和mri图像的心室功能指标预测方法 |
CN106096616A (zh) | 2016-06-08 | 2016-11-09 | 四川大学华西医院 | 一种基于深度学习的磁共振影像特征提取及分类方法 |
US9589374B1 (en) | 2016-08-01 | 2017-03-07 | 12 Sigma Technologies | Computer-aided diagnosis system for medical images using deep convolutional neural networks |
US10582907B2 (en) | 2016-10-31 | 2020-03-10 | Siemens Healthcare Gmbh | Deep learning based bone removal in computed tomography angiography |
US10902598B2 (en) | 2017-01-27 | 2021-01-26 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
US10373313B2 (en) * | 2017-03-02 | 2019-08-06 | Siemens Healthcare Gmbh | Spatially consistent multi-scale anatomical landmark detection in incomplete 3D-CT data |
WO2018200840A1 (en) * | 2017-04-27 | 2018-11-01 | Retinopathy Answer Limited | System and method for automated funduscopic image analysis |
EP3629898A4 (en) | 2017-05-30 | 2021-01-20 | Arterys Inc. | AUTOMATED LESION DETECTION, SEGMENTATION AND LONGITUDINAL IDENTIFICATION |
CN107341265B (zh) | 2017-07-20 | 2020-08-14 | 东北大学 | 一种融合深度特征的乳腺图像检索系统与方法 |
WO2019103912A2 (en) | 2017-11-22 | 2019-05-31 | Arterys Inc. | Content based image retrieval for lesion analysis |
US10902591B2 (en) * | 2018-02-09 | 2021-01-26 | Case Western Reserve University | Predicting pathological complete response to neoadjuvant chemotherapy from baseline breast dynamic contrast enhanced magnetic resonance imaging (DCE-MRI) |
KR101952887B1 (ko) * | 2018-07-27 | 2019-06-11 | 김예현 | 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스 |
EP3608870A1 (en) * | 2018-08-10 | 2020-02-12 | Holo Surgical Inc. | Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure |
JP7125312B2 (ja) * | 2018-09-07 | 2022-08-24 | 富士フイルムヘルスケア株式会社 | 磁気共鳴撮像装置、画像処理装置、及び、画像処理方法 |
US10646156B1 (en) * | 2019-06-14 | 2020-05-12 | Cycle Clarity, LLC | Adaptive image processing in assisted reproductive imaging modalities |
-
2016
- 2016-11-29 CN CN201680080450.3A patent/CN108603922A/zh active Pending
- 2016-11-29 EP EP16869356.2A patent/EP3380859A4/en not_active Withdrawn
- 2016-11-29 JP JP2018527794A patent/JP6993334B2/ja active Active
- 2016-11-29 WO PCT/US2016/064028 patent/WO2017091833A1/en active Application Filing
- 2016-11-29 US US15/779,448 patent/US10871536B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090080745A1 (en) * | 2007-09-21 | 2009-03-26 | Yefeng Zheng | Method and system for measuring left ventricle volume |
JP2011523147A (ja) * | 2008-06-12 | 2011-08-04 | ルノディ,フランク セバスティアン | 画像処理、特に医療画像を処理するための方法及び装置 |
JP2011527055A (ja) * | 2008-07-03 | 2011-10-20 | エヌイーシー ラボラトリーズ アメリカ インク | 有糸分裂像検出装置および計数システム、および有糸分裂像を検出して計数する方法 |
US20110123253A1 (en) * | 2009-11-20 | 2011-05-26 | Boku-Undo Co., Ltd. | Illustrating tool |
JP2012512730A (ja) * | 2010-03-31 | 2012-06-07 | ザクリトエ、アクツィオネルノエ、オブシェストボ、“インパルス” | 医療用途のデジタルx線画像の対象領域における明るさレベルを計算する方法 |
US20130336553A1 (en) * | 2010-08-13 | 2013-12-19 | Smith & Nephew, Inc. | Detection of anatomical landmarks |
US20150238148A1 (en) * | 2013-10-17 | 2015-08-27 | Siemens Aktiengesellschaft | Method and system for anatomical object detection using marginal space deep neural networks |
US20150117760A1 (en) * | 2013-10-30 | 2015-04-30 | Nec Laboratories America, Inc. | Regionlets with Shift Invariant Neural Patterns for Object Detection |
JP2015131023A (ja) * | 2014-01-14 | 2015-07-23 | 株式会社東芝 | 磁気共鳴イメージング装置 |
JP2015154918A (ja) * | 2014-02-19 | 2015-08-27 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 病変検出装置及び方法 |
Non-Patent Citations (1)
Title |
---|
OLAF RONNEBERGER ET AL.: ""U-Net: Convolutional Networks for Biomedical Image Segmentation"", INTERNATIONAL CONFERENCE ON MEDICAL IMAGE COMPUTIONG AND COMPUTER-ASSISTED INTERVENTION MICCAI 2015, JPN6020036536, 18 November 2015 (2015-11-18), pages 234 - 241, XP047565084, ISSN: 0004476712, DOI: 10.1007/978-3-319-24574-4_28 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7471877B2 (ja) | 2019-03-22 | 2024-04-22 | キヤノンメディカルシステムズ株式会社 | 磁気共鳴イメージング装置、磁気共鳴イメージング方法及びプログラム |
JP2021520530A (ja) * | 2019-04-01 | 2021-08-19 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | 生体検出方法及び装置、電子機器ならびに記憶媒体 |
JP7165742B2 (ja) | 2019-04-01 | 2022-11-04 | ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド | 生体検出方法及び装置、電子機器ならびに記憶媒体 |
JP2022529557A (ja) * | 2019-04-22 | 2022-06-23 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | 医用画像分割方法、医用画像分割装置、電子機器及びコンピュータプログラム |
US11887311B2 (en) | 2019-04-22 | 2024-01-30 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for segmenting a medical image, and storage medium |
JP7180004B2 (ja) | 2019-04-22 | 2022-11-29 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | 医用画像分割方法、医用画像分割装置、電子機器及びコンピュータプログラム |
JP7075674B2 (ja) | 2019-06-17 | 2022-05-26 | 株式会社アクセル | 学習方法、コンピュータプログラム、分類器、生成器、及び処理システム |
JP2020205030A (ja) * | 2019-06-17 | 2020-12-24 | 株式会社アクセル | 学習方法、コンピュータプログラム、分類器、生成器、及び処理システム |
JP2022529493A (ja) * | 2019-07-29 | 2022-06-22 | シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド | 画像処理方法及び装置、電子機器並びに記憶媒体 |
JP7092312B2 (ja) | 2020-03-31 | 2022-06-28 | 東芝情報システム株式会社 | 平面データ処理装置、平面データ処理方法及び平面データ処理用プログラム |
JP7216264B2 (ja) | 2020-03-31 | 2023-02-01 | 東芝情報システム株式会社 | 平面データ処理装置、平面データ処理方法及び平面データ処理用プログラム |
JP2021163039A (ja) * | 2020-03-31 | 2021-10-11 | 東芝情報システム株式会社 | 平面データ処理装置、平面データ処理方法及び平面データ処理用プログラム |
JP2021163038A (ja) * | 2020-03-31 | 2021-10-11 | 東芝情報システム株式会社 | 平面データ処理装置、平面データ処理方法及び平面データ処理用プログラム |
WO2022255820A1 (ko) * | 2021-06-03 | 2022-12-08 | 연세대학교 산학협력단 | 심방벽 두께를 산출하는 장치 및 산출 방법 |
KR20230033125A (ko) * | 2021-08-27 | 2023-03-08 | 주식회사 팬토믹스 | 심실 구축률 측정을 통한 심부전 진단 방법 |
KR102607446B1 (ko) * | 2021-08-27 | 2023-11-30 | 주식회사 팬토믹스 | 심실 구축률 측정을 통한 심부전 진단 방법 |
WO2023075480A1 (ko) * | 2021-10-28 | 2023-05-04 | 주식회사 온택트헬스 | 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법, 장치, 레이블링을 위한 의료 영상을 선별하기 위한 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
US20180259608A1 (en) | 2018-09-13 |
US10871536B2 (en) | 2020-12-22 |
JP6993334B2 (ja) | 2022-01-13 |
EP3380859A1 (en) | 2018-10-03 |
CN108603922A (zh) | 2018-09-28 |
EP3380859A4 (en) | 2019-07-31 |
WO2017091833A1 (en) | 2017-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6993334B2 (ja) | 自動化された心臓ボリュームセグメンテーション | |
US20200193603A1 (en) | Automated segmentation utilizing fully convolutional networks | |
US9968257B1 (en) | Volumetric quantification of cardiovascular structures from medical imaging | |
US11010630B2 (en) | Systems and methods for detecting landmark pairs in images | |
JP4918048B2 (ja) | 画像処理装置及び方法 | |
Xia et al. | Super-resolution of cardiac MR cine imaging using conditional GANs and unsupervised transfer learning | |
Zheng et al. | Automatic aorta segmentation and valve landmark detection in C-arm CT: application to aortic valve implantation | |
EP3743883B1 (en) | Flow analysis in 4d mr image data | |
CN110648358B (zh) | 用于3d医学图像中的对象定位的形状参数的自适应非线性优化 | |
US20150317799A1 (en) | Medical image processing apparatus, method, and program | |
Kim et al. | Automatic segmentation of the left ventricle in echocardiographic images using convolutional neural networks | |
Cai et al. | A framework combining window width-level adjustment and Gaussian filter-based multi-resolution for automatic whole heart segmentation | |
Conti et al. | Left ventricular modelling: a quantitative functional assessment tool based on cardiac magnetic resonance imaging | |
EP2498222A2 (en) | Method and system for regression-based 4D mitral valve segmentation from 2D+T magnetic resonance imaging slices | |
Laumer et al. | Weakly supervised inference of personalized heart meshes based on echocardiography videos | |
Sander et al. | Reconstruction and completion of high-resolution 3D cardiac shapes using anisotropic CMRI segmentations and continuous implicit neural representations | |
Bersvendsen et al. | Semiautomated biventricular segmentation in three-dimensional echocardiography by coupled deformable surfaces | |
Liu et al. | Multislice left ventricular ejection fraction prediction from cardiac MRIs without segmentation using shared SptDenNet | |
Tuyisenge et al. | Estimation of myocardial strain and contraction phase from cine MRI using variational data assimilation | |
Beitone et al. | Multimodal quantification and validation of 3D regional myocardial function | |
Kothari | Medical Image Segmentation Using Advanced Machine Learning Algorithms (Learning Active Contour Models) | |
CN101278316A (zh) | 自动分割乳房mr序列中的脉管的系统和方法 | |
Kanakatte et al. | Cardiac Landmark Detection using Generative Adversarial Networks from Cardiac MR Images. | |
Metaxas et al. | Segmentation and blood flow simulations of patient-specific heart data | |
Lima et al. | for Improved Left Ventricle Segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191025 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191025 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200923 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210406 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6993334 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |