JP2022552278A - 装置の安全区域を決定するためのシステムおよび方法 - Google Patents
装置の安全区域を決定するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2022552278A JP2022552278A JP2022521279A JP2022521279A JP2022552278A JP 2022552278 A JP2022552278 A JP 2022552278A JP 2022521279 A JP2022521279 A JP 2022521279A JP 2022521279 A JP2022521279 A JP 2022521279A JP 2022552278 A JP2022552278 A JP 2022552278A
- Authority
- JP
- Japan
- Prior art keywords
- medical image
- region
- display
- semantic network
- placement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 210000003484 anatomy Anatomy 0.000 claims abstract description 10
- 238000005259 measurement Methods 0.000 claims description 4
- 210000003437 trachea Anatomy 0.000 description 12
- 210000000038 chest Anatomy 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003236 esophagogastric junction Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000003281 pleural cavity Anatomy 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 201000003144 pneumothorax Diseases 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
医療画像内の装置を安全に配置するための領域を決定するための方法は、医療画像を受信することと、少なくとも1つの深層畳み込みニューラルネットワークを使用して、医療画像内の少なくとも1つの解剖学的ランドマークを検出することと、意味ネットワークを使用して、検出された少なくとも1つの解剖学的領域に基づいて、装置を安全に配置するための領域を決定することと、ディスプレイを使用して、装置を安全に配置するための領域を医療画像上に表示することと、を含む。【選択図】図1
Description
本開示は、一般に、画像の処理および検出に関し、より具体的には、医療画像内の医療装置を安全に配置するための領域を決定するためのシステムおよび方法に関する。
医療画像(例えば、胸部X線像)に関する日常的で重要な放射線科医の解釈作業は、チューブおよびラインなどの埋め込まれた人工の埋め込み可能な装置の検出および配置の確認である。例えば、患者の生命維持チューブの配置を確認するために、胸部X線像が使用され得る。医療画像内の埋め込み可能な人工の装置の存在および位置は、放射線科医によって視覚的に評価することができる。加えて、医療画像内の医療装置の検出および分類を支援するために、コンピュータ支援の検出方法が開発されてきた。大量の事例および迅速な解釈に対する必要性を考慮すると、医療画像上の医療装置の配置を評価することは、放射線科医およびICU要員にとって困難で時間のかかる作業である。検出されずにいる装置(例えば、チューブまたはライン)の不正確な配置は、重篤な合併症が生じさせ得るか、さらには致死的にさせ得る。例えば、気管内(ET)チューブの不正確な配置としては、典型的には、チューブが食道内または首部の軟組織内に配置されてしまうことが挙げられる。別の例では、経鼻胃(NG)チューブの不正確な配置としては、チューブが肋膜空洞内に配置されてしまうことが挙げられる。肋膜空洞内のNGチューブの配置は、気胸症を生じさせることがあり得る。したがって、ICU内の患者を含む患者にとっては、装置(例えば、チューブまたはライン)が正しく配設されているかどうかを検出することが重要である。
医療画像を使用して、医療装置が正しく配設されているかどうかを判定するためのシステムおよび方法を提供することが望ましい。
一実施形態によれば、医療画像内の装置を安全に配置するための領域を決定するための方法は、医療画像を受信することと、少なくとも1つの深層畳み込みニューラルネットワークを使用して、医療画像内の少なくとも1つの解剖学的ランドマークを検出することと、意味ネットワークを使用して、検出された少なくとも1つの解剖学的領域に基づいて、装置を安全に配置するための領域を決定することと、ディスプレイを使用して、装置を安全に配置するための領域を医療画像上に表示することと、を含む。
別の実施形態によれば、医療画像内の装置を安全に配置するための領域を決定するためのシステムは、医療画像を受信するための入力と、入力に結合されて、医療画像を分析して医療画像内の少なくとも1つの解剖学的ランドマークを検出するように構成された少なくとも1つの深層畳み込みニューラルネットワークと、少なくとも1つの深層畳み込みニューラルネットワークに結合された意味ネットワークであって、検出された少なくとも1つの解剖学的領域に基づいて、装置を安全に配置するための領域を決定するように構成された、意味ネットワークと、少なくとも1つの深層畳み込みニューラルネットワークおよび意味ネットワークに結合されたディスプレイであって、装置を安全に配置するための領域を医療画像上に表示するように構成された、ディスプレイと、を含む。
本開示は、安全に装置を配置するための領域(または「安全区域」)を画定するためのオートメーション化されたシステムおよび方法を記載する。装置を安全に配置するための領域は、患者画像上のオーバレイとして表示され得る。本システムはまた、装置が安全区域外にある場合にアラートを生成するように構成され得る。安全区域は、ディープラーニングを含む機械学習を使用して、解剖学的ランドマークに基づいて決定される。本明細書で説明されるシステムおよび方法は、意味ネットワーク内に組み込まれた1つ以上のディープニューラルネットワークを利用する。すなわち、「意味的に組み込まれたニューラルネットワーク(semantically embedded neural network)(SENN)」アーキテクチャを使用する。各ニューラルネットワークは、一組の訓練画像などの多数の例から画像領域(例えば、解剖学的ランドマーク)をアウトライン化(セグメント化)するように訓練することができる。意味ネットワークは、事前知識に基づいて、物体の特性(サイズ、形状、および強度など)および物体間の空間的関係の明示的な説明(モデリング)を可能にする。したがって、意味ネットワークは、既に見つかった物体に基づいて、所与の物体(例えば、解剖学的ランドマーク)に関する画像内の見るべき場所にニューラルネットワークを案内すること(すなわち、ネットワークが適切に焦点を絞ることを補助すること)ができ、さらに、ニューラルネットワークに起因するセグメント化が、その物体の予測される特性に一致することを確実にすることもできる。これは、ニューラルネットワークの効率および信頼性を高める。意味ネットワークは、解剖学的ランドマークに対する画像領域として安全区域をモデル化して、安全区域を決定することを可能にする。
図1は、一実施形態による、医療画像内の装置を安全に配置するための領域(「安全区域」)を決定するための方法を示し、図2は、一実施形態による、医療画像内の装置を安全に配置するための領域を決定するためのシステム200の概略ブロック図である。図1および図2を参照すると、ブロック102で、システム200の意味的に組み込まれたニューラルネットワーク(SENN)204への入力202として、医療画像が提供される。医療画像は、例えば、他の既知の撮像モダリティを使用して生成されたX線像または画像であり得る。一実施形態では、医療画像は、システムに入力される前に予め前処理され得る。例えば、画像がリスケールされ得るか、または画像強度が正規化され得る。医療画像は、例えば病院ネットワークにおいて、関連付けるまたは記憶することができる。医療画像は、例えば画像保管通信システムから検索され得、また、例えばDICOM(医療におけるデジタル撮像および通信)画像であり得る。図2に示される実施形態では、SENN204は、深層畳み込みニューラルネットワーク(DCNN)206と、意味ネットワーク208と、を含む。医療画像は、DCNN206に入力され得る。一実施形態では、システムは、意味ネットワーク208に組み込まれる1つ以上のDCNN206を含む。各DCNNは、既知の方法を使用して、1つ以上の解剖学的ランドマークをセグメント化するように訓練され得る。一実施例では、DCNN206は、解剖学的ランドマークをセグメント化または検出するために、手動でセグメント化された解剖学的ランドマークを有する訓練画像のデータセットを使用して訓練され得る。
ブロック104で、DCNN206が、入力された医療画像を分析して、医療画像内の少なくとも1つの解剖学的ランドマークを検出する。DCNN206の出力は、例えば、解剖学的ランドマークを表すバイナリマスクであり得る。複数のDCNN206を伴う一実施形態では、各DCNNが異なる解剖学的ランドマークを検出(またはセグメント化)するように使用され得る。次いで、ブロック106で、意味ネットワーク208を使用して、解剖学的ランドマークに基づいて、装置を安全に配置するための領域(「安全区域」)を決定する。意味ネットワークは、解剖学的ランドマークに対する画像領域として安全区域をモデル化して、安全区域を決定することを可能にする。一実施形態では、意味ネットワーク208の出力210は、例えば、安全区域を表す一組の画素(画像領域)であり得る。ブロック108で、安全区域が、医療画像上に、例えばディスプレイ装置212上に表示される。安全区域は、例えば医療画像上のオーバレイとして示され得る。一実施形態では、装置が安全区域の中にあるのか外にあるのかを示すために、異なる色が使用され得る。例えば、装置(または装置の一部分)が安全区域の中にあることを示すために、緑色のオーバレイカラーが使用され得、また、装置(または装置の一部分)が安全区域の外にあり、したがって患者に危険をもたらすことを示すために、赤色のオーバレイカラーが使用され得る。
安全区域に加えて、埋め込まれた装置または埋め込まれた装置の一部分(例えば、装置の先端部)もまた、安全区域とともに医療画像上に示され得る。医療画像上の埋め込まれた装置を自動的に検出するための既知の方法が、装置を検出して医療画像上に表示するために使用され得る。一実施形態では、人工の埋め込まれた装置を自動的に検出するためのシステムおよび方法は、米国特許第9,471,973号に開示されているシステムおよび方法であり、参照によりその全体が本明細書に組み込まれる。一実施形態では、患者画像のディスプレイ上の異なる種類の検出されたチューブおよびラインを区別するために、カラーコードおよびテキストラベルが使用され得る。信頼性を高めるために、両方のシステムからの出力が組み合わせられ得る。例えば、2つのシステムが一致しない場合、その事例はさらに処理されず、再調査を必要とするものとしてフラグが立てられ得る。一実施形態では、装置の配置の正確性に関する独立した判断を行うために、解剖学的ランドマークに対する埋め込まれた装置の測定値がユーザによって使用され得る。
別の実施形態では、本明細書に開示されるシステムおよび方法はまた、ブロック110で、装置が安全区域の外にある場合にアラートを生成するように構成され得る。アラートは、システムによって医療アラートが検出されたときに、問題の緊急性の種類およびレベルを伝える言葉で表示されるテキストを伴うバナーとして提供され得る。例えば、装置(例えば、気管内(ET)チューブ)の先端部が安全区域の外にある場合、デフォルトのアラートは、ETチューブの先端部が「安全区域の外にある」ことを示し得る。他の実施形態ではまた、より精密なチェックも行われ、バナーで報告される緊急性のレベルが高められ得、例えば、装置(または装置の一部分)が安全区域の特定領域の外に、例えば、解剖学的ランドマークのうちの1つの外にある場合、アラートは、差し迫った非常事態があることを示し、特定の領域を識別し得る。システムはまた、例えば、医療画像がチューブ/ラインの配置を確認する旨の要求を示す場合、または最新の医療画像上にチューブ/ラインが見つかった場合、チューブ/ラインが予測される外部入力を受け入れるように構成され得、次いで、チューブ/ラインが見つからない場合、システムは、アラートを発することができる。同様に、システムは、装置(または装置の一部分)の位置が直前の医療画像から変化した場合にアラートを発し得る。
ここで、埋め込み可能な装置を安全に配置するための領域を決定するための開示されるシステムおよび方法を、非限定的な例に関して説明する。一実施形態では、開示されるシステムおよび方法は、胸部X線画像上の気管内(ET)チューブの配置と併せて使用され得る。医学文献に基づいて、ETチューブの先端部は、竜骨より約5~7cm上側(最小安全距離:2cm)に、または気管のほぼ中間セクションに配設されるべきである。したがって、気管および竜骨は、ETチューブの安全区域を決定する際の主要な解剖学的ランドマークである。上で論じたように、ランドマークは、1つ以上の訓練された深層畳み込みニューラルネットワーク(DCNN)を使用して自動的にセグメント化され得る。訓練されたDCNNは、解剖学的ランドマーク(気管および竜骨)に対する画像領域として安全区域をモデル化して、安全区域の決定を可能にする、意味ネットワーク内に組み込まれる。例えば、DCNNは、竜骨をセグメント化するために提供され得、気管をセグメント化するために異なるDCNNが使用され得る。
この実施例では、気管の自動的なセグメント化は、U-Net深層畳み込みニューラルネットワーク(DCNN)アーキテクチャを使用して行われ得る。ネットワークに入力される前に、胸部X線像は、以下の前処理を受ける。(1)512×512×1の画素にリスケールする。(2)画像強度を平均0および標準偏差1に正規化する。U-Netは、5つのエンコーダおよび5つのデコーダブロックで構成される。各エンコーダブロックは、入力を取り、2つの3×3の畳み込み層を適用し、続いて2×2の最大値プーリングを適用する。各デコーダブロックは、3×3の畳み込み層を適用し、続いて2×2のアップサンプリングを適用する。正規化線形ユニット(ReLu)は、最下層以外のすべてのエンコーダおよびデコーダブロックの活性化関数として使用され得る。最下層は、エンコーダとデコーダとの間を仲介する。加えて、最下層は、3×3の畳み込み層で、およびシグモイドを活性化関数として使用し得る。この実施例では、DCNNは、手動でセグメント化された気管を伴う胸部X線像のデータセットに関して訓練した。損失は、Dice係数に関して測定し、Adam最適化アルゴリズムは、0.00005の学習レートで使用した。DCNN出力は、気管(512×512×1)を表すバイナリマスクであり、次いで、元の入力画像寸法に空間的にリスケールした。
この実施例では、竜骨の位置特定またはセグメント化は、VGGNet深層畳み込みニューラルネットワーク(DCNN)アーキテクチャに基づいた回帰予測モデルを使用して行われ得る。ネットワークに配置される前に、胸部X線像は、以下の前処理を受け得る。(1)512×512×1の画素にリスケールする。(2)コントラスト制限適応ヒストグラム平坦化を使用して、コントラストを高めて、気管の顕著性を高める。(3)画像強度を平均0および標準偏差1に正規化する。DCNNは、合計で16の重み層を有する5つのブロックで構成される。最初の4つのブロックは、畳み込み層に続いて最大値プーリング層で構成され、5番目のブロックは、畳み込み層に続いて3つの全結合層で構成される。3×3の受容野サイズが、すべての畳み込み層で使用される。ドロップアウトは、0.5の小数部で、最初の4つのブロックの後に使用される。DCNNの出力は、元の入力画像寸法に空間的にリスケールされる竜骨の空間的位置(座標)を表す、2×1の点配列である。
この実施例では、意味ネットワークは、検出された解剖学的ランドマーク(すなわち、気管および竜骨)に対するETチューブの安全区域の空間的関係を画定するように構成され得る。意味ネットワークは、気管内の2つの領域を説明するように構成され得る。一方は、竜骨の上側の7cm、および他方は、竜骨の上側の2cmである。この実施例では、次いで、意味ネットワークが、これらの2つの領域の凸包、すなわち、2つの領域を囲む台形としてETチューブの安全区域をモデル化した。別の実施形態では、ET先端部から竜骨までの測定値を示すことができ、または測定目盛りマークが竜骨の上に表示される。図3および図4には、医療画像上の装置を検出するためのシステムと併せて、安全区域を決定するためのシステムによって出力された例示的な画像が示されている。図3および図4では、胸部X線像上のオーバレイは、チューブ先端部位置について自動的に検出されたETチューブ302,402および安全区域304,404を示す。上述のように、装置または装置の一部分(例えば、チューブ先端部)が安全区域304,404にあるかどうかを示すために、装置および安全区域に異なる色が使用され得る。
上で論じたように、開示されるシステムおよび方法は、装置が安全区域の外にある場合にアラートを生成するように構成することができる。一実施形態では、アラートは、システムによって医療アラートが検出されたときに、問題の緊急性の種類およびレベルを伝える言葉で表示されるテキストを伴うバナーであり得る。例えば、ETチューブの先端部が安全区域の外にある場合、デフォルトのアラートは、ETチューブの先端部が「安全区域の外にある」ことを示し得る。しかしながら、より精密なチェックも行われて、以下のようにバナーで報告される緊急性のレベルが高められ得る。(a)先端部が気管の外側にある場合、「差し迫った非常事態-ETチューブが気管の外にある」、(b)先端部が竜骨を越えている場合、「差し迫った非常事態-ETチューブが竜骨を越えている」。システムはまた、例えば、X線像がチューブ/ラインの配置を確認する旨の要求を示す場合、または最新のX線像上にチューブ/ラインが見つかった場合、チューブ/ラインが予測される外部入力を受け入れるように構成され得、次いで、チューブ/ラインが見つからない場合、システムは、アラートを発することができる。同様に、システムは、先端部の位置が直前の従来のX線像から変化した場合にアラートを発し得る。
別の実施形態では、開示されるシステムおよび方法は、胸部X線画像上の経鼻的胃(NG)チューブの配置と併せて使用され得る。この実施例では、NGチューブの安全区域は、理想的には、NGチューブ先端部がダイヤフラムの下側に、かつ腹部の左側で胃食道接合部を10cm以上越えて視認できるはずであるという知識に基づいて、同様のSENN手法を使用して識別され得る。したがって、胃食道接合部および左肋骨横隔膜角は、この安全区域を画定するために使用される解剖学的ランドマークである。これらの2つのランドマークは、その座標を自動的に決定するために竜骨について上で説明したものと同様に、DCNNを使用して画像の点として検出される。次いで、意味ネットワークが、NGチューブの安全区域をそれらのランドマークに対する領域として画定する。
図5は、一実施形態による、本明細書で説明される方法およびシステムを実装することができる例示的なコンピュータシステムのブロック図である。コンピュータシステム500は、一般に、入力502と、少なくとも1つのハードウェアプロセッサ504と、メモリ506と、出力508と、を含む。したがって、コンピュータシステム500は、一般に、ハードウェアプロセッサ504およびメモリ506によって実施される。いくつかの実施形態では、コンピュータシステム500は、ワークステーション、ノートブックコンピュータ、タブレット装置、モバイル装置、マルチメディア装置、ネットワークサーバ、メインフレーム、1つ以上のコントローラ、1つ以上のマイクロコントローラ、または任意の他の汎用もしくは特定用途向けコンピューティング装置であり得る。
コンピュータシステム500は、自律的または半自律的に動作し得るか、またはメモリ506またはコンピュータ可読媒体(例えば、ハードドライブ、CD-RIOM、フラッシュメモリ)から実行可能なソフトウェアから命令を読み取り得るか、またはユーザからの入力を介して、もしくは別のネットワーク化されたコンピュータまたはサーバなどのコンピュータまたは装置に論理的に接続された任意の他のソースを介して命令を受信し得る。したがって、いくつかの実施形態では、コンピュータシステム500はまた、コンピュータ可読記憶媒体を読み取るための任意の適切な装置を含むこともできる。一般に、コンピュータシステム500は、本開示で説明される方法およびアルゴリズムを実施するようにプログラムされ得るか、または別様に構成され得る。
入力502は、所望に応じて、作業を行うこと、データを処理すること、またはコンピュータシステム500を動作させることと一致するパラメータを選択する、入力する、または別様に指定するための能力を含む、コンピュータシステム500を動作させるための任意の適切な形状または形態を取り得る。いくつかの態様では、入力502は、医療画像などのデータを受信するように構成され得る。加えて、入力502はまた、上述の方法を実施するために有用であるとみなされる任意の他のデータまたは情報を受信するように構成され得る。コンピュータシステム500を動作させるための処理タスク間で、1つ以上のハードウェアプロセッサ504はまた、入力502を経由して受信したデータに対して任意の数の後処理ステップを実施するように構成され得る。
メモリ506は、ソフトウェア510、ならびに撮像データ、臨床データ、および分子データなどのデータ512を含み得、また、処理された情報、命令、および1つ以上のハードウェアプロセッサ504によって処理されるデータを記憶および検索するように構成され得る。いくつかの態様では、ソフトウェア510は、ハードウェアプロセッサ504およびメモリ506によって1つ以上の機械学習アルゴリズムを実施することを目的とする命令を含み得る。加えて、出力508は、所望に応じて、任意の形態を取り得、例えば、他の所望の情報に加えて、画像、画像上の装置または安全区域のオーバレイ、患者情報、およびレポートを表示するように構成されたディスプレイであり得る。コンピュータシステム500はまた、通信リンク516を使用してネットワーク514に結合され得る。通信リンク516は、コンピュータシステム500とネットワーク514との間で生じる通信を可能にすることができる無線接続、ケーブル接続、または任意の他の手段であり得る。
上で説明した方法に従って、医療画像内の装置を安全に配置するための領域(「安全区域」)を決定するためのコンピュータ実行可能命令は、コンピュータ可読媒体の形態で記憶され得る。コンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術で実装される、揮発性および不揮発性の取り外し可能および取り外し不可能な媒体を含む。コンピュータ可読媒体としては、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、電気的消去可能プログラマブルROM(EEPROM)、フラッシュメモリ、もしくは他のメモリ技術、コンパクトディスクROM(CD-ROM)、デジタル揮発性ディスク(DVD)、または他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、もしくは他の磁気記憶装置、または所望の命令を記憶するために使用することができ、インターネットまたは他のコンピュータネットワーク形態のアクセスを含む、システム(例えば、コンピュータ)によってアクセスされ得る任意の他の媒体が挙げられるが、これらに限定されない。
本発明は、1つ以上の好ましい実施形態に関して説明されており、明示的に述べられたものを除いて、多くの同等物、代替物、バリエーション、および修正が可能であり本発明の範囲内であることが理解されるべきである。
Claims (19)
- 医療画像内の装置を安全に配置するための領域を決定するための方法であって、
医療画像を受信することと、
少なくとも1つの深層畳み込みニューラルネットワークを使用して、前記医療画像内の少なくとも1つの解剖学的ランドマークを検出することと、
意味ネットワークを使用して、検出された前記少なくとも1つの解剖学的領域に基づいて、前記装置を安全に配置するための前記領域を決定することと、
ディスプレイを使用して、装置を安全に配置するための前記領域を前記医療画像上に表示することと、を含む、方法。 - 前記医療画像が、X線像である、請求項1に記載の方法。
- 前記少なくとも1つの深層畳み込みニューラルネットワークが、前記意味ネットワークに組み込まれている、請求項1に記載の方法。
- 前記少なくとも1つの深層畳み込みニューラルネットワークの出力が、前記少なくとも1つの解剖学的ランドマークのバイナリマスク表現である、請求項1に記載の方法。
- 前記意味ネットワークの出力が、前記装置を安全に配置するための前記領域を表す一組の画素である、請求項1に記載の方法。
- 前記意味ネットワークが、前記少なくとも1つの解剖学的領域に対する画像領域として、前記装置を安全に配置するための前記領域をモデル化するように構成されている、請求項1に記載の方法。
- 前記意味ネットワークが、検出された前記少なくとも1つの解剖学的領域に対する前記装置の空間的関係を画定するように構成されている、請求項6に記載の方法。
- 前記装置が前記装置を安全に配置するための前記領域内に位置付けられているかどうかに基づいて、アラートを生成することをさらに含む、請求項1に記載の方法。
- 前記アラートが、前記ディスプレイに表示される、請求項9に記載の方法。
- 前記医療画像上の前記装置の位置を検出することと、
前記医療画像上の前記装置の表現を前記ディスプレイに表示することと、をさらに含む、請求項1に記載の方法。 - 医療画像内の装置を安全に配置するための領域を決定するためのシステムであって、前記システムが、
医療画像を受信するための入力と、
前記入力に結合されて、前記医療画像を分析して前記医療画像内の少なくとも1つの解剖学的ランドマークを検出するように構成された少なくとも1つの深層畳み込みニューラルネットワークと、
少なくとも1つの深層畳み込みニューラルネットワークに結合された意味ネットワークであって、検出された前記少なくとも1つの解剖学的領域に基づいて、前記装置を安全に配置するための前記領域を決定するように構成された、意味ネットワークと、
前記少なくとも1つの深層畳み込みニューラルネットワークおよび前記意味ネットワークに結合され、かつ装置を安全に配置するための前記領域を前記医療画像上に表示するように構成された、ディスプレイと、を備える、システム。 - 前記ディスプレイが、前記医療画像の関連する測定値を表示するようにさらに構成される、請求項11に記載のシステム。
- 前記医療画像が、X線像である、請求項11に記載のシステム。
- 前記少なくとも1つの深層畳み込みニューラルネットワークが、前記意味ネットワークに組み込まれている、請求項11に記載のシステム。
- 前記少なくとも1つの深層畳み込みニューラルネットワークの出力が、前記少なくとも1つの解剖学的ランドマークのバイナリマスク表現である、請求項11に記載のシステム。
- 前記意味ネットワークの出力が、前記装置を安全に配置するための前記領域を表す一組の画素である、請求項11に記載のシステム。
- 前記意味ネットワークが、前記少なくとも1つの解剖学的領域に対する画像領域として、前記装置を安全に配置するための前記領域をモデル化するように構成されている、請求項11に記載のシステム。
- 前記意味ネットワークが、検出された前記少なくとも1つの解剖学的領域に対する前記装置の空間的関係を画定するように構成されている、請求項17に記載のシステム。
- 前記ディスプレイが、前記装置が前記装置を安全に配置するための前記領域内に位置付けられているかどうかに基づいて、アラートを生成するようにさらに構成されている、請求項11に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962914266P | 2019-10-11 | 2019-10-11 | |
US62/914,266 | 2019-10-11 | ||
PCT/US2020/055271 WO2021072384A1 (en) | 2019-10-11 | 2020-10-12 | System and method for determining a device safe zone |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022552278A true JP2022552278A (ja) | 2022-12-15 |
Family
ID=75437558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022521279A Pending JP2022552278A (ja) | 2019-10-11 | 2020-10-12 | 装置の安全区域を決定するためのシステムおよび方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240078781A1 (ja) |
EP (1) | EP4042326A4 (ja) |
JP (1) | JP2022552278A (ja) |
WO (1) | WO2021072384A1 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10390886B2 (en) * | 2015-10-26 | 2019-08-27 | Siemens Healthcare Gmbh | Image-based pedicle screw positioning |
CA3016604A1 (en) * | 2016-03-12 | 2017-09-21 | Philipp K. Lang | Devices and methods for surgery |
US10182871B2 (en) * | 2016-05-22 | 2019-01-22 | JointPoint, Inc. | Systems and methods for intra-operative image acquisition and calibration |
KR20190028422A (ko) * | 2016-07-08 | 2019-03-18 | 아벤트, 인크. | 해부학적 대상들의 자동 검출, 국부화, 및 의미론적 세그먼트화를 위한 시스템 및 방법 |
EP3474189A1 (en) * | 2017-10-18 | 2019-04-24 | Aptiv Technologies Limited | A device and a method for assigning labels of a plurality of predetermined classes to pixels of an image |
-
2020
- 2020-10-12 JP JP2022521279A patent/JP2022552278A/ja active Pending
- 2020-10-12 US US17/767,503 patent/US20240078781A1/en active Pending
- 2020-10-12 WO PCT/US2020/055271 patent/WO2021072384A1/en active Application Filing
- 2020-10-12 EP EP20875367.3A patent/EP4042326A4/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2021072384A1 (en) | 2021-04-15 |
EP4042326A1 (en) | 2022-08-17 |
EP4042326A4 (en) | 2023-12-20 |
US20240078781A1 (en) | 2024-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10811135B2 (en) | Systems and methods to determine disease progression from artificial intelligence detection output | |
ES2967682T3 (es) | Diagnóstico asistido por ordenador mediante redes neuronales profundas | |
US10607114B2 (en) | Trained generative network for lung segmentation in medical imaging | |
US20180247154A1 (en) | Image classification apparatus, method, and program | |
CN106796621B (zh) | 图像报告注释识别 | |
US10628659B2 (en) | Intelligent tumor tracking system | |
CN111210401A (zh) | 根据医学图像的主动脉自动检测和量化 | |
US20220180516A1 (en) | Identifying boundaries of lesions within image data | |
US11854195B2 (en) | Systems and methods for automated analysis of medical images | |
US9471973B2 (en) | Methods and apparatus for computer-aided radiological detection and imaging | |
US11282601B2 (en) | Automatic bounding region annotation for localization of abnormalities | |
US11189375B1 (en) | Methods and systems for a medical image annotation tool | |
CN116848588A (zh) | 医学图像中的健康状况特征的自动标注 | |
EP4002275A1 (en) | System and method for visualizing placement of a medical tube or line | |
CN112074912A (zh) | 使用介入x射线图像和深度学习的交互式冠状动脉标记 | |
US11705239B2 (en) | Method and apparatus for generating image reports | |
US9983848B2 (en) | Context-sensitive identification of regions of interest in a medical image | |
JP2022552278A (ja) | 装置の安全区域を決定するためのシステムおよび方法 | |
US20220005190A1 (en) | Method and system for generating a medical image with localized artifacts using machine learning | |
WO2023274599A1 (en) | Methods and systems for automated follow-up reading of medical image data | |
CN116171476A (zh) | 医学图像中的界标检测 | |
EP4187491A1 (en) | System and method for visualizing placement of a medical tube or line | |
US20240164845A1 (en) | Artificial Intelligence System and Method for Defining and Visualizing Placement of a Catheter in a Patient Coordinate System Together with an Assessment of Typical Complications | |
US12014814B2 (en) | Methods and systems for tuning a static model | |
Declerck et al. | Context-sensitive identification of regions of interest in a medical image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230929 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240402 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240625 |