JP2022537481A - 臓器の塊を嚢胞として分類するためのコンピュータを利用する方法 - Google Patents
臓器の塊を嚢胞として分類するためのコンピュータを利用する方法 Download PDFInfo
- Publication number
- JP2022537481A JP2022537481A JP2021564098A JP2021564098A JP2022537481A JP 2022537481 A JP2022537481 A JP 2022537481A JP 2021564098 A JP2021564098 A JP 2021564098A JP 2021564098 A JP2021564098 A JP 2021564098A JP 2022537481 A JP2022537481 A JP 2022537481A
- Authority
- JP
- Japan
- Prior art keywords
- region
- algorithm
- serous
- cyst
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000031513 cyst Diseases 0.000 title claims abstract description 65
- 210000000056 organ Anatomy 0.000 title claims abstract description 6
- 238000000034 method Methods 0.000 title claims description 30
- 206010011732 Cyst Diseases 0.000 claims abstract description 51
- 239000007787 solid Substances 0.000 claims abstract description 27
- 210000002966 serum Anatomy 0.000 claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 35
- 238000002604 ultrasonography Methods 0.000 claims description 35
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 239000012530 fluid Substances 0.000 claims description 12
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 2
- 238000007620 mathematical function Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims 2
- 230000002093 peripheral effect Effects 0.000 claims 1
- 208000025661 ovarian cyst Diseases 0.000 abstract description 8
- 238000012545 processing Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000000946 synaptic effect Effects 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000005755 formation reaction Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000036210 malignancy Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000002445 nipple Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000001672 ovary Anatomy 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012285 ultrasound imaging Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000026292 Cystic Kidney disease Diseases 0.000 description 1
- 206010061535 Ovarian neoplasm Diseases 0.000 description 1
- 208000000407 Pancreatic Cyst Diseases 0.000 description 1
- 206010038423 Renal cyst Diseases 0.000 description 1
- 238000005054 agglomeration Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 210000004911 serous fluid Anatomy 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Physiology (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Vascular Medicine (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
- Combined Means For Separation Of Solids (AREA)
- Image Analysis (AREA)
Abstract
本発明は、嚢胞等の臓器の塊を特性評価して、嚢胞の血清及び固体の存在を示すクラスと、嚢胞の1つ以上の漿液腔または固体腔の存在を示すサブクラスとを提供するコンピュータを利用する方法に関する。本発明では、卵巣嚢胞の診断の有利な適用が発見されている。【選択図】図7A、7B、7C
Description
本発明は、嚢胞の超音波画像を処理し、診断のサポートを提供するためのコンピュータを利用する方法の分野に関する。
具体的には、本発明は、人体の臓器に存在する塊を特性評価及び分類するためのコンピュータを利用する方法に関する。
診断の準備をサポートするためにデータを提供するための超音波画像診断法が知られている。
卵巣腫瘍等の有害な無症状の病状、ひいては、通常、効果的な治療及び低侵襲治療をするのに診断が手遅れになる病状を早期に検出するために、データを自動的に処理する必要がある。
本発明は、少なくとも部分的に、嚢胞等の臓器の解剖学的塊を特性評価及び発見して、嚢胞の血清の存在を示すクラスと、嚢胞の1つ以上の漿液腔の存在を示すサブクラスとを提供するコンピュータを利用する方法によって上記に記述した欠点を解決し、本方法は、
(a)少なくとも、解剖学的塊を含む検査済の解剖学的エンティティの超音波画像を取得するステップと、
(b)嚢胞としての特性評価及び/またはクラスを生成するための画像を処理するニューラルネットワークに基づいて第1のアルゴリズムを使用するステップと、
(c)コンピュータグラフィックスの第2のアルゴリズムを使用するステップであって、
a.少なくとも、画像のエコー輝度の数学関数に適用される異なる2つの閾値に基づいて、画像の内部領域、具体的には、解剖学的塊の流体領域(例えば、低エコー輝度)または境界領域(例えば、高エコー輝度)を識別すること、
ii.内側領域の少なくとも1つの形態学的定量パラメータと、近接状態が領域間で検証されるとき、少なくとも流体内部領域と境界内部領域との関連性を生成する凝集モデルとに基づいて、内側領域を漿液または固体として分類することであって、
具体的には、漿液分類を参照して、内部領域の形状因子ならびに/または領域の境界の粗度ならびに/または重心位置(例えば、質量中心)、及び境界領域が内部流体エリアのサイズと同様のサイズの半軸を有する集合体を識別し、固体分類を参照して、例えば、凝集モデルは、流体エリアと、著しく異なる寸法の各々の軸を有する輪郭との関連性を提供し、境界領域と流体領域との間の中間エリアが固体であることが推測される、分類することと、
iii.漿液腔等の漿液領域の数及び/または固体領域の数をカウントすることと、を行うための第2のアルゴリズムを使用するステップと、
(d)第1のアルゴリズム及び第2のアルゴリズムの出力の組み合わせに基づいて、クラス及びサブクラスを含む分類を提供するステップと、を含む。
(a)少なくとも、解剖学的塊を含む検査済の解剖学的エンティティの超音波画像を取得するステップと、
(b)嚢胞としての特性評価及び/またはクラスを生成するための画像を処理するニューラルネットワークに基づいて第1のアルゴリズムを使用するステップと、
(c)コンピュータグラフィックスの第2のアルゴリズムを使用するステップであって、
a.少なくとも、画像のエコー輝度の数学関数に適用される異なる2つの閾値に基づいて、画像の内部領域、具体的には、解剖学的塊の流体領域(例えば、低エコー輝度)または境界領域(例えば、高エコー輝度)を識別すること、
ii.内側領域の少なくとも1つの形態学的定量パラメータと、近接状態が領域間で検証されるとき、少なくとも流体内部領域と境界内部領域との関連性を生成する凝集モデルとに基づいて、内側領域を漿液または固体として分類することであって、
具体的には、漿液分類を参照して、内部領域の形状因子ならびに/または領域の境界の粗度ならびに/または重心位置(例えば、質量中心)、及び境界領域が内部流体エリアのサイズと同様のサイズの半軸を有する集合体を識別し、固体分類を参照して、例えば、凝集モデルは、流体エリアと、著しく異なる寸法の各々の軸を有する輪郭との関連性を提供し、境界領域と流体領域との間の中間エリアが固体であることが推測される、分類することと、
iii.漿液腔等の漿液領域の数及び/または固体領域の数をカウントすることと、を行うための第2のアルゴリズムを使用するステップと、
(d)第1のアルゴリズム及び第2のアルゴリズムの出力の組み合わせに基づいて、クラス及びサブクラスを含む分類を提供するステップと、を含む。
本発明に従った超音波画像処理の主要ステップは、嚢胞が画像に存在するまたは存在しないかどうかを認識することと、嚢胞の形態学的特徴または幾何学的特徴を識別することとを行う。例えば、超音波画像が、例えば、正常卵巣または正常な形成及び非病理的形成の超音波画像を示すため、嚢胞は存在し得ない。
発明者は、ニューラルネットワークが完全に健康な構造に関して及び機能的形成ならびに病理学的形成の場合の両方を理解できる様々な種類及び形態にかかわらず、ニューラルネットワークが嚢胞を認識することに特に有効であることを見つけ出している。例えば、特定の非限定実施形態に従って、ニューラルネットワークは、嚢胞が存在するかどうかと、嚢胞が漿液または固体であるかどうかの両方を識別し、画像処理アルゴリズムによって、1つ以上の房の数は識別される。実際に、超音波画像の幾何学的パラメータの処理は、コンピュータグラフィックスの既知のアルゴリズムによって、具体的には、漿液エリアの輪郭の境界に基づいて、より詳細なパラメータを提供することを容易に可能にする。これらのツールのいずれかの順番の組み合わせは、医者がいずれかのさらなる綿密な検査を評価するまたは普通の状態を診断するのに有用な分類及び下位分類を提供する。
さらに、本方法は、また、流体領域(例えば、血清、血液等)または固体境界領域、漿液領域の重心、短軸、及び長軸等の幾何学的特徴のコンピュータグラフィックスアルゴリズムによって識別を行い、漿液領域または境界領域の拡張(すなわち、画素数)、重心位置、画像参照システムに対する拡張ならびに傾き、及び超音波画像の粗度等のエッジ領域の凹凸指数等の定量パラメータの後続の計算を行い、続いて、データをニューラルネットワークによる認識処理の結果に関連付け、定量的データを、嚢胞の実際の存在またはそうでなければ画像が嚢胞を含まない指標に関連付けることを可能にすることによって適用可能になる。
また、特に畳み込みニューラルネットワークの使用に関して、ただし房の数と、コンピュータグラフィックスアルゴリズムによって取得されたデータと一緒に生じる関連の冗長データとの定量化を行わないで、分類及び下位分類の両方を生成することが可能であり、すなわち、嚢胞の全エリアに対する漿液エリアの割合に基づく固体または漿液及び単房性または多房性は、コンピュータグラフィックスアルゴリズムによって取得されたデータと比較される。好ましくは、ニューラルネットワークによる処理の結果及びコンピュータグラフィックスアルゴリズムの結果に一致するとき、分類及び下位分類は本発明の方法の結果として提示される。
好ましい実施形態に従って、取得するステップは、解剖学的塊を含む検査された解剖学的エンティティの超音波画像のマルチフレームクリップを取得するステップを含み、クリップの全クラスまたはサブクラスを提供するステップであって、クリップの第1のフレームの第1のサブクラス及び第2のフレームの第2のサブクラスが異なるとき、多房性が単房性よりも優先され及び/または固体が漿液よりも優先される、提供するステップを含む。
本発明の方法は、個々のフレームに適用でき、続いて、クリップの解剖学的塊の全分類を提供する必要がある。フレームが2つの房を示し、さらなるフレームが単一房を示す、または一方のフレームで漿液分類及び別のフレームで固体分類を提供する可能性があるため、本方法が異なる分類によるフレームの存在下にある解剖学的塊の単一の分類を提供するように、有病率基準を提供する必要がある。
さらに利点がある特徴は、非限定例によって純粋に提供される好ましいが非排他的な実施形態の以下の説明からより明らかになる。
本発明は、添付図を参照して、非限定例として与えられるいくつかの好ましい実施形態によって下記に説明される。これらの図面は本発明の異なる態様及び例を示し、異なる図の適切な構造、構成要素、材料、及び/または同様の要素は同様の参照符号によって示される。
本発明では様々な修正及び代替の構造が可能であるが、いくつかの好ましい実施形態は図面に示され、下記に詳細に説明される。
図1を参照すると、卵巣嚢胞を分類し、診断において医者をサポートするために使用されるIOTA分類から手掛かりを見つける非限定的分類に関する画像が示される。本方法は、また、腎臓嚢胞及び膵臓嚢胞の認識及び分類に利用可能であることに留意されたい。
さらに詳細に、分類の非限定例に従って、単房性腫瘤は様々な性質の液体で満たされた単一の領域を有し、その液体の性質から、エコー源性(すなわち、材料によって反射されるエコーの強度)を判定する。非エコー源性腫瘤は完全に黒として現れる。低エコー腫瘤は、腫瘤自体の内部で軟質であり、わずかに拡散したグレーがある。等エコー腫瘤は、グレースケールで、腫瘤の外部にある組織と同等の中身を示す。代わりに、高エコー腫瘤は超音波で特に明るい塊になる。
液体が血清である場合、エコー輝度のレベルは低くなる、または示されない(図1に示される単房性腫瘤の下の領域を参照)。嚢胞で血液の流出または粘液性腫瘤の存在がある場合、これは、低エコーになる、または高くても等エコーになる(図1の多房性腫瘤を参照)。代わりに、嚢胞の内側の固体塊の存在により、等エコーまたは高エコーの外観が生じる。血清流出及び血液流出は重要なリスクのレベルに関連付けられないが、固体塊の存在は、これが直接的な示唆でない場合でも、潜在的な悪性腫瘍の主な兆候の1つである。
代わりに、固体塊について、嚢胞の壁から突出する塊を意味し、塊の増大により嚢胞空間を満たす傾向がある。この高さが3mmよりも大きい場合、いわゆる「乳頭」である。図1では、単房性固体塊は、不規則構造をとる嚢胞性境界全体を沿って分散するいくつかの乳頭を有する。
多房性嚢胞は上記に説明した全ての特徴を有し得る。しかし、嚢胞空間は1つではないが、多室の隔膜によって分割される。したがって、隔膜は、嚢胞の中身を通って発達する組織の一部であり、嚢胞を複数の空間に分割する。
複数の隔膜の交点または隔膜と嚢胞壁との交点は、固体塊の発達について優先的に着目する場所であり、適切に監視する必要がある。
代わりに、固体成分が塊自体よりも80%大きい嚢胞空間を占有しているとき、塊は固体として定義される。コンピュータグラフィックスアルゴリズムが画像のバイナリセグメントを嚢胞にどのように関連付けできるかの例は、嚢胞の全エリアを定義し、漿液の割合を計算することについて、下記に説明される。さらに、また、ニューラルネットワークの適切なトレーニングによって、ニューラルネットワークが固体または漿液の単房性嚢胞に関連する画像を分類することが可能になり得る。基本的に、塊に関連付けられるリスクのレベルは、この分類により単房性血清塊の1%未満のレベルから、固体魂の高レベルのリスク(したがって、確実に上皮性悪性腫瘍である可能性があるリスク)まで増加する。
最終的に、上記に説明したクラスのいずれかに関連付けできないクリップのフレームに関して、例えば、「バックグラウンド(優先順位が低い)」と呼ばれる「異種」クラスに関連付けられるのが好ましい。したがって、これは、完全に「グレー」であり、他の臓器の組織に関する超音波を含むだけではなく、また、例えば、腸係蹄、血管等の嚢胞形状及びエコー輝度を想起するエリアまたは嚢胞塊と隣接組織との間の移行エリアを含み、ひいては、嚢胞画像の品質がアルゴリズムの正確なトレーニングを可能にするほど十分に高くなく、さらにそれに影響を及ぼすリスクが生じるであろう領域も含み得る。これに関連して、図1に示されるバックグラウンド画像はクラスを表すものとして選ばれたものである。
2次元超音波画像は、超音波検査を行うオペレータによって選択されるか、特殊な超音波機能によって保存されるか、または保存された超音波クリップのフレームによって保存されるかどうかに関わらず、最初に、本発明に従った方法の良好な動作を可能にするように処理される。具体的には、画像は関心領域(ROI-例えば、ヒトの介入がなく、事前に設定したサイズ及び位置のフレームに基づくテンプレート照合またはトリミングによって自動的に識別される領域)の周りが切り取られ、グローバル閾値によってセグメント化される。これらの両方のステップは、各々、不要な部分(具体的には、画像に透かしとしてインプリントされたメタデータ)を画像から除去することと、下記にさらに詳述するコンピュータグラフィックスアルゴリズムの適用を容易にすることとを可能にする。
さらに、画像は、スペックルノイズ(すなわち、スペックル除去)を減らすように処理される。
スペックル除去は、音波干渉の現象に関連がある輝度の変化により、画像の際立った特徴を含むまたはマージすることを防止することが必要である。選ばれたフィルタリングはメジアンフィルタリングである。他の代替手段として、限定ではないが、異方性拡散またはウェーブレットノイズ除去等のアルゴリズムがある。
図2の第1の例に示されるように、エッジ検出の後続の段階は、関連の幾何学的特徴(嚢胞エリア、嚢胞の輪郭)を導出するために、画像の関心領域内の輪郭を抽出する目的がある。
概して、超音波画像の異なる領域が、異なるレベルのエントロピー、すなわち均一エリア(例えば、漿液性嚢胞の中身等)に対応する低エントロピー、一般的に境界に対応する急激な変化に対応する高エントロピーによって特徴付けられることが想定される。これらのアルゴリズムは以下にさらに詳細に説明される。
房及び乳頭等の卵巣の主要な腫瘍特徴の自動分類は、フィードフォワードニューラルネットワークによって本発明に従って実行される。フィードフォワードネットワークは、一連の層で構造化された非巡回グラフである。このアーキテクチャは、ネットワークが分類子の役割を果たすことを特に適切にする。
分類に関する問題について、オブジェクトのセット(例えば、いくつかの嚢胞の超音波画像等)を所与とすると、ネットワークは、オブジェクトのそれぞれを各々のクラスにセットすることを可能にする必要があり、例えば、所与の超音波画像の嚢胞が単房性嚢胞のクラスまたは多房性嚢胞のクラスに属するかを判定することを可能にする必要がある。
この課題を達成するために、ネットワークは、層に従って分類されるオブジェクトの抽象的及び複雑な表現を生成することが増え、別のクラスではなく所与のクラスの要素を作る特徴を強調する(図4)。
しかしながら、ニューラルネットワークと他の種類の分類子を区別する特有の特徴は、ニューラルネットワークが、これらの特徴が先験的に指定される必要がなく、一連の例によってこれらの特徴を抽象的にすることが可能になる。
このステップ中、いわゆる「トレーニング」中、ネットワークは、例ごとに、その特徴が別のクラスではなく特定のクラスに属する確率を割り当てる。分類が成功している場合、最高確率に関連付けられるクラスは、オブジェクトが属する実際のクラスと一致する。
しかしながら、この条件は、場合により、学習ステップの最後にだけ達成され、学習ステップ中に、ネットワークのシナプス結合は、不正確に分類された例の数に関する情報を含む費用関数を最小にするように修正される。特定の場合の嚢胞分類では、機械学習で最も使用されるもの1つは、費用関数、すなわち、交差エントロピー関数として選ばれたものである。
式中、Mは例の数を示し、pは、例μがクラスcに属する有効な確率を示し、qは、例μがクラスcに属する確率を示す。ただし、これらは、そのシナプス結合Wの現在の構成ネットワークに基づいて割り当てられる。
費用関数は、最適化アルゴリズム(例えば、勾配降下法(GD)及びその確率変数等)によって最適化される。これらのアルゴリズムは指示または学習ルールを提供し、学習ルールによって、ネットワーク接続は、ネットワーク接続が例の全セットを正しく分類することを可能にするように修正する必要がある。具体的には、GD及びその確率変数について、シナプス結合は勾配方向に従って更新される。
式中、ηは更新ステップを判定するものであり、したがって、学習率と呼ばれる。具体的には、アダムとして既知の確率変数の最適化アルゴリズムとしての使用がテストされ、学習率は、トレーニング全体にわたって一定のままではなく、シナプス結合ごとに同じではなく、勾配の第1の運動量及び第2の運動量に基づいて変化する。
ネットワークの性能を改善するために、概して、ドロップアウト等の例のトレーニングのオーバーフィッティングを防止できる機能がある。
また、畳み込みフィードフォワードネットワークを使用することも可能である。プロジェクトの初期段階では、単純タイプのフィードフォワードネットワーク(すなわち、多層パーセプトロン)を正常に実装することが決定された。好ましいが限定されない場合(超音波走査が漿液性嚢胞を含むとして分類された場合)、はっきりと分かる結果により、漿液性嚢胞を探し、いくつかの幾何学的特徴を自動的に抽出することが可能である。具体的には、位置確認及び幾何学的特性評価の2つのステップは、コンピュータグラフィックス技術によって取り組むのが好ましい。
代替として、位置確認は、ニューラルネットワークによって(具体的には、畳み込みニューラルネットワークによって)行うことができる。好ましくは、位置確認を参照して、漿液性嚢胞の位置を特定するために、いくつかの複雑性は以下の説明を含み、それらの複雑性を考慮する必要がある。
-多房性嚢胞:通常、嚢胞がいくつかの房を示し、2つ以上の漿液エリアの潜在的な存在を考慮するべきである。
-血清及びムチン:血清は粘液の存在下においても識別される必要がある。
-漿液性嚢胞を表さない視覚的に同様の超音波エリア。一般的な暗い部分と、嚢胞の血清を実際に表す暗い部分とを区別することが必要である。
-多房性嚢胞:通常、嚢胞がいくつかの房を示し、2つ以上の漿液エリアの潜在的な存在を考慮するべきである。
-血清及びムチン:血清は粘液の存在下においても識別される必要がある。
-漿液性嚢胞を表さない視覚的に同様の超音波エリア。一般的な暗い部分と、嚢胞の血清を実際に表す暗い部分とを区別することが必要である。
これらの全ての要素を考慮するために、内側から及び外側から嚢胞を近似するアプローチが適用される(図5)。すなわち、そのアプローチは漿液成分(内部成分)及び境界組織を認識する目的がある。これは、漿液成分だけでは全体的に病状を示さない場合があり、概して、境界組織は、嚢胞の状態を評価するために重要な要素を表すために有用である。
前処理ステップ100では、実際の超音波画像でラスタライズされたメタデータ等(例えば、患者レジストリ、エコースケール(mm))の超音波の不要な部分をなくすために、超音波トリミングは行われる。次に、画像のエントロピーは、グレーレベルが均質であるエリアをより明らかにするために、エントロピーフィルタによって計算される(図6)。示されるように、これは、実際に視覚的に均質であるとき、漿液エリア及び周囲組織をより見えるようにする。
代替として、フィルタをヘシアン行列に適用することが可能である。
続いて、エントロピー画像のトリミングは特定の閾値によって2値化され、次に、3つの異なる区画を抽出するためにセグメント化される(110)。これらのうちの2つ(図7A、図7B)は、異なるが両方とも低い各々の閾値で漿液ゾーンの近似画像を表し、高コントラスト及び低エントロピーのエリアが識別され、代わりに、残りの境界組織(図7C)は高閾値が適用され、すなわち、高エントロピーのエリアが識別される。漿液ゾーン(ひいては、嚢胞の内部のゾーン)の2つの近似値は、わずかに異なる視覚特徴を有し、結果を検証するために有用である。具体的には、2つの内部区画は、2値化のために採用される各々の閾値が類似するが等しくない値を有する点で異なる。
具体的には、内側から2つの区画を取得すると、画像(図8A)の連結された暗い成分(すなわち、漿液エリアを表す閉エリア)の重心を計算し、その値が低閾値の他の区画の連結成分内に含まれることを確認する。この状態及び他の状態が発生しているとき、例えば、既定の閾値及び調整可能な閾値を上回る連結成分エリア、例えば、エコーグラフ画像の境界から、既定の制限距離及び調整可能な制限距離の範囲を越える遠位の連結成分、及び楕円に近似された連結成分の長軸と短軸との関係に基づいて既定の形状因子及び調整可能な形状因子が発生しているとき、成分は、漿液ゾーンを実際に表すように連結されたと見なされる(図8B)。
また、識別されたエリアの外周の粗度が比較的高い値(例えば、調整可能な閾値を超える値)であると見なされるとき、乳頭の存在に関連付けられる。粗度及び関連量(局所的なピーク、局所的な谷、基準線、ピーク及び谷等)は、それらが体の表面に発生するときと同様に、好ましくは、2値画像の連結エリアの外周において計算できることを理解されたい。
このように、要望どおり、漿液ゾーンの数を探すことが可能であり、漿液ゾーンの最大数は特定の修正可能パラメータによって定義される。その結果、本発明の方法は、多房性嚢胞を識別し、その個々の房を探すことが可能である。
外部セグメント化130は、すなわち、嚢胞の輪郭を識別するセグメント化は、ステップ120で実際に識別及び選択された漿液エリアと比較する必要がある。
好ましくは、十分に血清に近い輪郭だけが選択される。境界組織と漿液エリアとの間の距離を計算するために、漿液ゾーン(図8B)の重心と個々のセグメント境界(図9A)の重心との間のユークリッド距離を考慮する。この距離が所定の閾値及び調整可能な閾値未満である場合、検査された境界はそのゾーンに関連付けられ、ひいては、選択される(図9B)。初期設定閾値は固定または変更できる。すなわち、漿液ゾーンのサイズ(例えば、半軸の一方または両方のサイズ)に応じて表すことができる。このように、各フレームはその境界に関連付けられる。
いったん漿液エリア及び関連境界の両方が抽出されると、この情報は単一画像にマージされる(140)。これは、関心エリアの視覚識別を容易にし、超音波走査をより容易に読み取ることを可能にする。
超音波画像の読み取りをさらに容易にするために、本発明の方法は、嚢胞のいくつかの幾何学的特性を計算するステップを含む。
具体的には、全ての測定値を計算することについて、それらの測定値自体が既知の方法で計算されるため、さらに説明しない。分かり易くするために、最も有用な及び有意なものとして、以下のものが挙げられる。
-識別されたエリアとほとんどの同様の楕円の短軸及び長軸:それらの軸は、嚢胞の幅及び高さの測定値(画素単位)の良好な推定を表す。
-配向:すなわち、画像の基準水平軸と、長軸との間の角度、
-重心:識別されたエリアの重心
-嚢胞エリア:画素単位で測定されたエリア、有効な範囲の嚢胞を近似したエリア
-識別されたエリアとほとんどの同様の楕円の短軸及び長軸:それらの軸は、嚢胞の幅及び高さの測定値(画素単位)の良好な推定を表す。
-配向:すなわち、画像の基準水平軸と、長軸との間の角度、
-重心:識別されたエリアの重心
-嚢胞エリア:画素単位で測定されたエリア、有効な範囲の嚢胞を近似したエリア
図10及び図11は、各々、本発明に従った方法による、キャプチャされた超音波画像及びグラフ処理の結果を示す。
前述の段落は、単一の超音波画像への本発明に従った方法の適用に言及している。
本発明に従って、以下のように超音波クリップのフレームを処理することも可能である。
クリップの各フレームは、クリップを構成する個々のフレームごとに数値ラベルに関連付けるようにラベル付けされる。次に、クリップは、ビデオを構成するフレームごとに数値ラベルをレポートするリストに関連付けられ、各画像は、リストがラベルによって識別されたフレームごとに関連のクラス及びサブクラスを提供するように、前述の段落に説明されるように処理される。
続いて、リストは、フレームによって表される嚢胞の全分類を提供するために処理され、いくつかのフレームは、代わりに、他のフレームに存在する嚢胞を含み得ない。
この目的のために、クリップが指す嚢胞を分類するために、多房性下位分類は単房性下位分類よりも優先され、すなわち、クリップの少なくとも1つのフレームが多房性である場合、嚢胞は多房性として分類される。同様に、少なくとも1つのフレームが固体と分類される場合、このクラスは、他のフレームが漿液と分類される場合に嚢胞を類型化するために優先される。
さらに、フレームのカウントは、また、フレームごとに各房の重心位置を記憶することによって行うことができる。フレームで房の重心が他の房の他の重心と比較して既定の閾値よりも長い距離を有する場合、この房は、追加の房と見なされ、他のフレームに既に存在している房と見なされない。ひいては、房の総数は状況に応じて更新される。
Claims (11)
- 臓器の解剖学的塊を嚢胞として特性評価及び発見して、前記嚢胞の血清の存在を示すクラスと、前記嚢胞の1つ以上の漿液腔の存在及び/または数を示すサブクラスとを提供するコンピュータを利用する方法に関し、
(a)少なくとも、前記解剖学的塊を含む検査済の解剖学的エンティティの超音波画像を取得するステップと、
(b)前記嚢胞としての特性評価及び/または前記嚢胞の前記クラスを出力するための前記画像を精巧に作るニューラルネットワークに基づいて第1のアルゴリズムを使用するステップと、
(c)コンピュータグラフィックスの第2のアルゴリズムを使用するステップであって、
i.少なくとも、前記画像のエコー輝度の数学関数に適用される第1の閾値及び第2の閾値に基づいて、前記画像の内側領域(具体的には、流体領域または境界領域)を識別することと、
ii.前記内側領域の形態学的定量パラメータと、近接状態が前記領域間で検証されるとき、少なくとも流体内部領域と境界内部領域との関連性を生成する凝集モデルとに基づいて、前記内側領域を漿液領域または固体領域として分類することと、
iii.漿液腔としての前記漿液領域の数及び/または前記固体領域の数としてカウントすることと、を行うための第2のアルゴリズムを使用するステップと、
(d)前記第1のアルゴリズム及び前記第2のアルゴリズムからの出力の組み合わせに基づいて、前記クラス及び前記サブクラスを含む画像分類を提供するステップと、
を含む、方法。 - 識別するステップは、前記相対重心の間の距離に基づいて、低エコー輝度レベルの領域から高エコー輝度レベルの領域を、前記解剖学的エンティティ(具体的には、嚢胞)に関連付けるステップを含む、請求項1に記載の方法。
- 前記取得するステップは、前記解剖学的塊の超音波画像のマルチフレームクリップを取得するステップを含み、前記マルチフレームクリップの全クラスまたはサブクラスを提供するステップを含み、前記マルチフレームクリップの第1のフレームの第1のサブクラス及び第2のフレーム画像の第2のサブクラスが前記画像分類を提供するステップから異なる出力を有するとき、多房性は単房性よりも優先される、及び/または、固体は漿液よりも優先される、請求項1または2に記載の方法。
- 前記第2のアルゴリズムを使用するステップは、前記房の数を前記サブクラスの一部として出力するステップを含む、請求項1~3のいずれか1項に記載の方法。
- 前記第2のアルゴリズムを使用するステップは、前記漿液領域の全エリアと前記固体領域の全エリアとを比較するステップを含み、前記画像分類を提供するステップは、前記比較するステップに基づいて前記サブクラスを示すステップを含む、請求項1~4のいずれか1項に記載の方法。
- 前記第2のアルゴリズムを使用するステップでは、前記漿液領域及び前記漿液領域の周りの境界領域は各々の幾何学的特徴として識別され、前記相対重心は各々のさらなる幾何学的特徴として計算され、前記重心の位置は各々の定量パラメータとして計算される、請求項1~5のいずれか1項に記載の方法。
- 前記第2のアルゴリズムを使用するステップでは、前記重心は、前記漿液領域の重心と前記境界領域の重心との間の所定の最大距離に基づいて、所与の漿液領域に関連付けられる、請求項6に記載の方法。
- 前記第2のアルゴリズムを使用するステップでは、エントロピーフィルタまたはヘシアン行列フィルタは、前記低エコー輝度レベルの流体領域と高エコー輝度レベルの周辺境界固体領域との差が増加するように、前記画像に適用される、請求項1~7のいずれか1項に記載の方法。
- 前記ニューラルネットワークは、フィードフォワード畳み込みネットワークまたはフィードフォワード多層ネットワークのいずれかである、請求項1~8のいずれか1項に記載の方法。
- 前記第1のアルゴリズム及び前記第2のアルゴリズムの両方は、漿液または固体の分類及び単房性または多房性の下位分類の両方を出力し、前記提供するステップは、前記第1のアルゴリズムの出力及び前記第2のアルゴリズムの出力が同じであることに基づいている、請求項1~9のいずれか1項に記載の方法。
- 前記第2のアルゴリズムは、エッジ抽出アルゴリズム、領域抽出アルゴリズム、及び属性の画像記述アルゴリズムを含むグループから選択される、請求項1~10のいずれか1項に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IT102019000007806 | 2019-05-31 | ||
IT102019000007806A IT201900007806A1 (it) | 2019-05-31 | 2019-05-31 | Metodo computerizzato per classificare una massa di un organo come ciste |
PCT/IB2020/055058 WO2020240455A1 (en) | 2019-05-31 | 2020-05-28 | A computer based method for classifying a mass of an organ as a cyst |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022537481A true JP2022537481A (ja) | 2022-08-26 |
JPWO2020240455A5 JPWO2020240455A5 (ja) | 2024-10-23 |
Family
ID=68343200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021564098A Pending JP2022537481A (ja) | 2019-05-31 | 2020-05-28 | 臓器の塊を嚢胞として分類するためのコンピュータを利用する方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US12089987B2 (ja) |
EP (1) | EP3977400A1 (ja) |
JP (1) | JP2022537481A (ja) |
CN (1) | CN113924046A (ja) |
IT (1) | IT201900007806A1 (ja) |
WO (1) | WO2020240455A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022196088A1 (ja) * | 2021-03-19 | 2022-09-22 | 富士フイルム株式会社 | 超音波診断装置および超音波診断装置の制御方法 |
EP4141785A1 (en) * | 2021-08-30 | 2023-03-01 | Sycai Technologies, Sl | Method and computer program for the automatic classification of pancreatic cysts |
WO2023242805A1 (en) * | 2022-06-15 | 2023-12-21 | Syndiag S.R.L. | Processing method of an ultrasound image to associate information supporting tumour diagnosis of cysts and solid lesions |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5487387A (en) * | 1994-06-03 | 1996-01-30 | Duke University | Method and apparatus for distinguishing between solid masses and fluid-filled cysts |
US5984870A (en) * | 1997-07-25 | 1999-11-16 | Arch Development Corporation | Method and system for the automated analysis of lesions in ultrasound images |
IL127254A0 (en) * | 1998-11-25 | 1999-09-22 | Univ Ramot | Method and system for automatic classification and quantitative evaluation of adnexal masses bases on a cross-sectional or projectional images of the adnex |
US20130289381A1 (en) * | 2011-11-02 | 2013-10-31 | Seno Medical Instruments, Inc. | Dual modality imaging system for coregistered functional and anatomical mapping |
TWI598577B (zh) * | 2014-03-28 | 2017-09-11 | Metallogenics Co Ltd | Method for obtaining data for determining possibility of carcinogenesis of endometriotic ovarian cysts, and diagnostic apparatus thereof |
CN105447872A (zh) * | 2015-12-03 | 2016-03-30 | 中山大学 | 一种在超声影像中自动识别肝脏肿瘤类型的方法 |
CN106530298A (zh) * | 2016-11-14 | 2017-03-22 | 同济大学 | 一种基于三支决策的肝脏肿瘤ct图像分类方法 |
CN111095263A (zh) * | 2017-06-26 | 2020-05-01 | 纽约州立大学研究基金会 | 用于虚拟胰造影术的系统、方法和计算机可访问介质 |
US11553900B2 (en) * | 2018-05-08 | 2023-01-17 | Fujifilm Sonosite, Inc. | Ultrasound system with automated wall tracing |
CN108875829A (zh) * | 2018-06-20 | 2018-11-23 | 鲁东大学 | 一种乳腺肿瘤图像的分类方法及系统 |
-
2019
- 2019-05-31 IT IT102019000007806A patent/IT201900007806A1/it unknown
-
2020
- 2020-05-28 CN CN202080040553.3A patent/CN113924046A/zh active Pending
- 2020-05-28 EP EP20742901.0A patent/EP3977400A1/en active Pending
- 2020-05-28 WO PCT/IB2020/055058 patent/WO2020240455A1/en unknown
- 2020-05-28 JP JP2021564098A patent/JP2022537481A/ja active Pending
- 2020-05-28 US US17/615,102 patent/US12089987B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2020240455A1 (en) | 2020-12-03 |
CN113924046A (zh) | 2022-01-11 |
IT201900007806A1 (it) | 2020-12-01 |
US20220230325A1 (en) | 2022-07-21 |
EP3977400A1 (en) | 2022-04-06 |
US12089987B2 (en) | 2024-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110033456B (zh) | 一种医疗影像的处理方法、装置、设备和系统 | |
CN108416344B (zh) | 眼底彩照视盘与黄斑定位识别方法 | |
US9159127B2 (en) | Detecting haemorrhagic stroke in CT image data | |
US7961967B2 (en) | Adaptive density mapping in computed tomographic images | |
EP2378978B1 (en) | Method and system for automated generation of surface models in medical images | |
US7736313B2 (en) | Detecting and classifying lesions in ultrasound images | |
US6309353B1 (en) | Methods and apparatus for tumor diagnosis | |
US8582848B2 (en) | System and method for detection of acoustic shadows and automatic assessment of image usability in 3D ultrasound images | |
JP2022537481A (ja) | 臓器の塊を嚢胞として分類するためのコンピュータを利用する方法 | |
CN108185984A (zh) | 眼底彩照进行眼底病灶识别的方法 | |
RU2654199C1 (ru) | Сегментация тканей человека на компьютерном изображении | |
Ramadijanti et al. | Automatic breast tumor segmentation using hierarchical k-means on mammogram | |
CN108230306A (zh) | 眼底彩照血管及动静脉的识别方法 | |
CN111062909A (zh) | 乳腺肿块良恶性判断方法及设备 | |
CN112862786B (zh) | Cta影像数据处理方法、装置及存储介质 | |
CN112862785B (zh) | Cta影像数据识别方法、装置及存储介质 | |
CN102124471A (zh) | 用于增强宫颈成像中的血管图案的方法 | |
Napier et al. | A CAD system for brain haemorrhage detection in head CT scans | |
Rebelo et al. | Automatic epicardial fat segmentation and volume quantification on non-contrast cardiac Computed Tomography | |
Undrill et al. | Use of texture analysis and boundary refinement to delineate suspicious masses in mammography | |
Janudhivya et al. | A new approach for lung cancer cell detection using Mumford-shah algorithm | |
Bodzioch et al. | Effective filtration techniques for gallbladder ultrasound images with variable contrast | |
Rose et al. | RED LESION DETECTION USING REGION BASED METHOD AND DSFs FOR RETINOPATHY SCREENING | |
Al-shamasneh | Fractal and Edge-Based Techniques for Kidney Enhancement and Segmentation on Magnetic Resonance Images (MRI) | |
Dutta et al. | PREDICTING BREAST CANCER TUMOR BY MEANS OF AMMOGRAPHIC IMAGE PROCESSING. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220808 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240514 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240814 |