JP2023143875A - 医療用画像解析方法 - Google Patents
医療用画像解析方法 Download PDFInfo
- Publication number
- JP2023143875A JP2023143875A JP2023047867A JP2023047867A JP2023143875A JP 2023143875 A JP2023143875 A JP 2023143875A JP 2023047867 A JP2023047867 A JP 2023047867A JP 2023047867 A JP2023047867 A JP 2023047867A JP 2023143875 A JP2023143875 A JP 2023143875A
- Authority
- JP
- Japan
- Prior art keywords
- image
- analysis
- medical image
- analysis method
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003703 image analysis method Methods 0.000 title claims abstract description 42
- 238000004458 analytical method Methods 0.000 claims abstract description 55
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 201000010099 disease Diseases 0.000 claims abstract description 24
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 24
- 238000013145 classification model Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 238000000513 principal component analysis Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 7
- 210000004027 cell Anatomy 0.000 description 11
- 208000001132 Osteoporosis Diseases 0.000 description 10
- 238000000034 method Methods 0.000 description 10
- 238000003062 neural network model Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 206010008342 Cervix carcinoma Diseases 0.000 description 4
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 201000010881 cervical cancer Diseases 0.000 description 4
- 206010008263 Cervical dysplasia Diseases 0.000 description 3
- 208000032124 Squamous Intraepithelial Lesions Diseases 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 3
- 210000002436 femur neck Anatomy 0.000 description 3
- 201000005787 hematologic cancer Diseases 0.000 description 3
- 208000024200 hematopoietic and lymphoid system neoplasm Diseases 0.000 description 3
- 210000000689 upper leg Anatomy 0.000 description 3
- 206010020772 Hypertension Diseases 0.000 description 2
- 230000037182 bone density Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000003109 clavicle Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 206010012601 diabetes mellitus Diseases 0.000 description 2
- 238000009547 dual-energy X-ray absorptiometry Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000000236 metacarpal bone Anatomy 0.000 description 2
- 238000013058 risk prediction model Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 206010065687 Bone loss Diseases 0.000 description 1
- 210000004460 N cell Anatomy 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 210000001185 bone marrow Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000000326 densiometry Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000009595 pap smear Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000011120 smear test Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
【課題】対応する部分が損傷を受けているかどうかを判断することができる医療用画像解析方法を提供する。【解決手段】医療用画像を取得し、前記医療用画像における少なくとも１つの検出領域を選択し、前記検出領域におけるターゲット画像に対して画像標準化処理を行って解析対象画像を取得し、前記解析対象画像を画像分類モデルに入力することにより、疾患分析結果を獲得する。【選択図】図１
Description
本発明は医療用画像解析方法に関し、特にニューラルネットワークモデルを用いた医療用画像解析方法に関する。
一般に骨密度計として知られる二重エネルギーＸ線吸収測定装置（dual energy x-ray absorptiometry，DXA）は、２つのエネルギーのＸ線を生成できる。
異なるエネルギーのＸ線は、異なる媒体によって異なる方法で減衰される。媒体の密度が高いほどＸ線の減衰が大きくなる。このようにして、身体の様々な部位の骨密度を検出することができる。
しかし、ＤＸＡの測定時間は通常１５分から２０分間必要となり、設備費も通常のＸ線装置に比べて高いので、公的検査の普及には繋がらなかった。
更に、医学的疾患の検出には組織スライス画像（イメージ）の分析が必要になることが多く、塗抹検査から得られた細胞サンプルから疾患の種類と重症度を分析できる。しかし、手作業で確認するのは手間がかかる上に、判断ミスも起こり易いという問題がある。
本発明は上述した問題に鑑みて以下の構成を備える。即ち、
コンピュータによって実行される医療用画像解析方法であって、前記医療用画像解析方法は、
医療用画像を取得し、
前記医療用画像における少なくとも１つの検出領域を選択し、
前記検出領域におけるターゲット画像に対して画像標準化処理を行って解析対象画像を取得し、
前記解析対象画像を画像分類モデルに入力することにより、疾患分析結果を獲得する
ことを特徴とする医療用画像解析方法。
コンピュータによって実行される医療用画像解析方法であって、前記医療用画像解析方法は、
医療用画像を取得し、
前記医療用画像における少なくとも１つの検出領域を選択し、
前記検出領域におけるターゲット画像に対して画像標準化処理を行って解析対象画像を取得し、
前記解析対象画像を画像分類モデルに入力することにより、疾患分析結果を獲得する
ことを特徴とする医療用画像解析方法。
前記画像分類モデルにはトリプレット損失モデルが含まれる
ことを特徴とする請求項１に記載の医療用画像解析方法。
ことを特徴とする請求項１に記載の医療用画像解析方法。
前記トリプレット損失モデルの出力結果を、主成分分析によって削減し、座標ドロップポイントに変換し、
前記座標ドロップポイントに所在するグループ範囲に基づいて、前記解析対象画像が所属する分析タイプを取得する
ことを特徴とする請求項２に記載の医療用画像解析方法。
前記座標ドロップポイントに所在するグループ範囲に基づいて、前記解析対象画像が所属する分析タイプを取得する
ことを特徴とする請求項２に記載の医療用画像解析方法。
全ての前記複数の解析対象画像の前記分析タイプを統合することにより、前記疾患分析結果を獲得する
ことを特徴とする請求項３に記載の医療用画像解析方法。
ことを特徴とする請求項３に記載の医療用画像解析方法。
前記画像分類モデルは畳み込みニューラルネットワークとトリプレット損失モデルを含み、前記医療用画像解析方法は更に、
前記解析対象画像を前記畳み込みニューラルネットワークに入力し、前記畳み込みニューラルネットワークからの出力から特徴ベクトルを取得し、
前記特徴ベクトルを前記トリプレット損失モデルに入力し、
前記トリプレット損失モデルの出力結果を、主成分分析によって削減し、座標ドロップポイントに変換し、
前記座標ドロップポイントに所在するグループ範囲に基づいて、前記解析対象画像が所属する分析タイプを取得することを含む
ことを特徴とする請求項１に記載の医療用画像解析方法。
前記解析対象画像を前記畳み込みニューラルネットワークに入力し、前記畳み込みニューラルネットワークからの出力から特徴ベクトルを取得し、
前記特徴ベクトルを前記トリプレット損失モデルに入力し、
前記トリプレット損失モデルの出力結果を、主成分分析によって削減し、座標ドロップポイントに変換し、
前記座標ドロップポイントに所在するグループ範囲に基づいて、前記解析対象画像が所属する分析タイプを取得することを含む
ことを特徴とする請求項１に記載の医療用画像解析方法。
全ての前記複数の解析対象画像の前記分析タイプを統合することにより、前記疾患分析結果を獲得する
ことを特徴とする請求項５に記載の医療用画像解析方法。
ことを特徴とする請求項５に記載の医療用画像解析方法。
前記画像分類モデルを介して抽出された複数の特徴を、リスク値を取得するために、リスク値予測モデルに入力する
ことを特徴とする請求項５に記載の医療用画像解析方法。
ことを特徴とする請求項５に記載の医療用画像解析方法。
前記複数の特徴を前記リスク値予測モデルに入力する前に、更に、前記複数の特徴に対して正規化を行うことを含む
ことを特徴とする請求項７に記載の医療用画像解析方法。
ことを特徴とする請求項７に記載の医療用画像解析方法。
前記リスク値予測モデルは多層パーセプトロンである
ことを特徴とする請求項７に記載の医療用画像解析方法。
ことを特徴とする請求項７に記載の医療用画像解析方法。
前記検出領域を選択はオブジェクト検出モデルによって実現されるものである
ことを特徴とする請求項１に記載の医療用画像解析方法。
ことを特徴とする請求項１に記載の医療用画像解析方法。
前記解析対象画像を前記画像分類モデルに入力するステップは、
各前記解析対象画像を前記画像分類モデルにそれぞれ入力して、前記解析対象画像を分析タイプにそれぞれ分類し、
前記複数の解析対象画像に対応する前記分析タイプにおける多い方を、前記前記疾患分析結果とすることが含まれる
ことを特徴とする請求項１に記載の医療用画像解析方法。
各前記解析対象画像を前記画像分類モデルにそれぞれ入力して、前記解析対象画像を分析タイプにそれぞれ分類し、
前記複数の解析対象画像に対応する前記分析タイプにおける多い方を、前記前記疾患分析結果とすることが含まれる
ことを特徴とする請求項１に記載の医療用画像解析方法。
前記医療用画像の品質が要件を満たしているか確認する場合、前記医療用画像はＸ線画像である
ことを特徴とする請求項１に記載の医療用画像解析方法。
ことを特徴とする請求項１に記載の医療用画像解析方法。
本発明の実施形態の医療用画像解析方法によれば、医療用画像に基づいて可能性のある疾患を自動的に解析することができる。また、本発明の複数の実施形態によれば、リスク値を更に分析することができる。
図１を参照して説明する。ここで、図１は本発明の医療用画像解析方法の第１の実施形態を説明するフローチャートである。まず、医療用画像を取得する（ステップ１００）。特定する患者の疾患の種類に応じて、対応する医療用画像を使用することができる。例えば、Ｘ線画像は骨粗鬆症の特定に使用され、パップスミア画像は子宮頸癌の特定に使用され、骨髄塗抹の画像は血液の癌の特定に使用される。
本実施形態では、骨粗鬆症を識別するために使用されるＸ線画像は、脊椎のＸ線画像、大腿骨のＸ線画像、鎖骨のＸ線画像、又は中手骨のＸ線画像である。
本発明では、脊椎のＸ線画像、大腿骨のＸ線画像、鎖骨のＸ線画像、又は中手骨のＸ線画像の特徴を分析することにより、骨の損失によって引き起こされる微妙な組織構造の変化に基づいて、対応する部分が損傷を受けているかどうかを判断することができる。
Ｘ線画像は、Ｘ線診断装置、移動式Ｘ線装置、又はＸ線装置の巡回車両を利用することにより取得される。装置コストと測定時間は、従来のデュアルエネルギーのＸ線吸収測定装置よりも低くできる。
ステップ２００において、医療用画像内の少なくとも１つの検出領域が選択される。例えば、大腿骨のＸ線画像の場合、大腿骨頸部が検出領域として使用される。
また、本実施形態では、ステップ２００では、更にユーザが検出領域を一周するためのユーザインターフェースを提供する。
本実施形態では、ステップ２００は、オブジェクト（物体）検出モデルを利用することにより実施される。オブジェクト検出モデルは、たとえば、Mask R-CNN、YOLO等のモデルにすることができる。
オブジェクト検出モデルは事前にトレーニングする必要がある。複数のサンプル画像と、検出ターゲット（例：大腿骨頸部、細胞）を含む対応するラベル付き領域をオブジェクト検出モデルに入力することにより、オブジェクト検出モデルは、大腿Ｘ線画像の大腿骨頸部又はスミア（Smear）画像の個々の細胞を検出するようにトレーニングされる。
ステップ３００では、分析対象の画像である解析対象画像を取得するために、検出領域内のターゲット画像に対して画像標準化（正規化）処理が実行される。
説明の都合上、画像標準化処理の詳細な流れは後段で行う。画像標準化により、画像分類モデルへの入力に適した適切なサイズで細部が鮮明な画像を取得できる。
ステップ４００では、解析対象画像を画像分類モデルに入力する。次に、ステップ５００では、画像分類モデルの出力に基づいて疾患分析結果を得る。
画像分類モデルはニューラルネットワークモデルであり、具体的な実現の方法については後段で詳しく説明する。疾患分析結果は、例えば、特定の疾患（骨粗鬆症、子宮頸癌、血液癌等）が存在するかどうか、又は特定の疾患の持続期間の更なる推定であっても良い。
本実施形態では、検出領域のサイズは、ニューラルネットワークモデルの入力仕様に基づいて決定される。たとえば、ニューラルネットワークモデルに入力するのに適した画像サイズが２２４ピクセルの正方形である場合、検出領域のサイズも２２４ピクセルの正方形となる。
図２を参照して説明する。ここで図２は、本発明の実施形態による画像標準化処理の詳細なフローチャートである。画像標準化処理ステップ３００は、画像鮮鋭化処理（ステップ３０１）、（ステップ３０２）、及びスケーリング（ステップ３０３）を含む。
ステップ３０１では、鮮鋭化（Ｓｈａｒｐｅｎ）処理又は等化処理（ヒストグラム等化など）を使用して、画像の詳細をより鮮明にすることができる。
シャープニング又はイコライジングの前に、カラーのターゲット画像をグレースケール画像に変換するグレースケール処理も含まれる。なお、ターゲット画像が既にグレースケール画像の場合は、グレースケール処理を行う必要はない。
ステップ３０２では、ターゲット画像に対してクロッピングが実行される。ターゲット画像のサイズが前述のニューラルネットワークモデルに必要とされるサイズを満たさない場合、ターゲット画像は対応するサイズに切断（トリミング）される。例えば、ターゲット画像が長方形の場合には、短手方向の寸法を基準に長手方向における長さをトリミングして正方形の画像を得ても良い。
ステップ３０３では、ステップ３０２で処理された画像サイズが前述のニューラルネットワークモデルのサイズを満たさない場合、スケーリング（比率を縮小又は拡大すること）して、前述のニューラルネットワークモデルに必要とされるサイズを取得する。上述のステップ３０１～３０３により、ターゲット画像に対して前処理をした後、解析対象画像を得ることができる。
図３を参照して説明する。ここで、図３は本発明の他の実施形態による画像標準化処理の詳細なフローチャートである。図２と比較すると、本実施形態の画像標準化処理は、高テクスチャ特徴領域を計算するステップ（ステップ３１３）と、範囲サンプリングのステップ（ステップ３１４）を更に含む。なお、ステップ３１１、３１２、及び３１５は、それぞれステップ３０１、３０２、及び３０３と同様なので、ここでは説明を繰り返さない。
ステップ３１３では、エッジ検出アルゴリズムを使用して、画像内のテクスチャを検出する。エッジ検出アルゴリズムは、例えば、Cannyアルゴリズム、Sobelアルゴリズム等であり得る。特に骨粗鬆症の識別のために、骨組織が最も多い領域をステップ３１３で発見できる。
ステップ３１４では、ステップ３１３で発見した骨組織が最も多い領域の中心に基づいて特定の範囲を拡張し、ステップ４００では、検出領域と同じサイズの複数の領域画像が特定の範囲内でランダムにサンプリングされ、これらの領域画像が画像分類モデルに入力される。
ここでは、サンプリングされた領域画像がニューラルネットワークモデルの必要なサイズを満たしているので、ステップ３１５は省略しても良い。
図４を参照して説明する。ここで、図４は本発明の実施形態による画像分類処理の詳細なフローチャートである。ステップ４０１では、前述の解析対象画像又は領域画像が画像分類モデルに入力される。
ここで、画像分類モデルはトリプレット損失 (Triplet Loss)モデルである。トリプレット損失モデルは、多様性の少ないデータセットをトレーニングするために使用される。入力データには、アンカー (Anchor)の例や、ポジティブ(Positive)の例や、ネガティブ (Negative)の例が含まれる。
モデルを最適化することで、アンカーの例とポジティブの例の距離がアンカーの例とネガティブの例の距離よりも短くなり、サンプルの類似度の計算を実現できる。
アンカーの例は、サンプルセット内でランダムに選択されたサンプルであり、ポジティブの例とアンカーの例は同じクラスのサンプルに属し、ネガティブの例とアンカーの例は異なるクラスのサンプルに属する。このようにして、トリプレット損失モデルを通じて画像の特徴をグループ化できる。
例えば、骨粗鬆症を伴う集団と骨粗鬆症を伴わない集団とを区別する。前述の子宮頸癌と血液癌の識別では、解析対象画像や局所画像内の個々の細胞をグループ化し、異なる種類の細胞を識別する。ここで、各解析対象画像又は各領域画像は、個々の細胞画像を１つのみ有する。
ステップ４０２において、トリプレット損失モデルの出力は、主成分分析（Principal Component Analysis，PCA）によって次元が削減される。主成分分析は、特徴空間内のデータの射影軸を見つけることができ、射影後にこのデータグループの最大変異量を取得できる。
このようにして、次元数を効果的に減らすことができるが、全体的な変異量としては決して多くの量は減らない。このように、主成分分析を用いてグループ化の結果の次元を削減し、各グループの分布座標情報を取得することができる。
ステップ４０１と４０２の後、解析対象画像又はトリプレット損失モデルに入力された領域画像を座標ドロップポイントに変換することができる。
ステップ４０３では、トレーニング過程で得られた各グループの分布座標情報に基づいて、座標がどのグループの範囲に属するかを判断し、画像がどのグループ（または分析タイプ）に属するかを取得する。
ステップ４０４は、全ての分析タイプを統合することである。ここで、全ての分析タイプを統合することとは、同一の医療用画像に対応する解析対象画像ごと、又は撮影された領域画像ごとに得られた解析タイプを統合することをいう。
例えば、同じ医療用画像に対して３つの領域画像がキャプチャされた場合、３つの領域画像は前述のステップ４０１から４０３を経た後、それぞれ分析タイプを取得する。ステップ４０４では、３つの分析タイプが統合され、ステップ５００では、統合された結果に基づいて疾患分析結果が得られる。
具体的には、分析タイプの多さ（多数決）に基づいて疾患分析結果を求めている。例えば、３つの分析タイプが、骨粗鬆症を患っている２つのタイプと、骨粗鬆症を患っていない１つのタイプである場合、疾患分析結果は、多数決によって骨粗鬆症を患っていると特定される。
他の例として、合計Ｎ個の細胞の個体の解析対象画像（又は領域画像）が同じ医療用画像に取り込まれ、前述のステップ４０１～４０３の後、ステップ４０４において、Ｎ個の個々の細胞をＫ個の細胞のタイプにグループ化することによって、様々な細胞タイプの個々の細胞数を数えることができ、ステップ５００では、これらの細胞タイプの対応する数に基づいて疾患タイプを識別できる。
図５を参照して説明する。ここで、図５は本発明の他の実施形態による画像分類処理の詳細内フローチャートである。
図４との違いは、本実施形態が畳み込みニューラルネットワーク（Convolutional Neural Networks，CNN）を画像分類モデルとして使用することである。画像分類モデルは、たとえば、ディープ残差ネットワーク（Deep residual network，ResNet）、グーグルＬｅネット（GoogleLeNet）、デンスネット（DenseNet）等である。
モデルをトレーニングする場合、トレーニングサンプルとして医療用画像を前述の方法に基づいて取得し、解析対象画像又は領域画像を取得し、医療用画像の解析タイプをマークしてモデルに入力する。
畳み込みニューラルネットワークの最終層は、抽出された特徴に基づいて可能なクラスの確率を予測するための加重分類器 (例えばXGBoost、重み分類器)である。
このため、予測判断する際には、識別対象の医療用画像を前述の方法で解析対象画像又は領域画像に入力し（ステップ４１１）、予測解析タイプを得ることができる（ステップ４１２）。ステップ４１３は、前述のステップ４０４と同様なので、ここでは説明を繰り返さない。
次に、図６を参照して説明する。ここで図６は本発明の他の実施形態による画像分類処理の詳細なフローチャートである。図４と図５との違いは、本実施形態の画像分類モデルがトリプレット損失モデルと畳み込みニューラルネットワークを同時に含むことであり、トリプレット損失モデルは、この畳み込みニューラルネットワークの後に接続され、本実施形態では、畳み込みニューラルネットワークの末端には加重分類器は存在しない。
ステップ４２１では、解析対象画像が畳み込みニューラルネットワークに入力される。ここでの畳み込みニューラルネットワークには加重分類器が存在しないため、出力は特徴ベクトルとなる。
ステップ４２２では、特徴ベクトルは、トリプレット損失モデルに入力されるため、トリプレット損失モデルは、特徴ベクトルに基づいて解析対象画像をグループ化する。
以降のステップ４２３～４２５は、それぞれ前述のステップ４０２～４０４と同様である。したがって、ステップ５００では、統合結果に基づいて疾患分析結果を得ることができる。
図７を参照して説明する。ここで、図７は本発明の実施形態によるリスク値予測の詳細なフローチャートである。前述の図５の例から続き、本実施形態では、畳み込みニューラルネットワークによって抽出された特徴を再利用することもできる。
抽出された特徴を他のニューラルネットワークモデル（ここではリスク値予測モデルと呼ぶ）に入力する（ステップ７００）。 ここで、リスク値予測モデルは、多層パーセプトロン（Multilayer perceptron，MLP）であってもよい。
トレーニング中に、トレーニングサンプルに対応する抽出された特徴とそれに対応するリスク値がリスク値予測モデルに入力されるため、予測と判定を行うとき、リスク値は、識別されるサンプルの抽出された特徴に基づいて予測され、予測リスク値を得ることができる（ステップ８００）。
骨粗鬆症識別の適用において、リスク値は、例えば、Ｔスコア（T-scores）パラメータ又は骨折リスク評価（Fracture Risk Assessment，FRAX）パラメータであり得る。
子宮頸癌の識別の適用では、リスク値は、細胞診の等級付け値又は疾患の経過 (子宮頸癌の軽度の前癌病変（Low-Grade Squamous Intraepithelial Lesion，LSIL）；重度の前癌病変（High-Grade Squamous Intraepithelial Lesion ，HSIL）等) であり、表１に示すように重症度を表すことができる。
本実施形態では、畳み込みニューラルネットワークから抽出された特徴に加えて、他の特徴をリスク予測モデルに入力することもできる。例えば、個人データ（性別、年齢など）、身体データ（ボディマス指数（BMI）、身長、体重等）、医療情報（病歴（例えば糖尿病、高血圧））等の特徴である。これらの特徴は、ユーザインターフェースを介してユーザが入力するか、医療記録データベースを読み取ることによって取得できる。
図８を参照して説明する。本発明の第２の実施形態によるリスク値予測の詳細なフローチャートである。図７との差異は、ステップ７００の前に、ステップ６００も実行されることである。ここで、ステップ６００は、抽出された特徴を０と１の間の値の範囲に正規化することである。
図９を参照して説明する。ここで、図９は本発明の第３の実施形態によるリスク値予測の詳細なフローチャートである。上述した図７と同様に、トリプレット損失モデルによって抽出された特徴も再利用でき、これらの抽出された特徴は、前述のリスク値予測モデルに入力することができる（ステップ７００）。なお、ステップ８００は上述の通りなので、ここでは説明を繰り返さない。
本実施形態では、トリプレット損失モデルから抽出された特徴に加えて、他の特徴もリスク予測モデルに入力することができる。例えば、個人データ（性別、年齢など）、身体データ（ボディマス指数（BMI）、身長、体重等）、医療情報（病歴（例えば糖尿病、高血圧））等の特徴である。なお、これらの特徴は、ユーザインターフェースを介してユーザが入力するか、医療記録データベースを読み取ることによって取得できる。
図１０を参照して説明する。ここで、図１０本発明の第４の実施形態によるリスク値予測の詳細なフローチャートである。上述した図８と同様に、ステップ７００の前に、抽出された特徴を０と１の間の数値範囲に正規化するステップ６００も実行される。
次に、図１１を参照して説明する。ここで、図１１は本発明の他の実施形態による医療用画像解析方法の第１の実施形態を説明するフローチャートである。図１との違いとしては、図１１はＸ線画像である医療用画像を解析して骨密度解析結果を得るものであり、ステップ１０１を更に含む点にある。
ステップ１０１では、Ｘ線画像の品質（画質）が要件を満たしているかが確認される。要件が満たしている場合（はい）は次のステップに進み、そうでない場合（いいえ）にはプロセスを終了する。
具体的には、このステップでは、キャニー（canny）、フォーカス（focus）、ソーベル（Sobel）、ラプラシアン（Laplacian）等のオペレーター関数を使用して、Ｘ線画像の画質を確認できる。
例えば、しきい値（閾値）を設定することができ、しきい値と比較したＸ線画像に対して前述の演算子関数の１つを実行した結果に基づいて、このしきい値よりも低い場合は、要件が満たされていることを意味する。
たとえば、Sobel 演算子は、水平方向と垂直方向の勾配を計算でき、高すぎるグラデーション値の場合には、イメージに過度のノイズが含まれていることを示す。
図１２Ａと図１２Ｂを参照して説明する。ここで、図１２Ａは要件に適合したＸ線画像を示した図であり、図１２Ｂは要件に適合しないＸ線画像を示した図である。図１２Ａとは異なり、図１２Ｂからは、画像にノイズポイントが多すぎることが分かる。一方、図１２Ｃ他の要件に適合しないＸ線画像を示した図であるが、図１２Ｃでは、複数の水平に延伸する線（テクスチャ）を含んでしまっていることが分かる。
このようにして、Ｘ線画像のテクスチャが十分に鮮明であるかどうかを検出することにより、その後の判定結果でエラーを回避するのに十分な鮮明な画像を選び出すことができる。
本実施形態では、複数の演算子関数を使用することができ、各演算子関数はしきい値に対応し、これらの演算子関数の計算結果が全て対応するしきい値よりも低い場合、Ｘ線画像の画質は要件を満たしていると判断される。
上記の医療用画像解析方法は、コンピュータプログラム製品をコンピュータにロードして実行することにより実現される。コンピュータ プログラム製品は、複数のプログラム命令で構成され、非一時的なコンピュータが読み取り可能な記録媒体に格納される。
ここで、コンピュータは、例えば、パーソナルコンピュータ、サーバ、並びにコンピューティング機能を備えた他のコンピューティング装置であっても良い。コンピュータは、一般に、処理ユニット（中央処理装置、グラフィック処理装置等）、メモリ、記憶媒体（ハードディスク等）、入出力インターフェース、ネットワークインターフェース等のハードウェア資源を有する。
本実施形態では、コンピュータは、医療用画像記憶システム（例えば、Picture archiving and communication system，PACS）又は医療用検出機器と接続して、医療用画像を得ることができる。
以上のように、本発明の実施形態の医療用画像解析方法によれば、医療用画像に基づいて可能性のある疾患を自動的に解析することができる。また、本発明の複数の実施形態によれば、リスク値を更に分析することができる。
１００ ステップ
２００ 検出領域の選択ステップ
３００ ステップ
３０１～３０３ ステップ
３１１～３１５ ステップ
４００～４０４ ステップ
４１１～４１３ ステップ
４２１～４２５ ステップ
５００ ステップ
６００ ステップ
７００ ステップ
８００ ステップ
２００ 検出領域の選択ステップ
３００ ステップ
３０１～３０３ ステップ
３１１～３１５ ステップ
４００～４０４ ステップ
４１１～４１３ ステップ
４２１～４２５ ステップ
５００ ステップ
６００ ステップ
７００ ステップ
８００ ステップ
Claims (12)
- コンピュータによって実行される医療用画像解析方法であって、前記医療用画像解析方法は、
医療用画像を取得し、
前記医療用画像における少なくとも１つの検出領域を選択し、
前記検出領域におけるターゲット画像に対して画像標準化処理を行って解析対象画像を取得し、
前記解析対象画像を画像分類モデルに入力することにより、疾患分析結果を獲得する
ことを特徴とする医療用画像解析方法。 - 前記画像分類モデルにはトリプレット損失モデルが含まれる
ことを特徴とする請求項１に記載の医療用画像解析方法。 - 前記トリプレット損失モデルの出力結果を、主成分分析によって削減し、座標ドロップポイントに変換し、
前記座標ドロップポイントに所在するグループ範囲に基づいて、前記解析対象画像が所属する分析タイプを取得する
ことを特徴とする請求項２に記載の医療用画像解析方法。 - 全ての前記複数の解析対象画像の前記分析タイプを統合することにより、前記疾患分析結果を獲得する
ことを特徴とする請求項３に記載の医療用画像解析方法。 - 前記画像分類モデルは畳み込みニューラルネットワークとトリプレット損失モデルを含み、前記医療用画像解析方法は更に、
前記解析対象画像を前記畳み込みニューラルネットワークに入力し、前記畳み込みニューラルネットワークからの出力から特徴ベクトルを取得し、
前記特徴ベクトルを前記トリプレット損失モデルに入力し、
前記トリプレット損失モデルの出力結果を、主成分分析によって削減し、座標ドロップポイントに変換し、
前記座標ドロップポイントに所在するグループ範囲に基づいて、前記解析対象画像が所属する分析タイプを取得することを含む
ことを特徴とする請求項１に記載の医療用画像解析方法。 - 全ての前記複数の解析対象画像の前記分析タイプを統合することにより、前記疾患分析結果を獲得する
ことを特徴とする請求項５に記載の医療用画像解析方法。 - 前記画像分類モデルを介して抽出された複数の特徴を、リスク値を取得するために、リスク値予測モデルに入力する
ことを特徴とする請求項５に記載の医療用画像解析方法。 - 前記複数の特徴を前記リスク値予測モデルに入力する前に、更に、前記複数の特徴に対して正規化を行うことを含む
ことを特徴とする請求項７に記載の医療用画像解析方法。 - 前記リスク値予測モデルは多層パーセプトロンである
ことを特徴とする請求項７に記載の医療用画像解析方法。 - 前記検出領域を選択はオブジェクト検出モデルによって実現されるものである
ことを特徴とする請求項１に記載の医療用画像解析方法。 - 前記解析対象画像を前記画像分類モデルに入力するステップは、
各前記解析対象画像を前記画像分類モデルにそれぞれ入力して、前記解析対象画像を分析タイプにそれぞれ分類し、
前記複数の解析対象画像に対応する前記分析タイプにおける多い方を、前記疾患分析結果とすることが含まれる
ことを特徴とする請求項１に記載の医療用画像解析方法。 - 前記医療用画像の品質が要件を満たしているか確認する場合、前記医療用画像はＸ線画像である
ことを特徴とする請求項１に記載の医療用画像解析方法。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111111490A TWI814307B (zh) | 2022-03-25 | 2022-03-25 | 醫學影像分析方法 |
| TW111111490 | 2022-03-25 | ||
| TW111111491A TWI828096B (zh) | 2022-03-25 | 2022-03-25 | X光影像分析方法 |
| TW111111491 | 2022-03-25 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023143875A true JP2023143875A (ja) | 2023-10-06 |
| JP7531648B2 JP7531648B2 (ja) | 2024-08-09 |
Family
ID=88096172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023047867A Active JP7531648B2 (ja) | 2022-03-25 | 2023-03-24 | 医療用画像解析方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20230306591A1 (ja) |
| JP (1) | JP7531648B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173200B (zh) * | 2023-11-03 | 2024-02-02 | 成都数之联科技股份有限公司 | 一种图像分割方法、装置、设备和介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10799189B2 (en) | 2017-11-22 | 2020-10-13 | General Electric Company | Systems and methods to deliver point of care alerts for radiological findings |
| US11449717B2 (en) | 2020-03-12 | 2022-09-20 | Fujifilm Business Innovation Corp. | System and method for identification and localization of images using triplet loss and predicted regions |
| JPWO2021221008A1 (ja) | 2020-04-28 | 2021-11-04 |
-
2023
- 2023-03-23 US US18/125,219 patent/US20230306591A1/en active Pending
- 2023-03-24 JP JP2023047867A patent/JP7531648B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20230306591A1 (en) | 2023-09-28 |
| JP7531648B2 (ja) | 2024-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022268102A1 (zh) | 基于深度学习的癌症预后生存预测方法、设备及存储介质 | |
| Pratiwi et al. | Mammograms classification using gray-level co-occurrence matrix and radial basis function neural network | |
| CN108464840B (zh) | 一种乳腺肿块自动检测方法及系统 | |
| WO2018120942A1 (zh) | 一种多模型融合自动检测医学图像中病变的系统及方法 | |
| US11275976B2 (en) | Medical image assessment with classification uncertainty | |
| Islam et al. | An efficient automatic mass classification method in digitized mammograms using artificial neural network | |
| WO2011137411A1 (en) | Probability density function estimator | |
| CN113261012B (zh) | 处理图像的方法、装置及系统 | |
| US20230368381A1 (en) | System and method for detecting and classifying abnormal cells | |
| WO2020066257A1 (ja) | 分類装置、分類方法、プログラム、ならびに、情報記録媒体 | |
| KR102600401B1 (ko) | 분류 및 분할을 이용한 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 | |
| JP7531648B2 (ja) | 医療用画像解析方法 | |
| CN113269799A (zh) | 一种基于深度学习的宫颈细胞分割方法 | |
| Avizenna et al. | Classification of brain magnetic resonance images based on statistical texture | |
| CN117315379B (zh) | 面向深度学习的医学影像分类模型公平性评估方法及装置 | |
| Zhou et al. | Improved breast lesion detection in mammogram images using a deep neural network | |
| TWI828096B (zh) | X光影像分析方法 | |
| TWI814307B (zh) | 醫學影像分析方法 | |
| Kiran et al. | AI-Powered Radiology: Enhancing Efficiency and Accuracy in Knee Osteoarthritis Diagnosis through Automated Bone Segmentation | |
| CN113870194A (zh) | 深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置 | |
| CN116862825A (zh) | 医学影像分析方法 | |
| CN116862824A (zh) | X光影像分析方法 | |
| AlShowarah | Breast Cancer Detection System using Deep Learning Based on Fusion Features and Statistical Operations. | |
| Africano et al. | A new benchmark and method for the evaluation of chest wall detection in digital mammography | |
| CN115148365B (zh) | 用于预测中枢神经系统生殖细胞肿瘤预后的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230324 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230328 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230404 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240520 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240709 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240730 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7531648 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |