CN112669254A - 基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统 - Google Patents
基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统 Download PDFInfo
- Publication number
- CN112669254A CN112669254A CN202010661940.0A CN202010661940A CN112669254A CN 112669254 A CN112669254 A CN 112669254A CN 202010661940 A CN202010661940 A CN 202010661940A CN 112669254 A CN112669254 A CN 112669254A
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- training
- bone
- metastasis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 82
- 206010027476 Metastases Diseases 0.000 title claims abstract description 64
- 230000009401 metastasis Effects 0.000 title claims abstract description 64
- 206010060862 Prostate cancer Diseases 0.000 title claims abstract description 26
- 208000000236 Prostatic Neoplasms Diseases 0.000 title claims abstract description 26
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 34
- 210000004197 pelvis Anatomy 0.000 claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 210000000115 thoracic cavity Anatomy 0.000 claims abstract description 19
- 210000000038 chest Anatomy 0.000 claims abstract description 18
- 238000012546 transfer Methods 0.000 claims abstract description 14
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 13
- 201000011510 cancer Diseases 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims abstract description 5
- 238000007469 bone scintigraphy Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000001394 metastastic effect Effects 0.000 description 7
- 206010061289 metastatic neoplasm Diseases 0.000 description 7
- 210000004027 cell Anatomy 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 208000027418 Wounds and injury Diseases 0.000 description 4
- 230000006378 damage Effects 0.000 description 4
- 208000014674 injury Diseases 0.000 description 4
- 210000002307 prostate Anatomy 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000000689 upper leg Anatomy 0.000 description 3
- 206010027452 Metastases to bone Diseases 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000013399 early diagnosis Methods 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 208000009956 adenocarcinoma Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 210000002449 bone cell Anatomy 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 208000037819 metastatic cancer Diseases 0.000 description 1
- 208000011575 metastatic malignant neoplasm Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 230000011164 ossification Effects 0.000 description 1
- 210000001696 pelvic girdle Anatomy 0.000 description 1
- 230000036647 reaction Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000001991 scapula Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30081—Prostate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统，其中，前处理模块接收输入的全身骨扫描影像进行处理；神经网络模块检测该输入的全身骨扫描影像是否为摄护腺癌骨转移。神经网络模块包括胸腔部位网络模块与骨盆部位网络模块。胸腔部位网络模块包括：建立第一阶段加快区域卷积神经网络，依据全身骨扫描影像，分割出胸腔部位的训练影像；及以该训练影像来训练第二阶段加快区域卷积神经网络，并分类出癌细胞骨转移的病灶。骨盆部位网络模块使用卷积神经网络，其包括：建立第一阶段加快区域卷积神经网络，依据输入的全身骨扫描影像，分割出骨盆部位的训练影像；及以该训练影像来训练卷积神经网络，以分类骨盆部位是否为骨转移影像。
Description
技术领域
本发明关于一种摄护腺癌骨转移辨识系统，特别是关于一种基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统。
背景技术
在全身骨扫描影像中，医师须区分热区中，哪部分为正常成骨现象，哪部分为摄护腺癌细胞造成的，哪部分为受伤造成，所以每张影像都需要医师进行诊断，确定诊断摄护腺癌骨转移。其中，摄护腺癌骨转移遭侵犯的位置多为肩胛骨、肋骨、脊椎、髋关节、四肢等部位。然而通过人眼区分热区是否为癌细胞骨转移或正常骨细胞反应，不仅是需要有经验的核子医学科医师来从事，更需要医师花很长时间来判读，因此，工作时间一久，就会不可避免地产生人为误判。同时，医师判读影像方式虽然有通则，但并无绝对的标准，所以不同医师的判读结果也可能会因经验多少而有所差异。故诊断影像的工作是非常花费人力的，故一旦案例数增加，在人力上、时间上都是相当庞大的花费。
有鉴于此，实有需要建立一套早期诊断的辨识系统，以辅助医师进行摄护腺骨转移癌的辨识。
发明内容
本发明提出一种基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统，以正确地区别热区的种类为转移、受伤或是正常骨增生。
为达成前述的目的，本发明提出一种基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统，包含：一前处理模块，接收输入的全身骨扫描影像以进行处理；以及一神经网络模块，检测该输入的全身骨扫描影像是否为摄护腺癌骨转移。神经网络模块包括：一胸腔部位网络模块及一骨盆部位网络模块。胸腔部位网络模块包括：建立第一阶段加快区域卷积神经网络(Faster Region-based Convolutional Neural Networks，Faster R-CNN)，依据输入的全身骨扫描影像，分割出胸腔部位的训练影像；及以该训练影像来训练第二阶段Faster R-CNN，并分类出癌细胞骨转移的病灶。骨盆部位网络模块使用卷积神经网络，其包括：建立第一阶段Faster R-CNN，依据输入的全身骨扫描影像，分割出骨盆部位的训练影像；及以该训练影像来训练卷积神经网络，以分类骨盆部位是否为骨转移影像。
以上概述与接下来的详细说明皆为示范性质，是为了进一步说明本发明的申请专利范围，而有关本发明的其他目的与优点，将在后续的说明与图式加以阐述。
附图说明
图1是本发明的基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统的架构图；
图2(A)是本发明一实施例的小腿分割范围；
图2(B)是本发明一实施例的线性转换前与转换后的影像；
图2(C)是本发明一实施例的数据增强8种不同范围的影像；
图2(D)是本发明一实施例的肋骨圈选框示意图；
图2(E)是本发明一实施例的骨盆圈选框示意图；
图3是本发明一实施例的神经网络架构图；
图4是本发明一实施例的胸腔网络流程图；
图5是本发明一实施例的人工仿真影像；
图6是本发明一实施例的训练影像产生流程图；
图7是本发明一实施例的圈选框(Label)产生流程图；
图8是本发明一实施例的胸腔网络架构图；
图9是本发明一实施例的骨盆网络流程图；
图10是本发明一实施例的训练影像产生流程图；
图11是本发明一实施例的圈选框(Label)产生流程图；
图12是本发明一实施例的骨盆卷积神经网络架构图。
附图标记：
前处理模块 11
神经网络模块 13
输入影像 101
胸腔部位网络模块 131
骨盆部位网络模块 132
具体实施方式
以下说明书将提供本发明的多个实施例。可理解的是，这些实施例并非用以限制。本发明的各实施例的特征可加以修饰、置换、组合、分离及设计以应用于其他实施例。
本申请所使用的序数例如“第一”、“第二”等用词，以修饰请求组件，并不意含及代表较大序数之前必然存在较小序数，也不代表某一请求组件与另一请求组件的排列顺序、或是制造顺序，该些序数的使用仅用来使具有某命名的一请求组件得以和具有相同命名的另一请求组件能作出清楚区分。
此外，本文关于“当…”或“…时”等描述表示”当下、之前或之后”等态样，而不限定为同时发生的情形，在此先行叙明。本文关于“设置于…上”等类似描述表示两组件的对应位置关系，除了有特别限定者的外，并不限定两组件之间是否有所接触，在此先行说明。再者，本文若在多个功效(或组件)之间使用“或”一词，则表示功效(或组件) 可独立存在，但也不排除多个功效(或组件)可同时存在的态样。
另外，本发明中关于「连接」、「电性连接」或「耦接」等词，若无特别强调，则表示包括了直接连接与间接连接的态样。另外，在本揭露中关于「包含」、「包括」、「具有」、「具备」等用语皆属于开放式的描述，在此先行说明。
再者，以下关于本发明的基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统的各种实施例，皆可通过软件程序或电子电路的方式实现，且不限于此。
本发明的基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统的目的为设计神经网络来检测全身骨扫描影像是否为摄护腺癌骨转移。其中，在神经网络建立部分，依据医师建议，人体可分为五个易转移部位，包括肩膀、胸腔(包含肋骨)、脊椎、骨盆、及大腿。为将人体部位单独训练成神经网络，考虑各部位所具有的转移点数量，及根据在人体区域的划分下，胸腔部分范围包含肩膀与脊椎、骨盆部分包含大腿，故将人体分为胸腔(包含肩膀与脊椎)及骨盆(包含大腿) 等两大易转移部位，以训练此两大易转移部位(胸腔、骨盆)神经网络。当中，依据转移点形状的不同，肋骨部分多小转移点，且小转移点多半分散于肋骨、脊椎上，故神经网络选择上使用能圈选转移点位置的加快区域卷积神经网络(FasterRegion-based Convolutional Neural Networks，Faster R-CNN)，而骨盆位置的转移点多为大区域或是大范围的转移，因此使用卷积神经网络直接将影像分类是否为癌症骨转移影像。
图1是本发明的基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统的架构图，其包括一前处理模块11及一神经网络模块13。前处理模块11接收输入影像101，其中，训练用的输入影像101为多组(例如156组)全身骨扫描影像，此影像例如以GE双头式γcamera机器所获取的病人的影像，每组病人的影像均包含正反面的骨扫描影像，其中，影像确认为摄护腺骨转移(影像上可见转移点)例如为65 组，其他则为摄护腺癌病人但影像上确认为尚未发生癌症骨转移。
前述前处理模块11对输入影像101进行以下处理，以获得经前处理的输入影像101：
(1)尺寸正规化：将正反面的骨扫描影像左右排列，裁剪成预设大小，例如为512×950(pixel×pixel)，以进行影像大小的规格化；
(2)灰阶值正规化：使用线性转换自动化调整影像的动态范围并储存为默认影像格式，例如为png影像格式。定义两个阈值，固定下阈值为0，上阈值的调整依据四肢清楚可见的原则，将影像分割成小腿到脚底的范围，分割方式为累积影像中每一列的灰阶总和，制成累积灰阶值直方图，定义分割人体与背景阈值，灰阶值总和大于200为人体范围，小腿则为人体25％高(由脚底算)，切割此影像如图2(A)横线条部分。依照图2虚线内分割的影像，定义线性转换的上阈值，线性公式如以下式(1)，式(1)中f(r,c)为全身影像，g(r,c)为转换后的灰阶值， a为线性转换下阈值为0，b为线性转换上阈值，使转换后影像的灰阶值为0～255之间。上阈值b公式为式(2)，k(r,c)为小腿影像(横线条范围)，d是一定值，灰阶值50可让小腿明显可见的阈值，当此比例的条件符合时，转换后影像的小腿轮廓清楚可见，此阈值b也当作整张影像线性转换式(1)的上阈值，图2(B)展示转换前与转换后的影像，左边为线性转换前，右边为线性转换后，右边的图对比优于左边的图也利于医师诊断，此影像当作网络的训练影像。
(3)数据增强(Data Augmentation)：调整影像动态范围，将一张影像调整成多种(例如8种)亮度对比，调整的方式如以下式(3)及式(4)，使用线性转换，采用8种上阈值，上阈值c用来调整影像，c的值会根据原始影像f(r,c)的灰阶值最大值进行调整。调整后的8种动态范围影像如图2(C)所示，其中，考虑到影像调亮使未骨转移病人的影像如同骨转移病人骨骼高剂量的情形，故只进行调暗的部分。
再请参照图1，前述经前处理的输入影像101输入神经网络模块 13，以进行后续的影像分割与转移点后转移影像分类的网络训练。
前述神经网络模块13包括一胸腔部位网络模块131及一骨盆部位网络模块132，前述经前处理的输入影像101分别输入该胸腔部位网络模块131及该骨盆部位网络模块132。前述胸腔部位网络模块131 及骨盆部位网络模块132所使用的Faster R-CNN架构皆相同于图3 所示的神经网络架构，其中，图3的输入影像101的大小为160×200 (pixel×pixel)，且由于图3的神经网络架构为熟悉卷积神经网络技术的人士所可理解，故不再详述其细节。
前述胸腔部位网络模块131是使用Faster R-CNN进行摄护腺癌骨转移的骨扫描影像预判，其整体流程可如图4所示，为方便说明，将网络训练方式主要分两步骤如下：
(1)建立第一阶段Faster R-CNN(1st)，输入全身骨扫描影像，侦测肋骨的部位并圈出大小范围(Bounding Box)，分割只包含胸腔部位的影像，如图2(D)所示，当作步骤(2)的训练影像；
(2)以步骤(1)产生的影像为训练影像，保留在步骤(1)肋骨范围内的转移点与额外圈选的标签(正常部位)建立圈选框(Label)，训练第二阶段Faster R-CNN(2nd R-CNN)，用以圈选胸腔范围内的亮点位置并分类出癌细胞骨转移的病灶，排除非癌细胞骨转移的亮点，若影像完全没有第二阶段圈出的亮点，即为非癌细胞骨转移的影像。
前述步骤(2)建立2个Faster R-CNN进行胸腔转移点的辨识，包含整个胸腔范围的Faster R-CNN与只包含胸腔中央2/3范围的Faster R-CNN，后者网络会将影像放大两倍输入而且只输入小转移点当作训练样本。胸腔网络例如共有200组样本，包含156组摄护腺癌骨转移病人与44组人工仿真样本，网络训练部分例如为156组真实样本，包含52组确定骨转移影像与104组未可见骨转移影像。
在人工仿真样本中，人工仿真的样本共44笔，包含10笔肋骨转移点模拟、10笔脊椎转移点模拟、10笔受伤仿真、14笔转移影像仿真。所有模拟的转移点皆为圆点，带有随机形变。仿真影像的制作为先寻找未有转移或是受伤的影像当作背景影像，定义绘制圆点的半径、高斯分布的标准偏差、绘制的点数、亮点的最低灰阶值、镜像下降的亮度灰阶值。在背景影像上给定中心，产生高斯分布的随机亮度点数 (2倍绘制点数的数量)与绘制点数量高斯分布的x坐标与y坐标。由于肿瘤在影像上的亮度分布越接近中心越强且呈现球状，因此取高斯分布最高点的前半段的点当作肿瘤亮点，将亮点经过线性转换至亮点的最低灰阶值到255之间，接着使用伽马校正(Gamma correction) 使亮度分布更极端，如式(5)，h(r,c)为g(r,c)经伽马校正后的影像，γ设定为0～1之间。将校正后亮点值、x,y坐标分别排序，从最外围的 x,y坐标给予最低亮点灰阶值，依序给予直到中心x,y坐标，产生一热区，将半径的上下左右各增加2pixels建立圈选框，在镜像位置也采用相同分布但由中心最高亮度依序给予至外围最低亮度的灰阶值，并下降其亮度，产生圈选框，以完成人工转移点。各影像会制作复数圆点仿真，产生人工仿真影像，如图5所示，图5为肋骨转移点仿真影像。所有的人工仿真影像皆经医师确认以使其符合相似于临床影像。
胸腔范围网络与2/3胸腔范围网络训练的方式相同，胸腔的影像分割如图6所示，输入全身骨扫描影像，使用第一阶段建立的Faster R-CNN，切割出两方框并合并，统计所有合并影像的尺寸，记录宽与高最大值，将影像调为此大小，等比例放大至其中一边符合，不足部分补黑底。在中间产生间隔避免正背面有圈选框的圈选框(Label)相连影响训练，当作训练影像。
骨转移病灶、疑似骨转移病灶、正常组织只保留胸腔范围内的当作圈选框(Label)，如图7所示，方框超出影像边界的部分会调整方框至影像内，为了避免切割后的方框产生一条线或过小的情况，只保留长宽最小边大于6pixels的圈选框。
图8显示胸腔部位网络模块131使用的Faster R-CNN架构，其中，输入为影像与框坐标，输出包括(1)分类：确定转移病灶、疑似转移病灶、其他组织、背景；以及(2)范围边界(Bounding Box)，进入RPN 部分前使用3层卷积层，ROI pooling层后则全部使用全连结层。由于图8的神经网络架构为熟悉卷积神经网络技术的人士所可理解，故不再详述其细节。
骨盆部位网络模块132则使用卷积神经网络来进行摄护腺癌骨转移的骨扫描影像预判，整体流程如图9所示，为方便说明，将网络训练方式主要分两步骤如下：
(1)建立第一阶段Faster R-CNN(1st)，输入全身骨扫描影像，侦测骨盆的部位并圈出大小范围(Bounding Box)，分割只包含骨盆部位的影像，如图2(E)所示。
(2)以步骤(1)产生的影像为训练影像，保留在步骤(1)骨盆范围内的转移点，如该张影像有转移点即定义为确定转移影像，其他为正常影像，建立影像的分类卷标，分为确定摄护腺癌骨转移与未发生摄护腺癌骨转移2类，训练卷积神经网络。骨盆网络例如共有156组样本，包含50组确定骨转移影像与106组未可见骨转移影像。
此网络使用整个骨盆区域进行训练，骨盆的影像分割如图10所示，输入全身骨扫描影像，使用第一阶段建立的Faster R-CNN，切割出两方框并合并，统计所有合并影像的尺寸，记录宽与高最大值，将影像调为此大小，等比例放大至其中一边符合，不足部分补黑底。在中间产生间隔，当作训练影像。
将影像分为确定骨转移影像与未发生骨转移影像，确认骨盆范围内有无骨转移病灶，如果存在，当作确定骨转移影像，定义分类1，若不存在则当作未发生骨转移影像，定义分类2，如图11所示，右边为列表展示的圈选框(Label)。
骨盆部位网络模块132可使用改良ResNet18架构，如图12所示，输入的影像大小为287×112(pixel×pixel)，输出为确定摄护腺骨转移影像、未发生摄护腺骨转移影像2类。
利用本发明的全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统，可建立一套早期诊断的辨识系统，以辅助医师进行摄护腺癌骨转移的辨识，并可将转移种类的热区使用矩形框圈选出。系统成熟后，未来利用这种影像呈现而非文字说明的方式，可以使不同科别的医师更快更方便找出影像上的病灶，提升医师整体的工作速度。使用深度学习方式，可以持续增加训练数据库内容，提升系统的准确度，而且加入人工仿真影像，改善样本数过少的问题。
尽管本发明已通过上述实施例来说明，可理解的是，根据本发明的精神及本发明所主张的申请专利范围，许多修饰及变化都是可能的。
Claims (12)
1.一种基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统，其特征在于，包括：
一前处理模块，接收输入的全身骨扫描影像以进行处理；以及
一神经网络模块，检测该输入的全身骨扫描影像是否为摄护腺癌骨转移，其包括：
一胸腔部位网络模块，包括：建立第一阶段加快区域卷积神经网络，依据输入的全身骨扫描影像，分割出胸腔部位的训练影像；及以该训练影像来训练第二阶段加快区域卷积神经网络，并分类出癌细胞骨转移的病灶；以及
一骨盆部位网络模块，使用卷积神经网络，包括：建立第一阶段加快区域卷积神经网络，依据输入的全身骨扫描影像，分割出骨盆部位的训练影像；及以该训练影像来训练卷积神经网络，以分类骨盆部位是否为骨转移影像。
2.如权利要求1所述的基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统，其特征在于，该前处理模块对该输入的全身骨扫描影像做尺寸正规化、灰阶值正规化、数据增强处理。
3.如权利要求1所述的基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统，其特征在于，该胸腔部位网络模块依据输入的全身骨扫描影像，侦测肋骨的部位并圈出大小范围，分割只包含胸腔部位的影像，以作为训练影像。
4.如权利要求1所述的基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统，其特征在于，该胸腔部位网络模块以该训练影像，保留在肋骨范围内的转移点与额外圈选的标签来建立圈选框，以训练第二阶段加快区域卷积神经网络，用以圈选胸腔范围内的亮点位置并分类出癌细胞骨转移的病灶，排除非癌细胞骨转移的亮点。
5.如权利要求4所述的基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统，其特征在于，若影像完全没有第二阶段圈出的亮点，即为非癌细胞骨转移的影像。
6.如权利要求4所述的基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统，其特征在于，该胸腔部位网络模块建立2个加快区域卷积神经网络进行胸腔转移点的辨识，包含整个胸腔范围的加快区域卷积神经网络与只包含胸腔中央2/3范围的加快区域卷积神经网络。
7.如权利要求1所述的基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统，其特征在于，该骨盆部位网络模块依据输入的全身骨扫描影像，侦测骨盆的部位并圈出大小范围，分割只包含骨盆部位的影像，以作为训练影像。
8.如权利要求1所述的基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统，其特征在于，该骨盆部位网络模块以该训练影像，保留在骨盆范围内的转移点，如该训练影像有转移点即定义为确定转移影像，否则为正常影像，建立影像的分类卷标，训练卷积神经网络，以分类是否为骨转移影像。
9.如权利要求1所述的基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统，其特征在于，该骨盆部位网络模块使用改良ResNet18架构。
10.如权利要求2所述的基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统，其特征在于，该尺寸正规化处理为将正反面的骨扫描影像左右排列，裁剪成默认大小进行影像大小的规格化。
11.如权利要求2所述的基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统，其特征在于，该灰阶值正规化处理为使用线性转换自动化调整影像的动态范围并储存为默认影像格式。
12.如权利要求2所述的基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统，其特征在于，该数据增强处理为用以调整影像动态范围，将影像调整成多种亮度对比。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108137163 | 2019-10-16 | ||
| TW108137163A TWI709147B (zh) | 2019-10-16 | 2019-10-16 | 基於全身骨掃描影像之深度學習攝護腺癌骨轉移辨識系統 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112669254A true CN112669254A (zh) | 2021-04-16 |
Family
ID=74202276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010661940.0A Pending CN112669254A (zh) | 2019-10-16 | 2020-07-10 | 基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11488303B2 (zh) |
| CN (1) | CN112669254A (zh) |
| TW (1) | TWI709147B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102020105697B3 (de) * | 2020-03-03 | 2021-03-04 | Carl Zeiss Meditec Ag | Computerimplementiertes Verfahren zum Auffinden möglicher Artefakte in einem virtuell eingefärbten Histologiebild |
| US20220036212A1 (en) * | 2020-07-30 | 2022-02-03 | International Business Machines Corporation | Dynamic augmentation based on data sample hardness |
| TWI746249B (zh) | 2020-11-05 | 2021-11-11 | 中國醫藥大學 | 心胸比估算方法及心胸比估算系統 |
| CN114119564B (zh) * | 2021-11-29 | 2024-06-18 | 苏州体素信息科技有限公司 | 肋骨ct图像的处理方法及系统 |
| KR102680365B1 (ko) * | 2021-12-14 | 2024-07-02 | 사회복지법인 삼성생명공익재단 | Ct 영상을 이용한 골 전이 검출 방법 및 분석장치 |
| CN114399501B (zh) * | 2022-01-27 | 2023-04-07 | 中国医学科学院北京协和医院 | 基于深度学习卷积神经网络的自动分割前列腺全腺体方法 |
| TWI834115B (zh) * | 2022-01-28 | 2024-03-01 | 采風智匯股份有限公司 | 骨骼影像處理與顯示方法 |
| TWI843443B (zh) * | 2023-02-18 | 2024-05-21 | 林喆 | 人體骨掃描影像處理系統及其方法 |
| CN116486090B (zh) * | 2023-06-25 | 2023-09-05 | 华南理工大学 | 肺癌脊柱转移图像处理方法、装置、设备、存储介质 |
| TWI826338B (zh) * | 2023-07-12 | 2023-12-11 | 沛智生醫科技股份有限公司 | 細胞辨識模型建立方法及其裝置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102096804A (zh) * | 2010-12-08 | 2011-06-15 | 上海交通大学 | 骨扫描中肿瘤骨转移的图像识别方法 |
| WO2013059177A1 (en) * | 2011-10-18 | 2013-04-25 | Medqia | Computer-aided bone scan assessment with automated lesion detection and quantitative assessment of bone disease burden changes |
| KR101919866B1 (ko) * | 2018-02-22 | 2018-11-19 | 주식회사 뷰노 | 뼈 스캔 영상에서 암 전이 여부의 판정을 지원하는 방법 및 이를 이용한 장치 |
| WO2018225448A1 (ja) * | 2017-06-09 | 2018-12-13 | 智裕 多田 | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 |
| WO2019136349A2 (en) * | 2018-01-08 | 2019-07-11 | Progenics Pharmaceuticals, Inc. | Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination |
-
2019
- 2019-10-16 TW TW108137163A patent/TWI709147B/zh not_active IP Right Cessation
-
2020
- 2020-07-10 CN CN202010661940.0A patent/CN112669254A/zh active Pending
- 2020-09-14 US US17/019,416 patent/US11488303B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102096804A (zh) * | 2010-12-08 | 2011-06-15 | 上海交通大学 | 骨扫描中肿瘤骨转移的图像识别方法 |
| WO2013059177A1 (en) * | 2011-10-18 | 2013-04-25 | Medqia | Computer-aided bone scan assessment with automated lesion detection and quantitative assessment of bone disease burden changes |
| WO2018225448A1 (ja) * | 2017-06-09 | 2018-12-13 | 智裕 多田 | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 |
| WO2019136349A2 (en) * | 2018-01-08 | 2019-07-11 | Progenics Pharmaceuticals, Inc. | Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination |
| KR101919866B1 (ko) * | 2018-02-22 | 2018-11-19 | 주식회사 뷰노 | 뼈 스캔 영상에서 암 전이 여부의 판정을 지원하는 방법 및 이를 이용한 장치 |
Non-Patent Citations (3)
| Title |
|---|
| GHESU FC, ET AL.: "Multi-scale deep reinforcement learning for real-time 3D-landmark detection in CT scans", 《 IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, vol. 41, no. 1, 1 January 2019 (2019-01-01), pages 176 - 189, XP055725456, DOI: 10.1109/TPAMI.2017.2782687 * |
| LU Y, ET AL.: "Identification of Metastatic Lymph Nodes in MR Imaging with Faster Region-Based Convolutional Neural Networks", 《CANCER RESEARCH》, vol. 78, no. 17, 1 September 2018 (2018-09-01), pages 5135 - 5143 * |
| REN SQ, ET AL.: "Faster r-cnn: Towards real-time object detection with region proposal networks", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, vol. 39, no. 6, 1 June 2017 (2017-06-01), pages 1137 - 1149, XP055705510, DOI: 10.1109/TPAMI.2016.2577031 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US11488303B2 (en) | 2022-11-01 |
| TW202117742A (zh) | 2021-05-01 |
| US20210118128A1 (en) | 2021-04-22 |
| TWI709147B (zh) | 2020-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112669254A (zh) | 基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统 | |
| Xu et al. | Efficient multiple organ localization in CT image using 3D region proposal network | |
| US6185320B1 (en) | Method and system for detection of lesions in medical images | |
| CN111445478B (zh) | 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法 | |
| CN112308822B (zh) | 基于深度卷积神经网络的椎间盘ct图像检测方法 | |
| CN112862824A (zh) | 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质 | |
| CN104217213B (zh) | 一种基于对称性理论的医学图像多阶段分类方法 | |
| CN101103924A (zh) | 基于乳腺x线摄片的乳腺癌计算机辅助诊断方法及其系统 | |
| US20030169915A1 (en) | Abnormal shadow detecting system | |
| US20230052133A1 (en) | Medical image processing method and apparatus, device, storage medium, and product | |
| CN115423806B (zh) | 一种基于多尺度跨路径特征融合的乳腺肿块检测方法 | |
| CN112862756A (zh) | 识别甲状腺肿瘤病理图像中病变类型及基因突变的方法 | |
| Oliver et al. | A comparison of breast tissue classification techniques | |
| Ichim et al. | Advanced processing techniques for detection and classification of skin lesions | |
| Krawczyk et al. | Segmentation of bone structures with the use of deep learning techniques | |
| Dhar | A method to detect breast cancer based on morphological operation | |
| Liu et al. | Deep multiscale multi-instance networks with regional scoring for mammogram classification | |
| CN113469942B (zh) | 一种ct图像病变检测方法 | |
| CN114445328A (zh) | 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与系统 | |
| Wang et al. | Vertebra segmentation for clinical CT images using mask R-CNN | |
| CN113191393A (zh) | 基于多模态融合的对比增强能谱乳腺摄影分类方法及系统 | |
| Rungruangbaiyok et al. | Chromosome image classification using a two-step probabilistic neural network. | |
| CN115880245A (zh) | 一种基于自监督的乳腺癌疾病分类方法 | |
| US7430308B1 (en) | Computer aided diagnosis of mammographic microcalcification clusters | |
| Kiran et al. | AI-Powered Radiology: Enhancing Efficiency and Accuracy in Knee Osteoarthritis Diagnosis through Automated Bone Segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |