CN117437459A - 基于决策网络实现用户膝关节髌骨软化状态分析方法 - Google Patents
基于决策网络实现用户膝关节髌骨软化状态分析方法 Download PDFInfo
- Publication number
- CN117437459A CN117437459A CN202311291009.8A CN202311291009A CN117437459A CN 117437459 A CN117437459 A CN 117437459A CN 202311291009 A CN202311291009 A CN 202311291009A CN 117437459 A CN117437459 A CN 117437459A
- Authority
- CN
- China
- Prior art keywords
- patella
- softening
- image
- knee joint
- classification network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004417 patella Anatomy 0.000 title claims abstract description 263
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004458 analytical method Methods 0.000 title claims abstract description 15
- 210000000629 knee joint Anatomy 0.000 claims abstract description 42
- 238000005192 partition Methods 0.000 claims abstract description 26
- 238000000638 solvent extraction Methods 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000000926 separation method Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 210000004081 cilia Anatomy 0.000 claims description 3
- 238000013145 classification model Methods 0.000 claims description 3
- 238000007621 cluster analysis Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims 1
- 210000000845 cartilage Anatomy 0.000 description 11
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 208000015100 cartilage disease Diseases 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 206010058314 Dysplasia Diseases 0.000 description 2
- 208000031481 Pathologic Constriction Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007850 degeneration Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 208000035475 disorder Diseases 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 210000004285 patellofemoral joint Anatomy 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000036262 stenosis Effects 0.000 description 2
- 208000037804 stenosis Diseases 0.000 description 2
- 210000005065 subchondral bone plate Anatomy 0.000 description 2
- 230000008961 swelling Effects 0.000 description 2
- 206010016654 Fibrosis Diseases 0.000 description 1
- 206010023215 Joint effusion Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000001188 articular cartilage Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 201000005043 chondromalacia Diseases 0.000 description 1
- 201000007391 chondromalacia patellae Diseases 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 230000005786 degenerative changes Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004761 fibrosis Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 201000008482 osteoarthritis Diseases 0.000 description 1
- 201000006651 patellofemoral pain syndrome Diseases 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于决策网络实现用户膝关节髌骨软化状态分析方法及装置，其中方法包括：对膝关节髌骨图像样本进行分区和背景分离；对膝关节髌骨图像样本及对应的分区图像进行训练，得到多个髌骨软化分类网络模型；根据设定规则从多个髌骨软化分类网络模型中选择部分模型作为候选髌骨软化分类网络模型；训练候选髌骨软化分类网络模型，并选择预设数量的目标候选髌骨软化分类网络模型，根据目标候选髌骨软化分类网络模型生成决策网络分类器；根据决策网络分类器，预测得到待测膝关节髌骨软化图像的软化状态。本发明通过对膝关节髌骨图像样本进行分区和背景分离，并根据生成的决策网络分类器预测得到髌骨软化状态，提升了髌骨软化分析的准确率。
Description
技术领域
本发明涉及医疗与人工智能技术领域，具体涉及一种基于决策网络实现用户膝关节髌骨软化状态分析方法及装置。
背景技术
髌骨软化症(chondromalacia patellae，CP)，又称髌骨软骨软化症，是膝关节常见病，女性发病率较男性高。其主要病理变化是软骨的退行性改变，包括软骨肿胀、碎裂、脱落，最后股骨髁的对应部位也发生同样病变，发展为髌股关节骨性关节炎。
目前对髌骨软化症检测的方法主要有X线、CT、MRI等方法，X线方法对诊断髌股排列错乱及股骨髁发育不良有诊断价值，可作为X线片诊断的补充手段。其优点是能显示髌骨关节面病变及髌股关节间隙狭窄更清楚，也可以显示部分髌骨软骨病变。CT对诊断髌股排列错乱及股骨髁发育不良有诊断价值，可作为X线片诊断的补充手段。其优点是能显示髌骨关节面病变及髌股关节间隙狭窄更清楚，也可以显示部分髌骨软骨病变。MRI表现对髌骨软化症有较大的诊断价值，能够很好的显示关节积液，软骨退变及软骨下骨的囊性变等表现。早期软骨改变，表现为软骨的变性、肿胀、磨损、坏死、碎裂、局部剥脱。MRI可以很好显示软骨形态的改变，因为水分的丢失，软骨信号从偏高信号变为低信号，甚至是局部缺如。
但上述检测方法依赖于医师的操作水平，容易误诊，因此，亟需一种基于决策网络实现用户膝关节髌骨软化状态分析方法。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述髌骨软化检测准确率较低问题的基于决策网络实现用户膝关节髌骨软化状态分析方法及装置。
根据本发明的一个方面，提供了一种基于决策网络实现用户膝关节髌骨软化状态分析方法，包括：
对膝关节髌骨图像样本进行分区和背景分离，得到所述膝关节髌骨图像样本的分区图像；
对所述膝关节髌骨图像样本及对应的分区图像进行训练，得到多个髌骨软化分类网络模型；
根据设定规则从所述多个髌骨软化分类网络模型中选择部分模型作为候选髌骨软化分类网络模型；
训练候选髌骨软化分类网络模型，并选择预设数量的目标候选髌骨软化分类网络模型，根据预设数量的所述目标候选髌骨软化分类网络模型生成决策网络分类器；
将待测膝关节髌骨软化图像输入至所述决策网络分类器，预测得到所述待测膝关节髌骨软化图像的软化状态，所述软化状态包括Ⅰ级、Ⅱ级、Ⅲ级、Ⅳ级。
更进一步地，所述对膝关节髌骨图像样本进行分区进一步包括：
预先构建髌骨软化分区模型，将髌骨软化轮廓图像喂入所述髌骨软化分区模型进行训练，其中，所述髌骨软化轮廓图像包括髌骨软化区内的毛刷状或纤毛化改变；
将各个所述髌骨软化轮廓图像输入至髌骨软化分类网络模型，得到髌骨软化的分割结果。
更进一步地，所述髌骨软化分区模型为多模态图像分割网络，其包括一个编码模块和一个解码模块；
所述编码模块和所述解码模块均包括至少一个残差模块，所述残差模块包括依次连接的卷积层、BN层和LeakyReLU层；
所述编码模块的残差模块和所述解码模块的残差模块之间设置有注意力模块，所述注意力模块包括通道注意力CA模块和空间注意力SA模块。
更进一步地，所述对膝关节髌骨图像样本进行分区，得到所述膝关节髌骨图像样本的分区图像进一步包括：
针对所述膝关节髌骨图像的任一像素点，确定与其周围四个邻近像素点的像素坐标和RGB颜色均值；
针对任一邻近像素点，将其RGB颜色均值小于第一预设阈值的像素点确定为弱边缘像素点，将其RGB颜色均值大于第二预设阈值的像素点确定为强边缘像素点；
将该强边缘像素点连接成边缘，当连接到边缘的端点时，在该强边缘像素点的邻域像素点中重新确定弱边缘像素点作为新边缘点，并继续检测和连接该新边缘点直至轮廓闭合，得到一个分区图像；
针对所述膝关节髌骨图像于所述分区图像之外的任一像素点，依次得到多个分区图像。
更进一步地，所述对膝关节髌骨图像样本进行背景分离进一步包括：
去除所述分区图像的彩色信息，得到灰度图像并进行归一化；
利用最大类间方差法计算所述灰度图像的二值化分割阈值；
将所述灰度图像中像素值小于预设分割阈值的区域设置为0，用黑色分割出所述分区的髌骨软化轮廓；将像素值大于预设分割阈值的区域设置为1，用白色分割出所述分区的背景轮廓。
更进一步地，所述将所述膝关节髌骨图像样本及对应的分区图像输入至分类模型，训练得到多个髌骨软化分类网络模型之前，所述方法还包括：
将所述髌骨软化轮廓图像转换为HSV颜色模型，并使用加权平均的方法对其进行灰度处理；
获取所述髌骨软化轮廓图像中各个轮廓的坐标，利用DBSCAN聚类算法对所述各个轮廓的坐标进行聚类分析，得到各个轮廓的Dunn指数；
将小于预设阈值的Dunn指数所对应的轮廓的区域设置为1。
更进一步地，所述根据设定规则从所述多个髌骨软化分类网络模型中选择部分模型作为候选髌骨软化分类网络模型进一步包括：
确定每个所述髌骨软化分类网络模型输出结果的正确率；
基于所述正确率对所述髌骨软化分类网络模型进行排序；
从排序后的所述髌骨软化分类网络模型中选择部分模型作为候选髌骨软化分类网络模型。
更进一步地，所述将待测膝关节髌骨软化图像输入至所述决策网络分类器，预测得到所述待测膝关节髌骨软化图像的软化状态进一步包括：
确定每个所述候选髌骨软化分类网络模型输出结果的正确率和分类结果；
基于所述正确率和分类结果对所述候选髌骨软化分类网络模型进行排序；
从排序后的所述候选髌骨软化分类网络模型中选择部分模型作为目标候选髌骨软化分类网络模型；
若所述目标候选髌骨软化分类网络模型的数量达到预设数量，则根据预设数量的所述目标候选髌骨软化分类网络模型生成决策分类器。
更进一步地，获得HSV颜色模型的色度图H、饱和度图S和亮度图V，以HSV颜色模型中的H分量为目标特征，利用直方图统计方法提取H分量的分布特性作为颜色特征。
根据本发明的另一方面，提供了一种基于决策网络实现用户膝关节髌骨软化状态分析装置，包括：
图像分区模块，用于对膝关节髌骨图像样本进行分区和背景分离，得到所述膝关节髌骨图像样本的分区图像；
模型训练模块，用于对所述膝关节髌骨图像样本及对应的分区图像进行训练，得到多个髌骨软化分类网络模型；
候选模型选择模块，用于根据设定规则从所述多个髌骨软化分类网络模型中选择部分模型作为候选髌骨软化分类网络模型；
决策网络生成模块，用于训练候选髌骨软化分类网络模型，并选择预设数量的目标候选髌骨软化分类网络模型，根据预设数量的所述目标候选髌骨软化分类网络模型生成决策网络分类器；
预测输出模块，用于将待测膝关节髌骨软化图像输入至所述决策网络分类器，预测得到所述待测膝关节髌骨软化图像的软化状态，所述软化状态包括Ⅰ级、Ⅱ级、Ⅲ级、Ⅳ级。
根据本发明提供的方案，对膝关节髌骨图像样本进行分区和背景分离，得到所述膝关节髌骨图像样本的分区图像；对所述膝关节髌骨图像样本及对应的分区图像进行训练，得到多个髌骨软化分类网络模型；根据设定规则从所述多个髌骨软化分类网络模型中选择部分模型作为候选髌骨软化分类网络模型；训练候选髌骨软化分类网络模型，并选择预设数量的目标候选髌骨软化分类网络模型，根据预设数量的所述目标候选髌骨软化分类网络模型生成决策网络分类器；将待测膝关节髌骨软化图像输入至所述决策网络分类器，预测得到所述待测膝关节髌骨软化图像的软化状态，所述软化状态包括Ⅰ级、Ⅱ级、Ⅲ级、Ⅳ级。本发明通过对膝关节髌骨图像样本进行分区和背景分离，并根据生成的决策网络分类器预测得到髌骨软化状态，提升了髌骨软化分析的准确率
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例的基于决策网络实现用户膝关节髌骨软化状态分析方法的流程示意图；
图2示出了本发明实施例的对膝关节髌骨图像进行分区的流程示意图；
图3示出了本发明实施例的髌骨软化分类网络模型的示意图一；
图4示出了本发明实施例的髌骨软化分类网络模型的示意图二；
图5示出了本发明实施例的正常髌骨软化示意图；
图6示出了本发明实施例的髌骨局部软化示意图；
图7示出了本发明实施例的基于决策网络实现用户膝关节髌骨软化状态分析装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明实施例的基于决策网络实现用户膝关节髌骨软化状态分析方法的流程示意图。本方法通过对膝关节髌骨图像样本进行分区和背景分离，并根据生成的决策网络分类器预测得到髌骨软化状态。具体地，包括以下步骤：
步骤S101，对膝关节髌骨图像样本进行分区和背景分离，得到所述膝关节髌骨图像样本的分区图像。
本实施例中，对所述膝关节髌骨图像进行分区的主要原理在于识别出图像中颜色变化或者亮度变化明显的像素点，这些像素点的显著性变化往往代表图像的这部分属性发生了重要变化，其中包括了深度上的不连续、方向上的不连续及亮度上的不连续等。对所述膝关节髌骨图像进行检测时，先检测区域轮廓的像素点，针对任一邻近像素点，将其RGB颜色均值小于第一预设阈值的像素点确定为弱边缘像素点，将其RGB颜色均值大于第二预设阈值的像素点确定为强边缘像素点。将该强边缘像素点连接成边缘，当连接到边缘的端点时，在该强边缘像素点的邻域像素点中重新确定弱边缘像素点作为新边缘点，并继续检测和连接该新边缘点直至轮廓闭合，输出该轮廓的坐标。也可以通过例如Roberts算子、Sobel算子、二阶Laplacian算子等图像边缘检测方法检测待所述膝关节髌骨图像区域的边界，本文对此不加以限定。
更进一步地，所述将各个所述分区图像进行背景分离，得到所述分区的背景轮廓和髌骨软化轮廓进一步包括：
去除所述分区图像的彩色信息，得到灰度图像并进行归一化。
利用最大类间方差法计算所述灰度图像的二值化分割阈值。最大类间方差法(OTSU算法，又名大津法)是一种对图像进行二值化的高效算法，利用阈值将原图像分成前景，背景两个图象，是按图像的灰度特性,将图像分成背景和目标两个部分，背景和目标之间的类间方差越大，说明构成图像的两部分的差别越大,当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小。因此，使类间方差最大的分割意味着错分概率最小。
将所述灰度图像中像素值小于预设分割阈值的区域设置为0，用黑色分割出所述分区的髌骨软化轮廓；将像素值大于预设分割阈值的区域设置为1，用白色分割出所述分区的背景轮廓。例如，根据大量实验统计，取二值化分割阈值为0.9对灰度图像进行二值化，把灰度图像中像素值小于0.9的区域设置为0，用黑色表示分割出的前景轮廓区域；而像素值大于0.9的区域设置为1，用白色表示分割出的背景区域。
更进一步地，所述对膝关节髌骨图像样本进行分区进一步包括：
预先构建髌骨软化分区模型，将髌骨软化轮廓图像喂入所述髌骨软化分区模型进行训练，其中，所述髌骨软化轮廓图像包括髌骨软化区内的毛刷状或纤毛化改变；
将各个所述髌骨软化轮廓图像输入至髌骨软化分类网络模型，得到髌骨软化的分割结果。
步骤S102，对所述膝关节髌骨图像样本及对应的分区图像进行训练，得到多个髌骨软化分类网络模型。
训练多个髌骨软化分类网络模型的目的在于克服单一模型不适用所有膝关节髌骨图像样本的问题，可以选择卷积神经网络模型、SVM模型等作为初始模型。需要说明的是，本实施例不限定对初始模型作具体限定。
更进一步地，如图3所示，所述髌骨软化分类网络模型为多模态图像分割网络，其包括一个编码模块和一个解码模块；
所述编码模块和所述解码模块均包括至少一个残差模块，所述残差模块包括依次连接的卷积层、BN层和LeakyReLU层；
所述编码模块的残差模块和所述解码模块的残差模块之间设置有注意力模块，所述注意力模块包括通道注意力CA模块和空间注意力SA模块。
现有多模态图像分割网络(MultiResUNet网络)存在感受野太小等问题，本实施例中，所述编码模块和所述解码模块均包括至少一个残差模块，所述残差模块包括依次连接的卷积层、BN层和LeakyReLU层，能够扩大感受野以对目标图像进行分割，有助于分割不同大小的目标。
为了进一步解决现有的多模态图像分割网络存在的通道、空间关系表现不明显的问题，本发明实施例在网络中增加了具有双注意力机制的注意力模块，以重新整合通道、空间特征权重。
所述注意力模块包括通道注意力CA模块和空间注意力SA模块，所述通道注意力CA模块和所述通道注意力SA模块的输出进行相加操作。可选地，所述通道注意力CA模块包括两个具有相同结构的CA单元，每个所述CA单元包括依次连接的自适应全局平均池化层和卷积层。两个所述CA单元的输出进行相加操作后经过Softmax激活函数得到通道权重，将输入数据中来自编码模块的低级特征与所述通道权重相乘后再与输入数据中来自解码模块的高级特征相加得到输出特征，记作CA模块的输出。其中，Attention计算公式为：
其中，Q＝F·WQ，K＝F·WK，V＝F·WV，F为特征，W为参数矩阵。
如图4所示，编码模块从网络浅层到网络深层包括五个残差模块，编号为1、2、3、4、5，每两个残差模块之间用最大池化层进行降采样；解码模块从网络浅层到网络深层包括四个残差模块，编号为6、7、8、9，每两个残差模块之间包括一个上采样层，编码模块的输出通过一个上采样层输入解码模块；编号5、6、7、8的残差模块的输出特征先进行2倍上采样操作，之后分别和来自编号4、3、2、1的残差模块的输出特征经过注意力模块重新分配权重后的特征通过Concat连接操作进行融合；其中，来自编号4、3、2、1的残差模块的输出特征在经过注意力模块之前还需要分别经过残差模块(1、2、3、4)。本实施例中，在每个编码模块中使用不同的三角函数对不同视频关键帧进行位置编码，具体公式为：
其中，i为图像关键帧编号。
在得到头意力值后，使用残差连接每个头的输出得到计算的最终值，头注意力计算公式具体为：
Head(Q,K,V)＝Concat(Head1,…,headh)WO
其中，
在训练时使用采用交叉熵作为损失函数，损失函数的具体公式为：
其中，f为特征，Softmax为归一化函数。
更进一步地，所述将所述膝关节髌骨图像样本及对应的分区图像输入至分类模型，训练得到多个髌骨软化分类网络模型之前，所述方法还包括：
将所述髌骨软化轮廓图像转换为HSV颜色模型(获得HSV模型的色度图H、饱和度图S和亮度图V)，即提取H分量的直方图作为颜色特征向量以表征图像颜色特性。色调包含图像的彩色信息，是区分不同颜色物料的显著特征，以HSV模型中的H分量为目标特征，利用直方图统计方法提取H分量的分布特性作为颜色特征，具有不局限于底层特征数量的特点以及不依赖具体特征类型的特征分辨能力。使用加权平均的方法对其进行灰度处理将其归一化后得到一个256维的特征向量。
获取所述髌骨软化轮廓图像中各个轮廓的坐标，利用DBSCAN聚类算法对所述各个轮廓的坐标进行聚类分析，得到各个轮廓的Dunn指数。其中，DBSCAN聚类算法是基于密度聚类(DBSCAN)的无监督机器学习算法，如果数据点的相互距离小于或等于指定的epsilon，那么为同一类，在一个邻域的半径内minPts数的邻域被认为是一个簇。DBSCAN可确定两个点是否相似以及属于同一类的距离。Dunn指数是指任意两个簇之间最近的距离的最小值，除以任意一个簇内距离最远的两个点的距离的最大值。如果任意两个簇之间最近的距离的最小值越大(即簇间样本距离相互都很远)，则Dunn指数越大；如果任意一个簇内距离最远的两个点的距离的最大值越小(即簇内样本距离都很近)，则Dunn指数越大。
将小于预设阈值的Dunn指数所对应的轮廓的区域设置为1，用白色表示分割出的背景区域，可以排除噪声干扰。
步骤S103，根据设定规则从所述多个髌骨软化分类网络模型中选择部分模型作为候选髌骨软化分类网络模型。
在本实施例中，训练好的髌骨软化分类网络模型包括多个，从多个髌骨软化分类网络模型匹配出符合设定规则的部分模型作为候选髌骨软化分类网络模型，设定的规则可以根据髌骨软化分类网络模型输出结果的正确率确定。
更进一步地，所述根据设定规则从所述多个髌骨软化分类网络模型中选择部分模型作为候选髌骨软化分类网络模型进一步包括：
确定每个所述髌骨软化分类网络模型输出结果的正确率；
基于所述正确率对所述髌骨软化分类网络模型进行排序；
从排序后的所述髌骨软化分类网络模型中选择部分模型作为候选髌骨软化分类网络模型。
更进一步地，所述将待测膝关节髌骨软化图像输入至所述决策网络分类器，预测得到所述待测膝关节髌骨软化图像的软化状态进一步包括：
确定每个所述候选髌骨软化分类网络模型输出结果的正确率和分类结果；
基于所述正确率和分类结果对所述候选髌骨软化分类网络模型进行排序；
从排序后的所述候选髌骨软化分类网络模型中选择部分模型作为目标候选髌骨软化分类网络模型；
若所述目标候选髌骨软化分类网络模型的数量达到预设数量，则根据预设数量的所述目标候选髌骨软化分类网络模型生成决策分类器。
步骤S104，训练候选髌骨软化分类网络模型，并选择预设数量的目标候选髌骨软化分类网络模型，根据预设数量的所述目标候选髌骨软化分类网络模型生成决策网络分类器。
本实施例中的候选髌骨软化分类网络模型的类型不相同，造成候选模型的输出结果也存在差异，因此，对候选髌骨软化分类网络模型进行二次训练，为达到训练效果，采用新训练样本对候选髌骨软化分类网络模型进行训练。候选髌骨软化分类网络模型训练的步骤与初始模型训练的步骤类似，在候选髌骨软化分类网络模型训练完成后，从训练好的候选髌骨软化分类网络模型中选择设定数量的候选模型作为目标候选髌骨软化分类网络模型，选择的标准可以依据候选髌骨软化分类网络模型输出结果的正确率组合设定数量的目标候选髌骨软化分类网络模型作为候选髌骨软化分类网络模型。
步骤S105，将待测膝关节髌骨软化图像输入至所述决策网络分类器，预测得到所述待测膝关节髌骨软化图像的软化状态，所述软化状态包括Ⅰ级、Ⅱ级、Ⅲ级、Ⅳ级。
更进一步地，所述将待测膝关节髌骨软化图像输入至所述决策网络分类器，预测得到所述待测膝关节髌骨软化图像的软化状态进一步包括：
确定每个所述候选髌骨软化分类网络模型输出结果的正确率和分类结果；
基于所述正确率和分类结果对所述候选髌骨软化分类网络模型进行排序；
从排序后的所述候选髌骨软化分类网络模型中选择部分模型作为目标候选髌骨软化分类网络模型；
若所述目标候选髌骨软化分类网络模型的数量达到预设数量，则根据预设数量的所述目标候选髌骨软化分类网络模型生成决策分类器。
如图5所示的正常髌骨软化示意图，图6所示的髌骨局部软化示意图。其中，0级：关节软骨正常，Ⅰ级：软骨软化、水肿、表面出现泡状结构；Ⅱ级：软骨变薄出现中度纤维化，表面缺损＜全层50％；Ⅲ级：软骨重度纤维化，呈蟹肉样改变，缺损＞全层50％；Ⅳ级：软骨退变深达骨皮质，全层缺损，软骨下骨质暴露。
根据本发明提供的方案，对膝关节髌骨图像样本进行分区和背景分离，得到所述膝关节髌骨图像样本的分区图像；对所述膝关节髌骨图像样本及对应的分区图像进行训练，得到多个髌骨软化分类网络模型；根据设定规则从所述多个髌骨软化分类网络模型中选择部分模型作为候选髌骨软化分类网络模型；训练候选髌骨软化分类网络模型，并选择预设数量的目标候选髌骨软化分类网络模型，根据预设数量的所述目标候选髌骨软化分类网络模型生成决策网络分类器；将待测膝关节髌骨软化图像输入至所述决策网络分类器，预测得到所述待测膝关节髌骨软化图像的软化状态，所述软化状态包括Ⅰ级、Ⅱ级、Ⅲ级、Ⅳ级。本发明通过对膝关节髌骨图像样本进行分区和背景分离，并根据生成的决策网络分类器预测得到髌骨软化状态，提升了髌骨软化分析的准确率。
Claims (10)
1.一种基于决策网络实现用户膝关节髌骨软化状态分析方法，其特征在于，包括：
对膝关节髌骨图像样本进行分区和背景分离，得到所述膝关节髌骨图像样本的分区图像；
对所述膝关节髌骨图像样本及对应的分区图像进行训练，得到多个髌骨软化分类网络模型；
根据设定规则从所述多个髌骨软化分类网络模型中选择部分模型作为候选髌骨软化分类网络模型；
训练候选髌骨软化分类网络模型，并选择预设数量的目标候选髌骨软化分类网络模型，根据预设数量的所述目标候选髌骨软化分类网络模型生成决策网络分类器；
将待测膝关节髌骨软化图像输入至所述决策网络分类器，预测得到所述待测膝关节髌骨软化图像的软化状态，所述软化状态包括Ⅰ级、Ⅱ级、Ⅲ级、Ⅳ级。
2.根据权利要求1所述的基于决策网络实现用户膝关节髌骨软化状态分析方法，其特征在于，所述对膝关节髌骨图像样本进行分区进一步包括：
预先构建髌骨软化分区模型，将髌骨软化轮廓图像喂入所述髌骨软化分区模型进行训练，其中，所述髌骨软化轮廓图像包括髌骨软化区内的毛刷状或纤毛化改变；
将各个所述髌骨软化轮廓图像输入至髌骨软化分类网络模型，得到髌骨软化的分割结果。
3.根据权利要求2所述的基于决策网络实现用户膝关节髌骨软化状态分析方法，其特征在于，所述髌骨软化分区模型为多模态图像分割网络，其包括一个编码模块和一个解码模块；
所述编码模块和所述解码模块均包括至少一个残差模块，所述残差模块包括依次连接的卷积层、BN层和LeakyReLU层；
所述编码模块的残差模块和所述解码模块的残差模块之间设置有注意力模块，所述注意力模块包括通道注意力CA模块和空间注意力SA模块。
4.根据权利要求1所述的基于决策网络实现用户膝关节髌骨软化状态分析方法，其特征在于，所述对膝关节髌骨图像样本进行分区，得到所述膝关节髌骨图像样本的分区图像进一步包括：
针对所述膝关节髌骨图像的任一像素点，确定与其周围四个邻近像素点的像素坐标和RGB颜色均值；
针对任一邻近像素点，将其RGB颜色均值小于第一预设阈值的像素点确定为弱边缘像素点，将其RGB颜色均值大于第二预设阈值的像素点确定为强边缘像素点；
将该强边缘像素点连接成边缘，当连接到边缘的端点时，在该强边缘像素点的邻域像素点中重新确定弱边缘像素点作为新边缘点，并继续检测和连接该新边缘点直至轮廓闭合，得到一个分区图像；
针对所述膝关节髌骨图像于所述分区图像之外的任一像素点，依次得到多个分区图像。
5.根据权利要求4所述的基于决策网络实现用户膝关节髌骨软化状态分析方法，其特征在于，所述对膝关节髌骨图像样本进行背景分离进一步包括：
去除所述分区图像的彩色信息，得到灰度图像并进行归一化；
利用最大类间方差法计算所述灰度图像的二值化分割阈值；
将所述灰度图像中像素值小于预设分割阈值的区域设置为0，用黑色分割出所述分区的髌骨软化轮廓；将像素值大于预设分割阈值的区域设置为1，用白色分割出所述分区的背景轮廓。
6.根据权利要求1所述的基于决策网络实现用户膝关节髌骨软化状态分析方法，其特征在于，所述将所述膝关节髌骨图像样本及对应的分区图像输入至分类模型，训练得到多个髌骨软化分类网络模型之前，所述方法还包括：
将所述髌骨软化轮廓图像转换为HSV颜色模型，并使用加权平均的方法对其进行灰度处理；
获取所述髌骨软化轮廓图像中各个轮廓的坐标，利用DBSCAN聚类算法对所述各个轮廓的坐标进行聚类分析，得到各个轮廓的Dunn指数；
将小于预设阈值的Dunn指数所对应的轮廓的区域设置为1。
7.根据权利要求1所述的基于决策网络实现用户膝关节髌骨软化状态分析方法，其特征在于，所述根据设定规则从所述多个髌骨软化分类网络模型中选择部分模型作为候选髌骨软化分类网络模型进一步包括：
确定每个所述髌骨软化分类网络模型输出结果的正确率；
基于所述正确率对所述髌骨软化分类网络模型进行排序；
从排序后的所述髌骨软化分类网络模型中选择部分模型作为候选髌骨软化分类网络模型。
8.根据权利要求1所述的基于决策网络实现用户膝关节髌骨软化状态分析方法，其特征在于，所述将待测膝关节髌骨软化图像输入至所述决策网络分类器，预测得到所述待测膝关节髌骨软化图像的软化状态进一步包括：
确定每个所述候选髌骨软化分类网络模型输出结果的正确率和分类结果；
基于所述正确率和分类结果对所述候选髌骨软化分类网络模型进行排序；
从排序后的所述候选髌骨软化分类网络模型中选择部分模型作为目标候选髌骨软化分类网络模型；
若所述目标候选髌骨软化分类网络模型的数量达到预设数量，则根据预设数量的所述目标候选髌骨软化分类网络模型生成决策分类器。
9.根据权利要求6所述的基于决策网络实现用户膝关节髌骨软化状态分析方法，其特征在于，所述髌骨软化轮廓图像转换为HSV颜色模型进一步包括：
获得HSV颜色模型的色度图H、饱和度图S和亮度图V，以HSV颜色模型中的H分量为目标特征，利用直方图统计方法提取H分量的分布特性作为颜色特征。
10.一种基于决策网络实现用户膝关节髌骨软化状态分析装置，其应用如权利要求1-9任一项基于决策网络实现用户膝关节髌骨软化状态分析方法，其特征在于，包括：
图像分区模块，用于对膝关节髌骨图像样本进行分区和背景分离，得到所述膝关节髌骨图像样本的分区图像；
模型训练模块，用于对所述膝关节髌骨图像样本及对应的分区图像进行训练，得到多个髌骨软化分类网络模型；
候选模型选择模块，用于根据设定规则从所述多个髌骨软化分类网络模型中选择部分模型作为候选髌骨软化分类网络模型；
决策网络生成模块，用于训练候选髌骨软化分类网络模型，并选择预设数量的目标候选髌骨软化分类网络模型，根据预设数量的所述目标候选髌骨软化分类网络模型生成决策网络分类器；
预测输出模块，用于将待测膝关节髌骨软化图像输入至所述决策网络分类器，预测得到所述待测膝关节髌骨软化图像的软化状态，所述软化状态包括Ⅰ级、Ⅱ级、Ⅲ级、Ⅳ级。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311291009.8A CN117437459B (zh) | 2023-10-08 | 2023-10-08 | 基于决策网络实现用户膝关节髌骨软化状态分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311291009.8A CN117437459B (zh) | 2023-10-08 | 2023-10-08 | 基于决策网络实现用户膝关节髌骨软化状态分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117437459A true CN117437459A (zh) | 2024-01-23 |
| CN117437459B CN117437459B (zh) | 2024-03-22 |
Family
ID=89548884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311291009.8A Active CN117437459B (zh) | 2023-10-08 | 2023-10-08 | 基于决策网络实现用户膝关节髌骨软化状态分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117437459B (zh) |
Citations (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6760468B1 (en) * | 1996-02-06 | 2004-07-06 | Deus Technologies, Llc | Method and system for the detection of lung nodule in radiological images using digital image processing and artificial neural network |
| CN103440665A (zh) * | 2013-09-13 | 2013-12-11 | 重庆大学 | 膝关节软骨图像自动分割方法 |
| US20170061326A1 (en) * | 2015-08-25 | 2017-03-02 | Qualcomm Incorporated | Method for improving performance of a trained machine learning model |
| WO2017055412A1 (en) * | 2015-09-30 | 2017-04-06 | Siemens Healthcare Gmbh | Method and system for classification of endoscopic images using deep decision networks |
| EP3462373A1 (en) * | 2017-10-02 | 2019-04-03 | Promaton Holding B.V. | Automated classification and taxonomy of 3d teeth data using deep learning methods |
| CN109741352A (zh) * | 2018-12-25 | 2019-05-10 | 深圳市第二人民医院 | 基于多模态磁共振的软骨损伤修复图像分割方法 |
| CN109859210A (zh) * | 2018-12-25 | 2019-06-07 | 上海联影智能医疗科技有限公司 | 一种医学数据处理装置及方法 |
| CN110415244A (zh) * | 2019-08-02 | 2019-11-05 | 陈晋音 | 判断骨骼状态的方法及其模型训练方法、装置 |
| US20200065563A1 (en) * | 2018-08-21 | 2020-02-27 | Software Ag | Systems and/or methods for accelerating facial feature vector matching with supervised machine learning |
| US20200160942A1 (en) * | 2018-11-21 | 2020-05-21 | Enlitic, Inc. | Automatic patient recruitment system |
| CN111209952A (zh) * | 2020-01-03 | 2020-05-29 | 西安工业大学 | 基于改进ssd和迁移学习的水下目标检测方法 |
| CN111640093A (zh) * | 2020-05-20 | 2020-09-08 | 上海联影智能医疗科技有限公司 | 医学图像的质控方法和计算机可读存储介质 |
| US20200357118A1 (en) * | 2018-11-21 | 2020-11-12 | Enlitic, Inc. | Medical scan viewing system with enhanced training and methods for use therewith |
| US20200357117A1 (en) * | 2018-11-21 | 2020-11-12 | Enlitic, Inc. | Heat map generating system and methods for use therewith |
| US20200401843A1 (en) * | 2019-06-21 | 2020-12-24 | StraxCorp Pty. Ltd. | Method and system for machine learning classification based on structure or material segmentation in an image |
| US20210064934A1 (en) * | 2019-08-30 | 2021-03-04 | Adobe Inc. | Selecting logo images using machine-learning-logo classifiers |
| CN112446476A (zh) * | 2019-09-04 | 2021-03-05 | 华为技术有限公司 | 神经网络模型压缩的方法、装置、存储介质和芯片 |
| US10949747B1 (en) * | 2020-04-16 | 2021-03-16 | Sas Institute Inc. | Deep learning model training system |
| US20210133976A1 (en) * | 2019-11-04 | 2021-05-06 | GE Precision Healthcare LLC | Systems and methods for functional imaging follow-up evaluation using deep neural network |
| CN113269224A (zh) * | 2021-03-24 | 2021-08-17 | 华南理工大学 | 一种场景图像分类方法、系统及存储介质 |
| CN113283407A (zh) * | 2021-07-22 | 2021-08-20 | 南昌工程学院 | 一种基于通道与空间注意力机制的孪生网络目标跟踪方法 |
| CN113689402A (zh) * | 2021-08-24 | 2021-11-23 | 北京长木谷医疗科技有限公司 | 基于深度学习的股骨髓腔形态识别方法、装置及存储介质 |
| WO2021247868A1 (en) * | 2020-06-03 | 2021-12-09 | Case Western Reserve University | Classification of blood cells |
| CN113838048A (zh) * | 2021-10-12 | 2021-12-24 | 大连理工大学 | 一种十字交叉韧带术前止点中心定位及韧带长度计算方法 |
| WO2022007972A1 (zh) * | 2020-07-06 | 2022-01-13 | 北京长木谷医疗科技有限公司 | 一种全髋关节图像的处理方法及装置 |
| CN114049515A (zh) * | 2021-10-29 | 2022-02-15 | 携程旅游信息技术（上海）有限公司 | 图像分类方法、系统、电子设备和存储介质 |
| CN114095447A (zh) * | 2021-11-22 | 2022-02-25 | 成都中科微信息技术研究院有限公司 | 一种基于知识蒸馏与自蒸馏的通信网络加密流量分类方法 |
| CN114186612A (zh) * | 2021-11-17 | 2022-03-15 | 南方科技大学 | 模型训练方法、地形环境识别方法、装置及电子设备 |
| CN114612511A (zh) * | 2022-03-09 | 2022-06-10 | 齐齐哈尔大学 | 基于改进域对抗神经网络算法的运动训练辅助决策支持系统 |
| CN114782391A (zh) * | 2022-04-29 | 2022-07-22 | 广州大学 | 少样本工业图像缺陷检测模型构建方法、系统及装置 |
| CN114972836A (zh) * | 2022-06-14 | 2022-08-30 | 南京信息工程大学 | 一种基于多模块融合的加密流量分类方法 |
| EP4060609A1 (en) * | 2021-03-18 | 2022-09-21 | Koninklijke Philips N.V. | Detecting abnormalities in an x-ray image |
| CN115131655A (zh) * | 2022-09-01 | 2022-09-30 | 浙江啄云智能科技有限公司 | 目标检测模型的训练方法、装置与目标检测方法 |
| KR20220144149A (ko) * | 2021-04-19 | 2022-10-26 | 주식회사 바스젠바이오 | 엑스레이 영상에서 골절을 검출하는 방법 |
| WO2022225995A1 (en) * | 2021-04-19 | 2022-10-27 | F. Hoffmann-La Roche Ag | Methods and systems for gene alteration prediction from pathology slide images |
| CN115272372A (zh) * | 2022-08-01 | 2022-11-01 | 瓴域影诺(北京)科技有限公司 | 一种基于3D-UNet的膝关节CT图像分割方法及系统 |
| CN115393656A (zh) * | 2022-10-26 | 2022-11-25 | 中石化经纬有限公司 | 一种用于随钻测井图像地层分类的自动分类方法 |
| WO2022260252A1 (ko) * | 2021-06-10 | 2022-12-15 | 삼성전자 주식회사 | 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법 |
| WO2023282569A1 (en) * | 2021-07-06 | 2023-01-12 | Samsung Electronics Co., Ltd. | Method and electronic device for generating optimal neural network (nn) model |
| CN115601346A (zh) * | 2022-10-31 | 2023-01-13 | 大连东软信息学院（Cn） | 一种基于深度学习的多模态mri对膝关节软骨损伤的多层次分类方法 |
| JP2023502813A (ja) * | 2020-10-30 | 2023-01-26 | 上▲海▼商▲湯▼智能科技有限公司 | モデル訓練方法、画像処理及びレジストレーション方法、装置、デバイス、媒体 |
| US20230021336A1 (en) * | 2021-07-12 | 2023-01-26 | Isabelle Mordecai Troxler | Methods and apparatus for predicting and preventing autistic behaviors with learning and ai algorithms |
| CN115661943A (zh) * | 2022-12-22 | 2023-01-31 | 电子科技大学 | 一种基于轻量级姿态评估网络的跌倒检测方法 |
| US20230072423A1 (en) * | 2018-01-25 | 2023-03-09 | Meta Platforms Technologies, Llc | Wearable electronic devices and extended reality systems including neuromuscular sensors |
| WO2023060944A1 (zh) * | 2021-10-11 | 2023-04-20 | 浙江大学 | 一种基于混合监督学习的肝脏ct图像分割系统和算法 |
| WO2023084543A1 (en) * | 2021-11-12 | 2023-05-19 | Waycool Foods And Products Private Limited | System and method for leveraging neural network based hybrid feature extraction model for grain quality analysis |
| US20230168649A1 (en) * | 2021-11-29 | 2023-06-01 | Johnson Controls Tyco IP Holdings LLP | Building control system using reinforcement learning |
| CN116206155A (zh) * | 2023-02-27 | 2023-06-02 | 桂林理工大学 | 基于YOLOv5网络的废钢分类识别方法 |
| CN116206327A (zh) * | 2022-11-25 | 2023-06-02 | 中科(厦门)数据智能研究院 | 一种基于在线知识蒸馏的图像分类方法 |
| CN116309503A (zh) * | 2023-03-20 | 2023-06-23 | 瑞泰影像科技(深圳)有限公司 | 基于语义分割的医学影像图像质量评价系统 |
| KR20230120600A (ko) * | 2022-02-08 | 2023-08-17 | 주식회사 마인드포지 | 오브젝트를 검출하는 전자 장치 및 이의 제어 방법 |
| WO2023153812A1 (ko) * | 2022-02-08 | 2023-08-17 | 주식회사 마인드포지 | 오브젝트를 검출하는 전자 장치 및 이의 제어 방법 |
| CN116631619A (zh) * | 2023-05-12 | 2023-08-22 | 中国人民解放军总医院第一医学中心 | 术后弯腿训练监控系统及其方法 |
| CN116796810A (zh) * | 2023-06-28 | 2023-09-22 | 河海大学 | 一种基于知识蒸馏的深度神经网络模型压缩方法及装置 |
-
2023
- 2023-10-08 CN CN202311291009.8A patent/CN117437459B/zh active Active
Patent Citations (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6760468B1 (en) * | 1996-02-06 | 2004-07-06 | Deus Technologies, Llc | Method and system for the detection of lung nodule in radiological images using digital image processing and artificial neural network |
| CN103440665A (zh) * | 2013-09-13 | 2013-12-11 | 重庆大学 | 膝关节软骨图像自动分割方法 |
| US20170061326A1 (en) * | 2015-08-25 | 2017-03-02 | Qualcomm Incorporated | Method for improving performance of a trained machine learning model |
| WO2017055412A1 (en) * | 2015-09-30 | 2017-04-06 | Siemens Healthcare Gmbh | Method and system for classification of endoscopic images using deep decision networks |
| EP3462373A1 (en) * | 2017-10-02 | 2019-04-03 | Promaton Holding B.V. | Automated classification and taxonomy of 3d teeth data using deep learning methods |
| US20230072423A1 (en) * | 2018-01-25 | 2023-03-09 | Meta Platforms Technologies, Llc | Wearable electronic devices and extended reality systems including neuromuscular sensors |
| US20200065563A1 (en) * | 2018-08-21 | 2020-02-27 | Software Ag | Systems and/or methods for accelerating facial feature vector matching with supervised machine learning |
| US20200160942A1 (en) * | 2018-11-21 | 2020-05-21 | Enlitic, Inc. | Automatic patient recruitment system |
| US20200357117A1 (en) * | 2018-11-21 | 2020-11-12 | Enlitic, Inc. | Heat map generating system and methods for use therewith |
| US20200357118A1 (en) * | 2018-11-21 | 2020-11-12 | Enlitic, Inc. | Medical scan viewing system with enhanced training and methods for use therewith |
| CN109859210A (zh) * | 2018-12-25 | 2019-06-07 | 上海联影智能医疗科技有限公司 | 一种医学数据处理装置及方法 |
| CN109741352A (zh) * | 2018-12-25 | 2019-05-10 | 深圳市第二人民医院 | 基于多模态磁共振的软骨损伤修复图像分割方法 |
| US20200401843A1 (en) * | 2019-06-21 | 2020-12-24 | StraxCorp Pty. Ltd. | Method and system for machine learning classification based on structure or material segmentation in an image |
| CN110415244A (zh) * | 2019-08-02 | 2019-11-05 | 陈晋音 | 判断骨骼状态的方法及其模型训练方法、装置 |
| US20210064934A1 (en) * | 2019-08-30 | 2021-03-04 | Adobe Inc. | Selecting logo images using machine-learning-logo classifiers |
| CN112446476A (zh) * | 2019-09-04 | 2021-03-05 | 华为技术有限公司 | 神经网络模型压缩的方法、装置、存储介质和芯片 |
| US20210133976A1 (en) * | 2019-11-04 | 2021-05-06 | GE Precision Healthcare LLC | Systems and methods for functional imaging follow-up evaluation using deep neural network |
| CN111209952A (zh) * | 2020-01-03 | 2020-05-29 | 西安工业大学 | 基于改进ssd和迁移学习的水下目标检测方法 |
| US10949747B1 (en) * | 2020-04-16 | 2021-03-16 | Sas Institute Inc. | Deep learning model training system |
| CN111640093A (zh) * | 2020-05-20 | 2020-09-08 | 上海联影智能医疗科技有限公司 | 医学图像的质控方法和计算机可读存储介质 |
| WO2021247868A1 (en) * | 2020-06-03 | 2021-12-09 | Case Western Reserve University | Classification of blood cells |
| WO2022007972A1 (zh) * | 2020-07-06 | 2022-01-13 | 北京长木谷医疗科技有限公司 | 一种全髋关节图像的处理方法及装置 |
| JP2023502813A (ja) * | 2020-10-30 | 2023-01-26 | 上▲海▼商▲湯▼智能科技有限公司 | モデル訓練方法、画像処理及びレジストレーション方法、装置、デバイス、媒体 |
| EP4060609A1 (en) * | 2021-03-18 | 2022-09-21 | Koninklijke Philips N.V. | Detecting abnormalities in an x-ray image |
| CN113269224A (zh) * | 2021-03-24 | 2021-08-17 | 华南理工大学 | 一种场景图像分类方法、系统及存储介质 |
| WO2022225995A1 (en) * | 2021-04-19 | 2022-10-27 | F. Hoffmann-La Roche Ag | Methods and systems for gene alteration prediction from pathology slide images |
| KR20220144149A (ko) * | 2021-04-19 | 2022-10-26 | 주식회사 바스젠바이오 | 엑스레이 영상에서 골절을 검출하는 방법 |
| WO2022260252A1 (ko) * | 2021-06-10 | 2022-12-15 | 삼성전자 주식회사 | 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법 |
| WO2023282569A1 (en) * | 2021-07-06 | 2023-01-12 | Samsung Electronics Co., Ltd. | Method and electronic device for generating optimal neural network (nn) model |
| US20230021336A1 (en) * | 2021-07-12 | 2023-01-26 | Isabelle Mordecai Troxler | Methods and apparatus for predicting and preventing autistic behaviors with learning and ai algorithms |
| CN113283407A (zh) * | 2021-07-22 | 2021-08-20 | 南昌工程学院 | 一种基于通道与空间注意力机制的孪生网络目标跟踪方法 |
| CN113689402A (zh) * | 2021-08-24 | 2021-11-23 | 北京长木谷医疗科技有限公司 | 基于深度学习的股骨髓腔形态识别方法、装置及存储介质 |
| WO2023060944A1 (zh) * | 2021-10-11 | 2023-04-20 | 浙江大学 | 一种基于混合监督学习的肝脏ct图像分割系统和算法 |
| CN113838048A (zh) * | 2021-10-12 | 2021-12-24 | 大连理工大学 | 一种十字交叉韧带术前止点中心定位及韧带长度计算方法 |
| CN114049515A (zh) * | 2021-10-29 | 2022-02-15 | 携程旅游信息技术（上海）有限公司 | 图像分类方法、系统、电子设备和存储介质 |
| WO2023084543A1 (en) * | 2021-11-12 | 2023-05-19 | Waycool Foods And Products Private Limited | System and method for leveraging neural network based hybrid feature extraction model for grain quality analysis |
| CN114186612A (zh) * | 2021-11-17 | 2022-03-15 | 南方科技大学 | 模型训练方法、地形环境识别方法、装置及电子设备 |
| CN114095447A (zh) * | 2021-11-22 | 2022-02-25 | 成都中科微信息技术研究院有限公司 | 一种基于知识蒸馏与自蒸馏的通信网络加密流量分类方法 |
| US20230168649A1 (en) * | 2021-11-29 | 2023-06-01 | Johnson Controls Tyco IP Holdings LLP | Building control system using reinforcement learning |
| WO2023153812A1 (ko) * | 2022-02-08 | 2023-08-17 | 주식회사 마인드포지 | 오브젝트를 검출하는 전자 장치 및 이의 제어 방법 |
| KR20230120600A (ko) * | 2022-02-08 | 2023-08-17 | 주식회사 마인드포지 | 오브젝트를 검출하는 전자 장치 및 이의 제어 방법 |
| CN114612511A (zh) * | 2022-03-09 | 2022-06-10 | 齐齐哈尔大学 | 基于改进域对抗神经网络算法的运动训练辅助决策支持系统 |
| CN114782391A (zh) * | 2022-04-29 | 2022-07-22 | 广州大学 | 少样本工业图像缺陷检测模型构建方法、系统及装置 |
| CN114972836A (zh) * | 2022-06-14 | 2022-08-30 | 南京信息工程大学 | 一种基于多模块融合的加密流量分类方法 |
| CN115272372A (zh) * | 2022-08-01 | 2022-11-01 | 瓴域影诺(北京)科技有限公司 | 一种基于3D-UNet的膝关节CT图像分割方法及系统 |
| CN115131655A (zh) * | 2022-09-01 | 2022-09-30 | 浙江啄云智能科技有限公司 | 目标检测模型的训练方法、装置与目标检测方法 |
| CN115393656A (zh) * | 2022-10-26 | 2022-11-25 | 中石化经纬有限公司 | 一种用于随钻测井图像地层分类的自动分类方法 |
| CN115601346A (zh) * | 2022-10-31 | 2023-01-13 | 大连东软信息学院（Cn） | 一种基于深度学习的多模态mri对膝关节软骨损伤的多层次分类方法 |
| CN116206327A (zh) * | 2022-11-25 | 2023-06-02 | 中科(厦门)数据智能研究院 | 一种基于在线知识蒸馏的图像分类方法 |
| CN115661943A (zh) * | 2022-12-22 | 2023-01-31 | 电子科技大学 | 一种基于轻量级姿态评估网络的跌倒检测方法 |
| CN116206155A (zh) * | 2023-02-27 | 2023-06-02 | 桂林理工大学 | 基于YOLOv5网络的废钢分类识别方法 |
| CN116309503A (zh) * | 2023-03-20 | 2023-06-23 | 瑞泰影像科技(深圳)有限公司 | 基于语义分割的医学影像图像质量评价系统 |
| CN116631619A (zh) * | 2023-05-12 | 2023-08-22 | 中国人民解放军总医院第一医学中心 | 术后弯腿训练监控系统及其方法 |
| CN116796810A (zh) * | 2023-06-28 | 2023-09-22 | 河海大学 | 一种基于知识蒸馏的深度神经网络模型压缩方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| FARAJZADEH, NACER等: "IJES-OA Net: A residual neural network to classify knee osteoarthritis from radiographic images based on the edges of the intra-joint spaces", 《MEDICAL ENGINEERING & PHYSICS》, vol. 113, 31 March 2023 (2023-03-31), pages 1 - 10 * |
| 曹锦纲: "基于机器视觉的复杂环境下表面缺陷检测技术研究", 《中国博士学位论文全文数据库 信息科技辑》, no. 3, 15 March 2023 (2023-03-15), pages 138 - 46 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117437459B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3432263B1 (en) | Semantic segmentation for cancer detection in digital breast tomosynthesis | |
| Rahim et al. | A survey on contemporary computer-aided tumor, polyp, and ulcer detection methods in wireless capsule endoscopy imaging | |
| Lai et al. | A hierarchical evolutionary algorithm for automatic medical image segmentation | |
| CN112150428A (zh) | 一种基于深度学习的医学图像分割方法 | |
| JP5279245B2 (ja) | クラスタ変更グラフ・カットを使用する検出の方法および装置 | |
| CN113780259A (zh) | 一种路面缺陷检测方法、装置、电子设备和可读存储介质 | |
| Taha et al. | Automatic polyp detection in endoscopy videos: A survey | |
| Zheng et al. | Image segmentation | |
| Zidan et al. | Level set-based CT liver image segmentation with watershed and artificial neural networks | |
| CN112771516A (zh) | 分类装置、分类方法、程序以及信息记录介质 | |
| Liu et al. | Extracting lungs from CT images via deep convolutional neural network based segmentation and two-pass contour refinement | |
| Agrawal et al. | Detection of breast cancer from mammograms using a hybrid approach of deep learning and linear classification | |
| Antony et al. | Feature learning to automatically assess radiographic knee osteoarthritis severity | |
| Kora et al. | Automatic segmentation of polyps using U-net from colonoscopy images | |
| Moradi et al. | Multi-class segmentation of skin lesions via joint dictionary learning | |
| Van Der Sommen et al. | Computer-aided detection of early cancer in the esophagus using HD endoscopy images | |
| Gong et al. | Towards accurate pulmonary nodule detection by representing nodules as points with high-resolution network | |
| Bhatt et al. | Image retrieval using bag-of-features for lung cancer classification | |
| CN117437459B (zh) | 基于决策网络实现用户膝关节髌骨软化状态分析方法 | |
| Chadoulos et al. | A novel multi-atlas segmentation approach under the semi-supervised learning framework: Application to knee cartilage segmentation | |
| Ravindranath et al. | Early detection of lung cancer by nodule extraction—A survey | |
| Chaya Devi et al. | On segmentation of nodules from posterior and anterior chest radiographs | |
| Aaqib et al. | A novel deep learning based approach for breast cancer detection | |
| Fetisov et al. | Unsupervised prostate cancer histopathology image segmentation via meta-learning | |
| Kamil et al. | Brain tumor diagnosis using MR image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |