CN111563874A - 骨龄评测方法和装置 - Google Patents
骨龄评测方法和装置 Download PDFInfo
- Publication number
- CN111563874A CN111563874A CN202010147796.9A CN202010147796A CN111563874A CN 111563874 A CN111563874 A CN 111563874A CN 202010147796 A CN202010147796 A CN 202010147796A CN 111563874 A CN111563874 A CN 111563874A
- Authority
- CN
- China
- Prior art keywords
- bone
- age
- epiphysis
- epiphyseal
- bone age
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 268
- 238000011156 evaluation Methods 0.000 title claims abstract description 30
- 210000002745 epiphysis Anatomy 0.000 claims abstract description 125
- 238000000034 method Methods 0.000 claims abstract description 37
- 206010058314 Dysplasia Diseases 0.000 claims abstract description 29
- 230000012010 growth Effects 0.000 claims abstract description 29
- 238000011161 development Methods 0.000 claims abstract description 23
- 230000002159 abnormal effect Effects 0.000 claims abstract description 21
- 238000012937 correction Methods 0.000 claims abstract description 11
- 230000018109 developmental process Effects 0.000 claims description 21
- 230000007773 growth pattern Effects 0.000 claims description 19
- 230000000875 corresponding effect Effects 0.000 claims description 11
- 238000013077 scoring method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 230000002596 correlated effect Effects 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 description 9
- 238000012549 training Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 241000123069 Ocyurus chrysurus Species 0.000 description 3
- 208000026928 Turner syndrome Diseases 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000014461 bone development Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000036244 malformation Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000028073 pineal gland development Effects 0.000 description 2
- 208000032170 Congenital Abnormalities Diseases 0.000 description 1
- 206010061619 Deformity Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008468 bone growth Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4504—Bones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Dentistry (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Rheumatology (AREA)
- Multimedia (AREA)
- Epidemiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种骨龄评测方法和装置，所述方法包括以下步骤：输入骨龄片图像，并定位出骨龄片图像中多个骨/骨骺的位置，以得到多个骨/骨骺的局部图像；以上述局部图像为节点，构建描述骨/骨骺发育特征关联性的生长模式拓扑图，通过图卷积网络，融合目标骨/骨骺以及关联骨/骨骺的特征，以判断各个位置处的骨/骨骺是否发育异常；如果存在至少一个位置处的骨/骨骺发育异常，则对发育异常的骨/骨骺进行修正；根据修正结果进行骨龄计算。本发明能够修正发育异常的骨或骨骺对骨龄评测的影响，从而提高骨龄评测的精确性。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种骨龄评测方法和一种骨龄 评测装置。
背景技术
骨龄是评价青少年儿童生物年龄的主要方法，在临床医学、法医学和运 动医学等领域中有广泛的用途。骨龄片通常拍摄非利手的正位X线片。手腕 部各骨、骨骺的发育过程，遵循一定的遗传学特征和次序。而临床应用中， 可见异常的骨或骨骺，如中国人群中常见的“第五中节指骨生理性变异：短 指骨”，在中国各地区人口占比2％-6％左右。X光影像学表现为第五中节指 骨发育融合早。
一般地，骨、骨骺发育异常的情况包括生理性异常，如第五中节指骨常 见的“短指骨”、拇指远节指骨常见的“锥形骨骺”和病理性异常，如马德 隆畸形、特纳综合征。对于发育异常的骨或骨骺，常无法准确匹配到任何一 个标准图谱。在进行骨龄评测时，无论是图谱法(GP图谱)，或计分法 (TW2/TW3、CH05等)，发育异常的骨或骨骺均会对评测结果造成影响。
发明内容
本发明为解决上述技术问题，提供了一种骨龄评测方法和装置，能够修 正发育异常的骨或骨骺对骨龄评测的影响，从而提高骨龄评测的精确性。
本发明采用的技术方案如下：
一种骨龄评测方法，包括以下步骤：输入骨龄片图像，并定位出所述骨 龄片图像中多个骨/骨骺的位置，以得到多个骨/骨骺的局部图像；以上述局部 图像为节点，构建描述骨/骨骺发育特征关联性的生长模式拓扑图，通过图卷 积网络，融合目标骨/骨骺以及关联骨/骨骺的特征，以判断各个所述位置处的 骨/骨骺是否发育异常；如果存在至少一个位置处的骨/骨骺发育异常，则对发 育异常的骨/骨骺进行修正；根据修正结果进行骨龄计算。
通过上述生长模式拓扑图上的图卷积操作，若判定多个所述位置处的骨/ 骨骺均发育正常，则根据多个所述局部图像获取正常评测结果，直接根据所 述正常评测结果进行骨龄计算。
通过关键点检测、目标检测或实例分割实现所述骨龄片图像中多个骨/骨 骺的定位。
基于图卷积网络识别多个所述局部图像。
其中，所述生长模式拓扑图为连通无向图，采用切比雪夫谱图卷积定义 所述生长模式拓扑图上的图卷积操作，并得出多个所述位置处的骨/骨骺发育 异常的概率。
基于卷积神经网络分类器识别多个所述局部图像。
其中，采用计分法进行骨龄评测，对发育异常的骨/骨骺进行修正，具体 包括：根据相应计分法的标准规定，确定发育异常的骨/骨骺的等级。
其中，采用图谱法进行骨龄评测，对发育异常的骨/骨骺进行修正，具体 包括：通过异常特征热图引导的加权运算，对发育异常的骨/骨骺的局部图像 进行处理。
一种骨龄评测装置，包括：定位网络，所述定位网络用于输入骨龄片图 像，并定位出所述骨龄片图像中多个骨/骨骺的位置，以得到多个骨/骨骺的局 部图像；发育异常识别网络，所述发育异常识别网络用于以上述局部图像为 节点，构建描述骨/骨骺发育特征关联性的生长模式拓扑图，通过图卷积网络， 融合目标骨/骨骺以及关联骨/骨骺的特征，以判断各个所述位置处的骨/骨骺是 否发育异常；修正模块，所述修正模块用于在至少一个位置处的骨/骨骺发育 异常时，对发育异常的骨/骨骺进行修正；计算模块，所述计算模块用于根据 修正结果进行骨龄计算。
所述的骨龄评测装置还包括：正常评测网络，所述正常评测网络用于在 多个所述位置处的骨/骨骺均发育正常时，根据多个所述局部图像获取正常评 测结果，所述计算模块还用于直接根据所述正常评测结果进行骨龄计算。
本发明的有益效果：
本发明实施例的骨龄评测方法，通过构建描述骨/骨骺发育特征关联性的 生长模式拓扑图，以及定义在该图上的图卷积网络，能够综合考虑目标骨/骨 骺以及关联骨/骨骺的特征，通过对发育异常的骨或骨骺进行识别，并对发育 异常的骨或骨骺进行修正，由此，能够修正发育异常的骨或骨骺对骨龄评测 的影响，从而提高骨龄评测的精确性。
附图说明
图1为本发明实施例的骨龄评测方法的流程图；
图2为本发明一个实施例的骨龄评测装置的方框示意图；
图3为本发明另一个实施例的骨龄评测装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例的骨龄评测方法包括以下步骤：
S1，输入骨龄片图像，并定位出骨龄片图像中多个骨/骨骺的位置，以得 到多个骨/骨骺的局部图像。
本发明实施例的骨龄片图像为手腕部X线正位片。在本发明的一个实施 例中，可通过关键点检测、目标检测或实例分割等实现骨龄片图像中多个骨/ 骨骺的定位。举例而言，采用CH05进行骨龄评测时，可通过上述任一定位方 式定位出13块掌指骨的位置，并分割出该13块掌指骨的局部图像。
S2，以上述局部图像为节点，构建描述骨/骨骺发育特征关联性的生长模 式拓扑图，通过图卷积网络，融合目标骨/骨骺以及关联骨/骨骺的特征，以判 断各个位置处的骨/骨骺是否发育异常。
在本发明的一个实施例中，骨/骨骺发育异常可包括生理性变异，如短指 骨、锥形骨骺和病理性变异(如马德隆畸形、特纳综合征)。
在本发明的一个实施例中，可基于图卷积网络识别多个局部图像。
具体地，首先可构建各个骨/骨骺的生长模式拓扑图，记为Ggrowth：
Ggrowth＝(ν，ε，ωw)
其中，该生长模式拓扑图为连通无向图，图的顶点集合V是N个位置处 的骨/骨骺的图像特征，V＝v1,v2,…,vN，M个边的集合E＝(e1,e2,…,eM)，通 过某条边直接连通的两个顶点，其生长发育过程存在紧密的联系，W是该图 的邻接矩阵，维度是NxN。若wij＝0，则表示
反之(i，j)∈ε。
本发明实施例一种可行的生长模式拓扑图定义方式为，征询骨龄领域权 威专家的意见，对每一块带评测的骨/骨骺，请专家列出与之生长发育紧密相 关的若干块骨/骨骺，专家列出的“紧密相关骨/骨骺”，可定义为与目标骨骺 是直接连通的。
本发明实施例另一种可行的生长模式拓扑图生成方式为，基于各地骨龄 数据库，统计所有骨/骨骺的发育等级相关性。可选定一种相关性的衡量指标， 包括但不限于Pearson相关系数、互信息，然后基于该指标，计算出骨龄数据 库中，N个骨/骨骺的生长相关性矩阵Growth Correlation Matrix，记为 GCM(NxN)。GCMij表示i，j两个骨/骨骺的相关性。选定一个合理的阈值Tc， 若GCMij>＝Tc，则认为i，j两个骨/骨骺在生长模式拓扑图上面是连通的，反 之则不连通。
然后，可将步骤S1得到的多个局部图像输入共享的主干网络，例如resnet， 得到多个位置处的骨/骨骺的局部特征，每一个特征均是D维的向量(如D＝512 或2048)，这样的特征记为fin(维度NxD)。
进而，可将多个位置处的骨/骨骺的局部特征输入生长模式拓扑图。具体 地，可将上述的fin的各行，分别对应输入生长模式拓扑图Ggrowth的N个节点。
最后，可采用切比雪夫谱图卷积定义生长模式拓扑图上的图卷积操作， 并得出多个位置处的骨/骨骺发育异常的概率。具体地，采用切比雪夫谱图卷 积定义生长模式拓扑图上的图卷积操作如下：
Tk(x)＝2xTk-1(x)-Tk-2(x)，T0＝1，T1＝x
其中，
为生长模式拓扑图的度矩阵，θk为第k阶切比雪夫 多项式对应的卷积核参数(可学习)，L为生长模式拓扑图的拉普拉斯矩阵， λmax为L最大的特征值，K为一预设的“近邻距离”：若K设定为2，则表 示评估目标骨/骨骺是否发育异常时，生长模式拓扑图Ggrowth上，与之距离小 于等于2的骨/骨骺，将纳入参考。
由于图卷积操作的特性，距离越近的骨/骨骺，其特征对目标骨/骨骺的判 断影响越大。该图卷积网络的输出为N个1维的实数，Fout＝(fout1,fout2,…, foutN)。经过sigmoid函数后，得到N个概率P＝(p1,p2,…,p3)，0<pi<1， 表示图卷积网络预测第i个目标骨/骨骺发育异常的概率。
需要补充说明的是，上述生长模式拓扑图的训练可采用全监督的模式， 监督信息是N维向量：T＝(t1,t2,…,tN)，ti＝0表示该骨/骨骺标注医生判定 为正常，ti＝1表示该骨/骨骺标注医生判定为异常。对每个0≤i＜N，有一对网 络输出和监督信息：(pi,ti)。可分别引入N个损失函数，即可对上述用于进行 发育异常判断的图卷积网络进行训练。可行的损失函数有二元交叉熵损失， 若训练集中异常样本占比较少，也可采用对不平衡数据集训练效果较好的focal loss等损失函数。
通过图卷积网络进行骨/骨骺发育异常的识别，能够综合考虑识别目标及 其关联的骨/骨骺的特征，使得可以仅使用少量的共享参数，将所有待评测骨/ 骨骺的特征传输给其临近骨/骨骺，有效的避免了不相关骨骺的干扰，也极大 的节约了运算资源，因而识别速度和准确度均较高。
在本发明的另一个实施例中，也可基于卷积神经网络分类器识别多个局 部图像。具体地，可针对每个位置处的骨/骨骺分别对应地制定一个卷积神经 网络分类器，卷积神经网络分类器输入可以为对应地骨/骨骺地特征，输出为 该骨/骨骺是否发育异常的判断结果。
通过上述手腕骨生长模式拓扑图上的图卷积操作，若判定多个位置处的 骨/骨骺均发育正常，则根据多个所述局部图像获取正常评测结果，直接根据 所述正常评测结果进行骨龄计算。具体地，以计分法为例，可利用现有的等 级评测网络，输入N个局部图像，输出N骨/骨骺等级，然后查等级骨龄对照 表得到骨龄。
S3，如果存在至少一个位置处的骨/骨骺发育异常，则对发育异常的骨/ 骨骺进行修正。
本发明实施例对于发育异常的骨/骨骺进行修正包括两个方面。
当采用计分法进行骨龄评测时，可放弃上述现有的等级评测网络对骨/骨 骺等级的输出，然后根据相应计分法的标准规定，确定发育异常的骨/骨骺的 等级。例如，CH05标准规定：在第五中节指骨为短指骨时，发育融合较早， 可按照中节指骨III等级评判；锥形骨骺多出现在拇指或其他指骨的远节指骨， 可以按远节指骨III等级评判。
当采用图谱法进行骨龄评测时，可通过异常特征热图引导的加权运算， 对发育异常的骨/骨骺的局部图像进行处理，以抑制其对整体骨龄判断的影响。
S4，根据修正结果进行骨龄计算。
当采用计分法进行骨龄评测时，可根据上述步骤确定的等级，采用查表 的方式得到骨龄。
当采用图谱法进行骨龄评测时，可通过数层全卷积网络，对处理了局部 图像的整体骨龄片图像中各特征区域进行综合计算，以得到骨龄。
根据本发明实施例的骨龄评测方法，通过构建描述骨/骨骺发育特征关联 性的生长模式拓扑图，以及定义在该图上的图卷积网络，能够综合考虑目标 骨/骨骺以及关联骨/骨骺的特征，通过对发育异常的骨或骨骺进行识别，并对 发育异常的骨或骨骺进行修正，由此，能够修正发育异常的骨或骨骺对骨龄 评测的影响，从而提高骨龄评测的精确性。
对应上述实施例的骨龄评测方法，本发明还提出一种骨龄评测装置。
如图2所示，本发明实施例的骨龄评测装置包括定位网络10、发育异常 识别网络20、修正模块30和计算模块40。其中，定位网络10用于输入骨龄 片图像，并定位出骨龄片图像中多个骨/骨骺的位置，以得到多个骨/骨骺的局 部图像；发育异常识别网络20用于以上述局部图像为节点，构建描述骨/骨骺 发育特征关联性的生长模式拓扑图，通过图卷积网络，融合目标骨/骨骺以及 关联骨/骨骺的特征，以判断各个位置处的骨/骨骺是否发育异常；修正模块30 用于在至少一个位置处的骨/骨骺发育异常时，对发育异常的骨/骨骺进行修正； 计算模块40用于根据修正结果进行骨龄计算。
本发明实施例的骨龄片图像为手腕部X线正位片。在本发明的一个实施 例中，定位网络10可通过关键点检测、目标检测或实例分割等实现骨龄片图 像中多个骨/骨骺的定位。举例而言，采用CH05进行骨龄评测时，定位网络 10可上述任一定位方式定位出13块掌指骨的位置，并分割出该13块掌指骨 的局部图像。
在本发明的一个实施例中，骨/骨骺发育异常可包括生理性变异，如短指 骨、锥形骨骺和病理性变异(如马德隆畸形、特纳综合征)。
发育异常识别网络20的输入为N个局部图像，输出为N个布尔值的向 量Y，Y＝(y1,y2,…,yN)，yi＝1表示第i个骨/骨骺存在发育异常，yi＝0则表示 第i个骨/骨骺发育正常。
在本发明的一个实施例中，发育异常识别网络20可基于图卷积网络识别 多个局部图像。
具体地，首先可构建各个骨/骨骺的生长模式拓扑图，记为Ggrowth：
Ggrowth＝(υ，ε，ωw)
其中，该生长模式拓扑图为连通无向图，图的顶点集合V是N个位置处 的骨/骨骺的图像特征，V＝v1,v2,…,vN，M个边的集合E＝(e1,e2,…,eM)，通 过某条边直接连通的两个顶点，其生长发育过程存在紧密的联系，W是该图 的邻接矩阵，维度是NxN。若wij＝0，则表示
反之(i，j)∈ε。
本发明实施例一种可行的生长模式拓扑图定义方式为，征询骨龄领域权 威专家的意见，对每一块带评测的骨/骨骺，请专家列出与之生长发育紧密相 关的若干块骨/骨骺，专家列出的“紧密相关骨/骨骺”，可定义为与目标骨骺 是直接连通的。
本发明实施例另一种可行的生长模式拓扑图生成方式为，基于各地骨龄 数据库，统计所有骨/骨骺的发育等级相关性。可选定一种相关性的衡量指标， 包括但不限于Pearson相关系数、互信息，然后基于该指标，计算出骨龄数据 库中，N个骨/骨骺的生长相关性矩阵Growth Correlation Matrix，记为 GCM(NxN)。GCMij表示i，j两个骨/骨骺的相关性。选定一个合理的阈值Tc， 若GCMij>＝Tc，则认为i，j两个骨/骨骺在生长模式拓扑图上面是连通的，反 之则不连通。
然后，可将定位网络10输出的多个局部图像输入共享的主干网络，例如 resnet，得到多个位置处的骨/骨骺的局部特征，每一个特征均是D维的向量(如D＝512或2048)，这样的特征记为fin(维度NxD)。
进而，可将多个位置处的骨/骨骺的局部特征输入生长模式拓扑图。具体 地，可将上述的fin的各行，分别对应输入生长模式拓扑图Ggrowth的N个节点。
最后，可采用切比雪夫谱图卷积定义生长模式拓扑图上的图卷积操作， 并得出多个位置处的骨/骨骺发育异常的概率。具体地，采用切比雪夫谱图卷 积定义生长模式拓扑图上的图卷积操作如下：
Tk(x)＝2xTk-1(x)-Tk-2(x)，T0＝1，T1＝x
其中，D＝diag(∑jwij)为生长模式拓扑图的度矩阵，θk为第k阶切比雪夫 多项式对应的卷积核参数(可学习)，L为生长模式拓扑图的拉普拉斯矩阵， λmax为L最大的特征值，K为一预设的“近邻距离”：若K设定为2，则表 示评估目标骨/骨骺是否发育异常时，生长模式拓扑图Ggrowth上，与之距离小 于等于2的骨/骨骺，将纳入参考。
由于图卷积操作的特性，距离越近的骨/骨骺，其特征对目标骨/骨骺的判 断影响越大。该图卷积网络的输出为N个1维的实数，Fout＝(fout1,fout2,…, foutN)。经过sigmoid函数后，得到N个概率P＝(p1,p2,…,p3)，0<pi<1， 表示图卷积网络预测第i个目标骨/骨骺发育异常的概率。
需要补充说明的是，上述生长模式拓扑图的训练可采用全监督的模式， 监督信息是N维向量：T＝(t1,t2,…,tN)，ti＝0表示该骨/骨骺标注医生判定 为正常，ti＝1表示该骨/骨骺标注医生判定为异常。对每个0≤i＜N，有一对网 络输出和监督信息：(pi,ti)。可分别引入N个损失函数，即可对发育异常识别 网络20进行训练。可行的损失函数有二元交叉熵损失，若训练集中异常样本 占比较少，也可采用对不平衡数据集训练效果较好的focal loss等损失函数。
通过图卷积网络进行骨/骨骺发育异常的识别，能够综合考虑识别目标及 其关联的骨/骨骺的特征，使得可以仅使用少量的共享参数，将所有待评测骨/ 骨骺的特征传输给其临近骨/骨骺，有效的避免了不相关骨骺的干扰，也极大 的节约了运算资源，因而识别速度和准确度均较高。
在本发明的另一个实施例中，发育异常识别网络20也可基于卷积神经网 络分类器识别多个局部图像。具体地，可针对每个位置处的骨/骨骺分别对应 地制定一个卷积神经网络分类器，卷积神经网络分类器输入可以为对应地骨/ 骨骺地特征，输出为该骨/骨骺是否发育异常的判断结果。
如图3所示，本发明实施例的骨龄评测装置还可包括正常评测网络50， 正常评测网络50用于在多个位置处的骨/骨骺均发育正常时，根据多个局部图 像获取正常评测结果，计算模块40可直接根据正常评测结果进行骨龄计算。 具体地，以计分法为例，可利用现有的等级评测网络，输入N个局部图像， 输出N骨/骨骺等级，然后查等级骨龄对照表得到骨龄。
本发明实施例的修正模块30可为适用于计分法的等级修正模块或适用于 图谱法修正模块。
适用于计分法的等级修正模块运行时，可放弃上述现有的等级评测网络 对骨/骨骺等级的输出，然后根据相应计分法的标准规定，确定发育异常的骨/ 骨骺的等级。例如，CH05标准规定：在第五中节指骨为短指骨时，发育融合 较早，可按照中节指骨III等级评判；锥形骨骺多出现在拇指或其他指骨的远 节指骨，可以按远节指骨III等级评判。
适用于图谱法修正模块运行时，可通过异常特征热图引导的加权运算， 对发育异常的骨/骨骺的局部图像进行处理，以抑制其对整体骨龄判断的影响。
当采用计分法进行骨龄评测时，计算模块40可根据以上确定的等级，采 用查表的方式得到骨龄。
当采用图谱法进行骨龄评测时，计算模块40可通过数层全卷积网络，对 处理了局部图像的整体骨龄片图像中各特征区域进行综合计算，以得到骨龄。
根据本发明实施例的骨龄评测装置，通过发育异常识别网络构建描述骨/ 骨骺发育特征关联性的生长模式拓扑图，以及定义在该图上的图卷积网络， 能够综合考虑目标骨/骨骺以及关联骨/骨骺的特征，通过对发育异常的骨或骨 骺进行识别，并通过修正模块对发育异常的骨或骨骺进行修正，由此，能够 修正发育异常的骨或骨骺对骨龄评测的影响，从而提高骨龄评测的精确性。
在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确 具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示 例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描 述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例 中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。 而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或 示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征 进行结合和组合。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而 言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行 多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限 定。
Claims (10)
1.一种骨龄评测方法，其特征在于，包括以下步骤：
输入骨龄片图像，并定位出所述骨龄片图像中多个骨/骨骺的位置，以得到多个骨/骨骺的局部图像；
以上述局部图像为节点，构建描述骨/骨骺发育特征关联性的生长模式拓扑图，通过图卷积网络，融合目标骨/骨骺以及关联骨/骨骺的特征，以判断各个所述位置处的骨/骨骺是否发育异常；
如果存在至少一个位置处的骨/骨骺发育异常，则对发育异常的骨/骨骺进行修正；
根据修正结果进行骨龄计算。
2.根据权利要求1所述的骨龄评测方法，其特征在于，通过上述生长模式拓扑图上的图卷积操作，若判定多个所述位置处的骨/骨骺均发育正常，则根据多个所述局部图像获取正常评测结果，直接根据所述正常评测结果进行骨龄计算。
3.根据权利要求1或2所述的骨龄评测方法，其特征在于，通过关键点检测、目标检测或实例分割实现所述骨龄片图像中多个骨/骨骺的定位。
4.根据权利要求1或2所述的骨龄评测方法，其特征在于，基于图卷积网络识别多个所述局部图像。
5.根据权利要求4所述的骨龄评测方法，其特征在于，其中，所述生长模式拓扑图为连通无向图，采用切比雪夫谱图卷积定义所述生长模式拓扑图上的图卷积操作，并得出多个所述位置处的骨/骨骺发育异常的概率。
6.根据权利要求1或2所述的骨龄评测方法，其特征在于，基于卷积神经网络分类器识别多个所述局部图像。
7.根据权利要求1或2所述的骨龄评测方法，其特征在于，其中，采用计分法进行骨龄评测，对发育异常的骨/骨骺进行修正，具体包括：
根据相应计分法的标准规定，确定发育异常的骨/骨骺的等级。
8.根据权利要求1或2所述的骨龄评测方法，其特征在于，其中，采用图谱法进行骨龄评测，对发育异常的骨/骨骺进行修正，具体包括：
通过异常特征热图引导的加权运算，对发育异常的骨/骨骺的局部图像进行处理。
9.一种骨龄评测装置，其特征在于，包括：
定位网络，所述定位网络用于输入骨龄片图像，并定位出所述骨龄片图像中多个骨/骨骺的位置，以得到多个骨/骨骺的局部图像；
发育异常识别网络，所述发育异常识别网络用于以上述局部图像为节点，构建描述骨/骨骺发育特征关联性的生长模式拓扑图，通过图卷积网络，融合目标骨/骨骺以及关联骨/骨骺的特征，以判断各个所述位置处的骨/骨骺是否发育异常；
修正模块，所述修正模块用于在至少一个位置处的骨/骨骺发育异常时，对发育异常的骨/骨骺进行修正；
计算模块，所述计算模块用于根据修正结果进行骨龄计算。
10.根据权利要求9所述的骨龄评测装置，其特征在于，还包括：
正常评测网络，所述正常评测网络用于在多个所述位置处的骨/骨骺均发育正常时，根据多个所述局部图像获取正常评测结果，所述计算模块还用于直接根据所述正常评测结果进行骨龄计算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010147796.9A CN111563874B (zh) | 2020-03-05 | 2020-03-05 | 骨龄评测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010147796.9A CN111563874B (zh) | 2020-03-05 | 2020-03-05 | 骨龄评测方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111563874A true CN111563874A (zh) | 2020-08-21 |
| CN111563874B CN111563874B (zh) | 2023-04-28 |
Family
ID=72069582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010147796.9A Active CN111563874B (zh) | 2020-03-05 | 2020-03-05 | 骨龄评测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111563874B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113570577A (zh) * | 2021-07-28 | 2021-10-29 | 成都玻尔兹曼智贝科技有限公司 | 一种颈椎骨龄的判断方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102945545A (zh) * | 2012-10-18 | 2013-02-27 | 重庆医科大学 | 一种鲁棒的骨龄评定图像预处理及骨关键点定位方法 |
| CN107767376A (zh) * | 2017-11-02 | 2018-03-06 | 西安邮电大学 | 基于深度学习的x线片骨龄预测方法及系统 |
| US20180232603A1 (en) * | 2015-08-04 | 2018-08-16 | The Asan Foundation | Method and program for computing bone age by deep neural network |
| CN109215013A (zh) * | 2018-06-04 | 2019-01-15 | 平安科技（深圳）有限公司 | 自动骨龄预测方法、系统、计算机设备和存储介质 |
| CN109377484A (zh) * | 2018-09-30 | 2019-02-22 | 杭州依图医疗技术有限公司 | 一种检测骨龄的方法及装置 |
| CN109741309A (zh) * | 2018-12-27 | 2019-05-10 | 北京深睿博联科技有限责任公司 | 一种基于深度回归网络的骨龄预测方法及装置 |
| CN110349653A (zh) * | 2019-07-15 | 2019-10-18 | 杭州依图医疗技术有限公司 | 影像分析数据的显示方法、设备和存储介质 |
| CN110459306A (zh) * | 2019-08-16 | 2019-11-15 | 杭州依图医疗技术有限公司 | 医学影像显示方法和显示设备 |
| CN110503635A (zh) * | 2019-07-30 | 2019-11-26 | 浙江工业大学 | 一种基于异构数据融合网络的手骨x光片骨龄评估方法 |
| CN110517234A (zh) * | 2019-08-16 | 2019-11-29 | 杭州依图医疗技术有限公司 | 特征骨异常检测方法及装置 |
| WO2020024127A1 (zh) * | 2018-08-01 | 2020-02-06 | 中国医药大学附设医院 | 骨龄评估与身高预测模型、其系统及其预测方法 |
-
2020
- 2020-03-05 CN CN202010147796.9A patent/CN111563874B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102945545A (zh) * | 2012-10-18 | 2013-02-27 | 重庆医科大学 | 一种鲁棒的骨龄评定图像预处理及骨关键点定位方法 |
| US20180232603A1 (en) * | 2015-08-04 | 2018-08-16 | The Asan Foundation | Method and program for computing bone age by deep neural network |
| CN107767376A (zh) * | 2017-11-02 | 2018-03-06 | 西安邮电大学 | 基于深度学习的x线片骨龄预测方法及系统 |
| CN109215013A (zh) * | 2018-06-04 | 2019-01-15 | 平安科技（深圳）有限公司 | 自动骨龄预测方法、系统、计算机设备和存储介质 |
| WO2020024127A1 (zh) * | 2018-08-01 | 2020-02-06 | 中国医药大学附设医院 | 骨龄评估与身高预测模型、其系统及其预测方法 |
| CN109377484A (zh) * | 2018-09-30 | 2019-02-22 | 杭州依图医疗技术有限公司 | 一种检测骨龄的方法及装置 |
| CN109741309A (zh) * | 2018-12-27 | 2019-05-10 | 北京深睿博联科技有限责任公司 | 一种基于深度回归网络的骨龄预测方法及装置 |
| CN110349653A (zh) * | 2019-07-15 | 2019-10-18 | 杭州依图医疗技术有限公司 | 影像分析数据的显示方法、设备和存储介质 |
| CN110503635A (zh) * | 2019-07-30 | 2019-11-26 | 浙江工业大学 | 一种基于异构数据融合网络的手骨x光片骨龄评估方法 |
| CN110459306A (zh) * | 2019-08-16 | 2019-11-15 | 杭州依图医疗技术有限公司 | 医学影像显示方法和显示设备 |
| CN110517234A (zh) * | 2019-08-16 | 2019-11-29 | 杭州依图医疗技术有限公司 | 特征骨异常检测方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113570577A (zh) * | 2021-07-28 | 2021-10-29 | 成都玻尔兹曼智贝科技有限公司 | 一种颈椎骨龄的判断方法 |
| CN113570577B (zh) * | 2021-07-28 | 2023-11-14 | 成都玻尔兹曼智贝科技有限公司 | 一种颈椎骨龄的判断方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111563874B (zh) | 2023-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111310846B (zh) | 一种选取样本图像的方法、装置、存储介质和服务器 | |
| CN109493346A (zh) | 一种基于多损失的胃癌病理切片图像分割方法和装置 | |
| CN110503155B (zh) | 一种信息分类的方法及相关装置、服务器 | |
| CN111539480A (zh) | 多类别医学图像识别方法及设备 | |
| CN111445440A (zh) | 一种医学图像分析方法、设备和存储介质 | |
| CN111882517B (zh) | 一种基于图卷积神经网络的骨龄评测方法、系统、终端及存储介质 | |
| CN117315380B (zh) | 一种基于深度学习的肺炎ct图像分类方法及系统 | |
| CN113780145A (zh) | 精子形态检测方法、装置、计算机设备和存储介质 | |
| JP7247292B2 (ja) | 加齢による黄斑変性症用の分類モデルを学習させる電子機器及び方法 | |
| CN112329879A (zh) | 基于反事实多智能体学习的图像场景图的生成方法和系统 | |
| JP2024500470A (ja) | 医療画像における病変分析方法 | |
| CN115294406B (zh) | 基于属性的多模态可解释分类的方法与系统 | |
| CN113657394A (zh) | 基于马尔可夫随机场和证据理论的遥感图像分割方法 | |
| CN111563874A (zh) | 骨龄评测方法和装置 | |
| CN110929877A (zh) | 基于迁移学习的模型建立方法、装置、设备及存储介质 | |
| CN119005087A (zh) | 基于机器学习的pcb分板路径自动优化方法及系统 | |
| CN118229980A (zh) | 基于属性网络随机块模型的图像分割方法及系统 | |
| Raja et al. | A Novel Feature Selection based Ensemble Decision Tree Classification Model for Predicting Severity Level of COPD | |
| CN116759092A (zh) | 一种基于图神经网络的胃癌胃镜病理图像判别方法 | |
| CN117313867A (zh) | 知识图谱补全方法、装置、设备及存储介质 | |
| CN110598523B (zh) | 一种服装图片的联合颜色分类与分组方法 | |
| Fonseca et al. | Screening of viral pneumonia and covid-19 in chest x-ray using classical machine learning | |
| CN112508135B (zh) | 模型训练方法、行人属性预测方法、装置及设备 | |
| CN113628745A (zh) | 一种基于增量学习的结直肠癌复发人群的筛查方法及系统 | |
| CN112613382A (zh) | 对象完整性的确定方法及装置、存储介质、电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |