CN109741309A - 一种基于深度回归网络的骨龄预测方法及装置 - Google Patents
一种基于深度回归网络的骨龄预测方法及装置 Download PDFInfo
- Publication number
- CN109741309A CN109741309A CN201811616211.2A CN201811616211A CN109741309A CN 109741309 A CN109741309 A CN 109741309A CN 201811616211 A CN201811616211 A CN 201811616211A CN 109741309 A CN109741309 A CN 109741309A
- Authority
- CN
- China
- Prior art keywords
- epiphysis
- stone age
- epiphyseal
- network
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000004575 stone Substances 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000000306 recurrent effect Effects 0.000 title claims abstract description 44
- 210000002745 epiphysis Anatomy 0.000 claims abstract description 134
- 238000001514 detection method Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims description 12
- 238000000926 separation method Methods 0.000 claims description 7
- 230000001052 transient effect Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 9
- 210000000988 bone and bone Anatomy 0.000 description 16
- 239000000284 extract Substances 0.000 description 13
- 238000000605 extraction Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 9
- 230000028073 pineal gland development Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 210000003811 finger Anatomy 0.000 description 7
- 210000000623 ulna Anatomy 0.000 description 7
- 210000000236 metacarpal bone Anatomy 0.000 description 6
- 210000004247 hand Anatomy 0.000 description 5
- 238000012913 prioritisation Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000005065 mining Methods 0.000 description 4
- 230000004069 differentiation Effects 0.000 description 3
- 238000009432 framing Methods 0.000 description 3
- 230000002427 irreversible effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000002320 radius Anatomy 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 210000003010 carpal bone Anatomy 0.000 description 2
- 210000000845 cartilage Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000014461 bone development Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000002411 hand bone Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000011164 ossification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种基于深度回归网络的骨龄预测方法及装置。该方法包括输入待处理骨龄片图像；根据多级关键点检测深度卷积网络，获取骨骺区域图像；以及将所述骨骺区域图像输入预设深度学习回归网络，得到骨骺等级预测结果，计算出对应的骨龄。本申请解决了骨龄预测方法效果较差的技术问题。通过本申请不需要链接骨骺等级标注数据库而直接输出骨骺等级预测结果，并且可准确预测出骨龄。本申请于基于多级关键点检测得到的骨骺区域作为输入，经过卷积网络后通过多分支深度回归网络输出骨骺等级预测结果，获得的预测效果较佳。
Description
技术领域
本申请涉及医疗、计算机图像处理领域，具体而言，涉及一种基于深度回归网络的骨龄预测方法及装置。
背景技术
骨龄是评价青少年儿童生物年龄的主要方法。骨的发育贯穿全部生长发育期，在发育过程中所有个体的骨组织都由软骨逐渐固化成骨。不同骨或不同个体间由软骨模型骨化开始到成年形态的渐进过程的速度不同，为骨成熟度评价提供了基础。由于手腕部包含多种类型的众多骨化中心，反映了全身骨发育状况，而且易于摄片，X线照射剂量很小，所以手腕部骨龄得到了最为广泛的应用。
骨龄预测的一种实现方法中要求对桡骨、尺骨、掌指骨和腕骨进行发育等级评价。发明人发现，由于各块骨骺的发育过程均有差异，并且考虑生理性变异、拍摄姿势不规范等因素，骨龄等级的判断难度较大。
针对相关技术中骨龄预测方法效果较差的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种基于深度回归网络的骨龄预测方法及装置，以解决骨龄预测方法效果较差的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种骨龄预测方法。
根据本申请的骨龄预测方法包括：输入待处理骨龄片图像；根据关键点检测深度卷积网络，获取骨骺区域图像；以及将所述骨骺区域图像输入预设深度学习回归网络，得到骨骺等级预测结果，计算出对应的骨龄。
进一步地，根据关键点检测深度卷积网络，获取骨骺区域图像时包括如下的任一一种或多种执行步骤：获取图像灰阶直方图，并调整图像窗宽窗位；获取手部朝向，并将图片中手部朝向调整为向上；获取具有手部全局上下文信息的骨骺关键点和骨骺细节的骨骺关键点；判断手部姿态是否正常以及是左手或右手。
进一步地，根据关键点检测深度卷积网络，获取骨骺区域图像包括：获取多个骨骺区域；对每个所述骨骺区域获取至少一个关键点。
进一步地，对每个所述骨骺区域获取至少一个关键点之后还包括：根据骨骺中心点和骨骺方向的包围框按照不同尺度缩放，获取多个同中心点、同朝向的包围框；根据所述多个同中心点、同朝向的包围框提取多尺度骨骺感兴趣区域。
进一步地，将所述多尺度骨骺区域图像输入预设深度学习回归网络，得到骨骺等级预测结果包括：采用预训练的深度卷积网络提取骨骺区域中的图像特征；根据所述图像特征采用回归分支网络将骨骺等级分类，并分别回归得到各自的骨骺发育等级。
进一步地，所述回归分支网络还包括：在使用骨龄随访数据训练所述回归分支网络时，激活Margin Ranking Loss。
进一步地，预设深度卷积网络包括：VGG Net、ResNet、ResNext或DenseNet。
为了实现上述目的，根据本申请的另一方面，提供了一种骨龄预测装置。
根据本申请的骨龄预测装置包括：输入模块，用于输入待处理骨龄片图像；关键点检测模块，用于根据预设关键点检测网络，获取骨骺区域图像；以及预测模块，用于将所述骨骺区域图像输入预设深度学习回归网络，得到骨骺等级预测结果，计算出对应的骨龄。
为了实现上述目的，根据本申请的再一方面，提供了非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行所述的骨龄预测方法。
为了实现上述目的，根据本申请的又一方面，一种服务器，包括：所述的骨龄预测装置。
在本申请实施例中基于深度回归网络的骨龄预测方法及装置，采用输入待处理骨龄片图像的方式，通过根据关键点检测深度卷积网络，获取骨骺区域图像，达到了将所述骨骺区域图像输入预设深度学习回归网络，得到骨骺等级预测结果，计算出对应的骨龄的目的，从而实现了不需要链接骨骺等级标注数据库直接输出骨骺等级预测结果和准确预测骨龄的技术效果，进而解决了骨龄预测方法效果较差的技术问题。此外，本申请还能够克服由于不规范拍照得到骨龄片图像对预测结果的影响。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请第一实施例的基于深度回归网络的骨龄预测方法示意图；
图2是根据本申请第二实施例的基于深度回归网络的骨龄预测方法示意图；
图3是根据本申请第三实施例的基于深度回归网络的骨龄预测方法示意图
图4是根据本申请第四实施例的基于深度回归网络的骨龄预测方法示意图；
图5是根据本申请实施例的基于深度回归网络的骨龄预测装置示意图；
图6是根据本申请实施例的终端设备(嵌入式设备)示意图；
图7是本申请中骨龄预测方法实现原理示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
本申请中的骨龄预测方法，基于TW3和中华05两套骨龄评价标准，并且根据腕骨和掌指骨两部分区域，借助深度学习技术建立科学、准确、具有医学含义的骨龄预测模型。具体骨龄预测可分为骨骺中心的关键点检测和骨骺区域的等级回归。在本申请中采用了基于深度多级关键点检测和多分支深度回归网络的骨龄预测实现方法。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示，该方法包括如下的步骤S102至步骤S106：
步骤S102，输入待处理骨龄片图像；
待处理骨龄片图像主要采用青少年儿童手掌的X光图像，也可以是其他格式的手掌医学影像，在本申请中并不进行限定。将待处理骨龄片图像作为用于关键点检测的深度卷积网络的输入。
步骤S104，根据关键点检测深度卷积网络，获取骨骺区域图像；以及
根据关键点检测深度卷积网络进行关键点检测，并且需要考虑骨骺在整个手部中的全局上下文信息以及精准的骨骺细节。根据手部骨骺关键点提取结果，并且满足相关手部合法性判断后可以基于手部姿态进行多尺度骨骺区域图的获取，获取骨骺区域图像。
优选地，预设深度卷积网络可以是但不限于：VGG Net、ResNet、ResNext或DenseNet。
步骤S106，将所述骨骺区域图像输入预设深度学习回归网络，得到骨骺等级预测结果，计算出对应的骨龄。
在上个步骤中获得的骨骺区域图像作为预设深度学习回归网络的输入，预设各个骨骺的等级。对于所述骨骺区域，采用深度卷积网络，进行图像特征提取，并根据各个骨骺有不同的生长发育特征，为每种骨骺分别采用了独立的分支网络建立的预设深度学习回归网络。并且，在各个分支网络中依据深度卷积网络抽取出的图像特征，分别回归各自的骨骺发育等级。
从以上的描述中，可以看出，本申请实现了如下技术效果：
在本申请实施例中基于深度回归网络的骨龄预测方法，包括了基于深度多级关键点的检测和多分支深度回归网络的回归，采用输入待处理骨龄片图像的方式，通过根据关键点检测深度卷积网络，获取骨骺区域图像，达到了将所述骨骺区域图像输入预设深度学习回归网络，得到骨骺等级预测结果，计算出对应的骨龄的目的，从而实现了不需要链接骨骺等级标注数据库直接输出骨骺等级预测结果和准确预测骨龄的技术效果，进而解决了骨龄预测方法效果较差的技术问题。此外，本申请还能够克服由于不规范拍照得到骨龄片图像对预测结果的影响。
根据本申请实施例，作为本实施例中的优选，如图2所示，根据预设深度卷积网络，获取骨骺区域图像时包括如下的任一一种或多种执行步骤：步骤S202，获取图像灰阶直方图，并调整图像窗宽窗位；步骤S204，获取手部朝向，并将图片中手部朝向调整为向上；步骤S206，获取具有手部全局上下文信息的骨骺关键点和骨骺细节的骨骺关键点；步骤S208，判断手部姿态是否正常以及是左手或右手。
具体地，步骤S202，所述获取图像灰阶直方图，并调整图像窗宽窗位是指，由图像总能量和直方图格子数目求得阈值，并将直方图二值化；然后搜寻二值化直方图的最大连通域，从而推断出合适的窗宽窗位。从而可以解决X光片拍摄设备和参数设置的影响。此外，还考虑到X光影像的Dicom文件有遗漏窗宽窗位字段、或窗宽窗位错误的情况，不能直接依据Dicom文件中的窗宽窗位调整图片。采用上述优化方案，根据直方图计算出的窗宽窗位可以捕获更多细节。
具体地，步骤S204，所述获取手部朝向，并将图片中手部朝向调整为向上是指，利用深度卷积分类网络：判断输入图片中手部的朝向即是属于向上、向下、向左或向右四种情况的哪一种。接着根据深度卷积网络的判别结果，将输入图片中的手掌朝向统一调整为向上。调整后的图像，再进行手部骨骺关键点检测。采用上述优化方案，考虑到深度卷积网络并不具有旋转不变性，高效精准的实现骨龄预测的任务。
具体地，步骤S206，所述获取具有手部全局上下文信息的骨骺关键点和骨骺细节的骨骺关键点是指，基于深度学习的手部关键点检测采用的深度网络主要分为三部分：全局关键点提取网络、关键点细节精修网络以及部分相似场约束网络。
其中，全局关键点提取网络可以采用特征金字塔结构，将全局上下文信息有效的融入每个骨骺关键点的预测。需要注意的是，在本申请的实施例中并不对全局关键点提取网络的具体网络进行限定，本领域技术人员可以根据实际情况进行选择。
其中，关键点细节精修网络细节精修网络用于对全局网络的输出关键点位置做进一步精细调整，并可以提升对有遮挡的骨骺关键点的定位精度。需要注意的是，在本申请的实施例中并不对关键点细节精修网络细节精修网络进行限定，本领域技术人员可以根据实际情况进行选择。
其中，部分相似场约束网络用于作为基于多尺度特征的部分相似场的分支，使得整个模型不仅具有强大的关键点挖掘能力，同时由于施加了点点之间连线的约束而使得预测更加稳健。
具体地，步骤S208，所述判断手部姿态是否正常以及是左手或右手是指，依据人体手部骨骼解刨特点，将关键点检测结果作为输入，依据掌骨、指骨和桡骨尺骨的固有角度和距离关系，判断输入图片是否是手部。
根据本申请实施例，作为本实施例中的优选，如图3所示，根据关键点检测深度卷积网络，获取骨骺区域图像包括：
步骤S302，获取多个骨骺区域；
根据手部骨骺关键点提取结果，获取骨骺区域图像。
步骤S304，对每个所述骨骺区域获取至少一个关键点。
对于每个骨骺区域，只需要获取一个关键点。根据获取的一个关键点即可初步确定出骨骺区域。
优选地，在所述图3中对每个所述骨骺区域获取至少一个关键点之后还包括：
步骤S306，根据骨骺中心点和骨骺方向的包围框按照不同尺度缩放，获取多个同中心点、同朝向的包围框；
由于不同X光图像中手掌的相对大小不同，先计算关键点之间的折线距离和，将手掌配准到统一大小。接着以关键点为中心，向四周延展出合适长宽的限制框，使得骨骺位于框的正中心。
采用多尺度方式，获取每块骨骺的区域：即根据述判定出的所述骨骺中心点和骨骺方向的包围框为基准，进行不同尺度的缩放，获取多个同中心点、同朝向的包围框。判定出的骨骺中心点和。
步骤S308，根据所述多个同中心点、同朝向的包围框提取多尺度骨骺感兴趣区域。
由于五根手指的朝向不同，并且尺骨、桡骨和第三掌指骨的夹角不同，不能仅仅依据各个骨骺自身的一个关键点，来决定骨骺区域。根据手部的解刨生理特点，综合考虑各个手指朝向以及掌骨和桡骨、尺骨的位置，判断出各个骨骺区域在整个图片中的角度和大小。所以可以根据所述多个同中心点、同朝向的包围框提取多尺度骨骺感兴趣区域。
根据本申请实施例，作为本实施例中的优选，如图4所示，将所述多尺度骨骺区域图像输入预设深度学习回归网络，得到骨骺等级预测结果包括：
步骤S402，采用预训练的深度卷积网络提取骨骺区域中的图像特征；
应用深度卷积网络，进行图像特征提取。由于各个骨骺有不同的生长发育特征，不能单一地使用统一的主干网络完成骨骺等级分类。所以还需要增加具有分支网络结构的预设深度学习回归网络。
步骤S404，根据所述图像特征采用回归分支网络将骨骺等级分类，并分别回归得到各自的骨骺发育等级。
在通过上述步骤实现判断骨骺等级的过程中，并不需要链接额外的骨骺等级标注数据库，采用本申请实施例中的深度学习回归网络可以直接获取得到骨骺等级输出结果。针对每种骨骺分别设计了独立的分支网络，各个分支网络依据深度卷积网络抽取出的图像特征，分别回归各自的骨骺发育等级。该网络在在交叉熵损失基础上，添加了均值方差损失，使得模型预测的概率分布，其均值更接近真实值，其不确定性变得更小。
此外，上述步骤中通过将整体手掌信息也提供给网络进行训练，使得网络不仅可用于各块骨骺所在的局部区域，也可以充分利用手掌的全局特征。需要注意的是，整体手掌信息的获取方式在本申请中并不进行限定，本领域技术人员可以根据实际情况进行选择。
优选地，所述回归分支网络还包括：使用骨龄随访数据训练所述回归分支网络时，激活Margin Ranking Loss。由于骨骺发育具有不可逆的特点，对骨龄随访数据，各个骨骺的等级评分应该呈现单调递增趋势。针对该特点，在深度学习回归网络中引入MarginRanking Loss；在使用随访数据训练回归网络时，激活Margin Ranking Loss，使网络对随访数据的骨骺等级回归关系和检查时间间存在偏序关系。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例，还提供了一种用于实施上述预测方法的骨龄预测装置，如图5所示，该装置包括：包括：输入模块10，用于输入待处理骨龄片图像；关键点检测模块20，用于根据预设关键点检测网络，获取骨骺区域图像；以及预测模块30，用于将所述骨骺区域图像输入预设深度学习回归网络，得到骨骺等级预测结果，计算出对应的骨龄。
本申请实施例的输入模块10中待处理骨龄片图像主要采用青少年儿童手掌的X光图像，也可以是其他格式的手掌医学影像，在本申请中并不进行限定。将待处理骨龄片图像作为用于关键点检测的深度卷积网络的输入。
本申请实施例的关键点检测模块20中根据关键点检测深度卷积网络进行关键点检测，并且需要考虑骨骺在整个手部中的全局上下文信息以及精准的骨骺细节。根据手部骨骺关键点提取结果，并且满足相关手部合法性判断后可以基于手部姿态进行多尺度骨骺区域图的获取，获取骨骺区域图像。
优选地，预设深度卷积网络可以是但不限于：VGG Net、ResNet、ResNext、DenseNet或SqueezeNet、MobileNet。
本申请实施例的预测模块30中在上个模块中获得的骨骺区域图像作为预设深度学习回归网络的输入，预设各个骨骺的等级。对于所述骨骺区域，采用深度卷积网络，进行图像特征提取，并根据各个骨骺有不同的生长发育特征，为每种骨骺分别采用了独立的分支网络建立的预设深度学习回归网络。并且，在各个分支网络中依据深度卷积网络抽取出的图像特征，分别回归各自的骨骺发育等级。
根据本申请实施例，作为本实施例中的优选，所述关键点检测模块包括：第一处理单元，用于获取图像灰阶直方图，并调整图像窗宽窗位；第二处理单元，用于获取手部朝向，并将图片中手部朝向调整为向上；第三处理单元，用于获取具有手部全局上下文信息的骨骺关键点和骨骺细节的骨骺关键点；第四处理单元，用于判断手部姿态是否正常以及是左手或右手。
本申请实施例的第一处理单元中所述获取图像灰阶直方图，并调整图像窗宽窗位是指，由图像总能量和直方图格子数目求得阈值，并将直方图二值化；然后搜寻二值化直方图的最大连通域，从而推断出合适的窗宽窗位。从而可以解决：由于X光拍摄设备和参数设置的影响，不同医院骨龄片的直方图分布通常有较大差异的问题。此外，还考虑到X光影像的Dicom文件有遗漏窗宽窗位字段、或窗宽窗位错误的情况，不能直接依据Dicom文件中的窗宽窗位调整图片。采用上述优化方案，根据直方图计算出的窗宽窗位可以捕获更多细节。
本申请实施例的第二处理单元中所述获取手部朝向，并将图片中手部朝向调整为向上是指，利用深度卷积分类网络：判断输入图片中手部的朝向即是属于向上、向下、向左或向右四种情况的哪一种。接着根据深度卷积网络的判别结果，将输入图片中的手掌朝向统一调整为向上。调整后的图像，再进行手部骨骺关键点检测。采用上述优化方案，考虑到深度卷积网络并不具有旋转不变性，高效精准的实现骨龄预测的任务。
本申请实施例的第三处理单元中所述获取具有手部全局上下文信息的骨骺关键点和骨骺细节的骨骺关键点是指，基于深度学习的手部关键点检测采用的深度网络主要分为三部分：全局关键点提取网络、关键点细节精修网络以及部分相似场约束网络。其中，全局关键点提取网络可以采用特征金字塔结构，将全局上下文信息有效的融入每个骨骺关键点的预测。需要注意的是，在本申请的实施例中并不对全局关键点提取网络的具体网络进行限定，本领域技术人员可以根据实际情况进行选择。
其中，关键点细节精修网络细节精修网络用于对全局网络的输出关键点位置做进一步精细调整，并可以提升对有遮挡的骨骺关键点的定位精度。需要注意的是，在本申请的实施例中并不对关键点细节精修网络细节精修网络进行限定，本领域技术人员可以根据实际情况进行选择。
其中，部分相似场约束网络用于作为基于多尺度特征的部分相似场的分支，使得整个模型不仅具有强大的关键点挖掘能力，同时由于施加了点点之间连线的约束而使得预测更加稳健。
本申请实施例的第四处理单元中所述判断手部姿态是否正常以及是左手或右手是指，依据人体手部骨骼解刨特点，将关键点检测结果作为输入，依据掌骨、指骨和桡骨尺骨的固有角度和距离关系，判断输入图片是否是手部。
根据本申请实施例，作为本实施例中的优选，所述关键点检测模块包括：骨骺区域获取单元，用于获取多个骨骺区域；关键点提取单元，用于对每个所述骨骺区域获取至少一个关键点；尺度缩放单元，用于根据骨骺中心点和骨骺方向的包围框按照不同尺度缩放，获取多个同中心点、同朝向的包围框；多尺度骨骺感兴趣区域获取单元，用于根据所述多个同中心点、同朝向的包围框提取多尺度骨骺感兴趣区域。
本申请实施例的骨骺区域获取单元中根据手部骨骺关键点提取结果，获取骨骺区域图像。
本申请实施例的关键点提取单元中对于每个骨骺区域，只需要获取一个关键点。根据获取的一个关键点即可初步确定出骨骺区域。
本申请实施例的尺度缩放单元中由于不同X光图像中手掌的相对大小不同，先计算关键点之间的折线距离和，将手掌配准到统一大小。接着以关键点为中心，向四周延展出合适长宽的限制框，使得骨骺位于框的正中心。
采用多尺度方式，获取每块骨骺的区域：即根据述判定出的所述骨骺中心点和骨骺方向的包围框为基准，进行不同尺度的缩放，获取多个同中心点、同朝向的包围框。判定出的骨骺中心点和。
本申请实施例的多尺度骨骺感兴趣区域获取单元中由于五根手指的朝向不同，并且尺骨、桡骨和第三掌指骨的夹角不同，不能仅仅依据各个骨骺自身的一个关键点，来决定骨骺区域。根据手部的解刨生理特点，综合考虑各个手指朝向以及掌骨和桡骨、尺骨的位置，判断出各个骨骺区域在整个图片中的角度和大小。所以可以根据所述多个同中心点、同朝向的包围框提取多尺度骨骺感兴趣区域。
根据本申请实施例，作为本实施例中的优选，所述预测模块模块包括：图像特征提取单元，用于采用预训练的深度卷积网络提取骨骺区域中的图像特征；分类单元，用于根据所述图像特征采用回归分支网络将骨骺等级分类，并分别回归得到各自的骨骺发育等级。
本申请实施例的图像特征提取单元中应用深度卷积网络，进行图像特征提取。由于各个骨骺有不同的生长发育特征，不能单一地使用统一的主干网络完成骨骺等级分类。所以还需要增加具有分支网络结构的预设深度学习回归网络。
本申请实施例的分类单元中在通过上述步骤实现判断骨骺等级的过程中，并不需要链接额外的骨骺等级标注数据库，采用本申请实施例中的深度学习回归网络可以直接获取得到骨骺等级输出结果。针对每种骨骺分别设计了独立的分支网络，各个分支网络依据深度卷积网络抽取出的图像特征，分别回归各自的骨骺发育等级。该网络在在交叉熵损失基础上，添加了均值方差损失，使得模型预测的概率分布，其均值更接近真实值，其不确定性变得更小。
此外，上述模块中通过将整体手掌信息也提供给网络进行训练，使得网络不仅可用于各块骨骺所在的局部区域，也可以充分利用手掌的全局特征。需要注意的是，整体手掌信息的获取方式在本申请中并不进行限定，本领域技术人员可以根据实际情况进行选择。
优选地，所述分类单元中的所述回归分支网络还包括：在使用骨龄随访数据训练所述回归分支网络时，激活Margin Ranking Loss。由于骨骺发育具有不可逆的特点，对骨龄随访数据，各个骨骺的等级评分应该呈现单调递增趋势。针对该特点，在深度学习回归网络中引入Margin Ranking Loss；在使用随访数据训练回归网络时，激活Margin RankingLoss，使网络对随访数据的骨骺等级回归关系和检查时间间存在偏序关系。
在本申请的一实施例中，还提供了一种服务器，包括：所述的骨龄预测装置，其中，所述骨龄预测装置的实现原理和有益效果如上所述，在此不再进行赘述。
在本申请的另一实施例中，本申请实施例提供了一种终端设备，如图6所示，图6所示的终端设备1000包括：处理器1001和存储器1003。其中，处理器1001和存储器1003相连，如通过总线1002相连。可选地，终端设备1000还可以包括收发器1004。需要说明的是，实际应用中收发器1004不限于一个，该终端设备1000的结构并不构成对本申请实施例的限定。
处理器1001可以是中央处理器CPU，图形处理器GPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器1001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合、DSP和微处理器的组合等。
总线1002可包括一通路，在上述组件之间传送信息。总线1002可以是PCI总线或EISA总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器1003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
可选地，存储器1003用于存储执行本申请方案的应用程序代码，并由处理器1001来控制执行。处理器1001用于执行存储器1003中存储的应用程序代码，以实现图1所示实施例提供的骨龄预测方法。
在本申请的再一实施例中，还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求所述的骨龄预测方法。
如图7所示，是本申请中的骨龄预测方法实现原理示意图。以下结合图7对本申请的实现原理进行说明和解释。
如图7所示，在网络结构的第一阶段包括，在关键点预测网络中输入是青少年儿童手掌的X光图像，基于网络不同深度提取出的特征，预测出系列关键点的分布热图。根据预测出的关键点为支撑，得到若干骨骺区域。
然后通过将第一阶段的输出作为第二阶段骨龄预测的输入，并且经过深度残差卷积网络的特征提取和对应分支的前向计算，直接输出该区域对应的发育等级，并最终根据CH05法和TW3法精密计算出该手掌对应的骨龄。
本申请在进行关键点检测前采用的优化流程包括：获取图像灰阶直方图，并调整图像窗宽窗位，由图像总能量和直方图格子数目求得阈值，并将直方图二值化；然后搜寻二值化直方图的最大连通域，从而推断出合适的窗宽窗位。从而可以解决：由于X光拍摄设备和参数设置的影响，不同医院骨龄片的直方图分布通常有较大差异的问题。此外，还考虑到X光影像的Dicom文件有遗漏窗宽窗位字段、或窗宽窗位错误的情况，不能直接依据Dicom文件中的窗宽窗位调整图片。采用上述优化方案，根据直方图计算出的窗宽窗位可以捕获更多细节。
本申请在进行关键点检测前采用的优化流程包括：获取手部朝向，并将图片中手部朝向调整为向上。具体地，利用深度卷积分类网络：判断输入图片中手部的朝向即是属于向上、向下、向左或向右四种情况的哪一种。接着根据深度卷积网络的判别结果，将输入图片中的手掌朝向统一调整为向上。调整后的图像，再进行手部骨骺关键点检测。采用上述优化方案，考虑到深度卷积网络并不具有旋转不变性，高效精准的实现骨龄预测的任务。如果判定输入图片为手部，该方法将同时判断出图片是左手还是右手，并将进一步对图片中的手部姿态进行检测，并根据骨龄片的拍摄规范,提示出明显的手部姿态错误，如大拇指张开角度不规范、手指屈伸、上臂位置不佳等情况。若该步骤认定输入图片不是手部合法骨龄片，则退出不会进行后续操作。
本申请在进行关键点检时采用的优化流程包括：所述获取具有手部全局上下文信息的骨骺关键点和骨骺细节的骨骺关键点是指，基于深度学习的手部关键点检测采用的深度网络主要分为三部分：全局关键点提取网络、关键点细节精修网络以及部分相似场约束网络。其中，全局关键点提取网络可以采用特征金字塔结构，将全局上下文信息有效的融入每个骨骺关键点的预测。需要注意的是，在本申请的实施例中并不对全局关键点提取网络的具体网络进行限定，本领域技术人员可以根据实际情况进行选择。
其中，关键点细节精修网络细节精修网络用于对全局网络的输出关键点位置做进一步精细调整，并可以提升对有遮挡的骨骺关键点的定位精度。需要注意的是，在本申请的实施例中并不对关键点细节精修网络细节精修网络进行限定，本领域技术人员可以根据实际情况进行选择。
其中，部分相似场约束网络用于作为基于多尺度特征的部分相似场的分支，使得整个模型不仅具有强大的关键点挖掘能力，同时由于施加了点点之间连线的约束而使得预测更加稳健。
本申请在进行关键点检测后采用的优化流程包括：判断手部姿态是否正常以及是左手或右手。具体地，依据人体手部骨骼解刨特点，将关键点检测结果作为输入，依据掌骨、指骨和桡骨尺骨的固有角度和距离关系，判断输入图片是否是手部。
如图7所示，对于骨骺的关键点检测网络的构造，既需要骨骺在整个手部的全局上下文信息，又需要精准的骨骺细节。本申请中的关键点检测的深度网络分为三部分：全局关键点提取网络、关键点细节精修网络和部分相似场约束网络。全局关键点提取网络采用特征金字塔结构，将全局上下文信息有效的融入每个骨骺关键点的预测。细节精修网络对全局网络的输出关键点位置做进一步精细调整，提升对有遮挡的骨骺关键点的定位精度。本系统另外使用一个基于多尺度特征的部分相似场的分支，这样模型不仅具有强大的关键点挖掘能力，同时由于施加了点点之间连线的约束而使得预测更加稳健。部分相似点的约束，使得本系统能够在少样本的数据上，比如婴幼儿手掌，或有杂物干扰的手掌，取得更加稳健的表现。其次，采用归一化的处理方式，可以降低模型对于图像直方图分布，增强泛化能力。此外，通过引入在线难例挖掘学习机制，增加网络对于那些手掌拍摄姿态不标准的困难例子的注意力。
需要注意的是，上述的优化方式并不作为对于本申请中关键点检测网络的限定，本领域技术人员可以根据实际使用场景进行选择。
如图7所示，在本申请中基于手部姿态的多尺度骨骺区域获取具体包括：
根据上述手部骨骺关键点提取结果，获取骨骺区域图像。并对于对每个骨骺区域，只需要获取一个关键点。由于五根手指的朝向不同，并且尺骨、桡骨和第三掌指骨的夹角不同，不能仅仅依据各个骨骺自身的一个关键点，来决定骨骺区域。本申请中的一种实现方法是，根据手部的解刨生理特点，综合考虑各个手指朝向以及掌骨和桡骨、尺骨的位置，判断出各个骨骺区域在整个图片中的角度和大小。
由于不同X光图像中手掌的相对大小不同，先计算关键点之间的折线距离和，将手掌配准到统一大小。接着以关键点为中心，向四周延展出合适长宽的限制框,使得骨骺位于框的正中心。
另外，通过采用多尺度方式，获取每块骨骺的区域：即以前述判定出的骨骺中心点和骨骺方向的包围框为基准，进行不同尺度的缩放，获取多个同中心点、同朝向的包围框。判定出的骨骺中心点和。这样的目的是，即保证骨骺区域有充分的局部细节，又能引入了足够上下文信息，以增强网络对年龄和个体差异导致的手部形态不一致的适应能力。
如图7所示，在本申请中基于多分支深度回归网络的骨骺分级具体包括：
基于深度学习的回归网络，预测各个骨骺的等级。判断骨骺等级过程中，不需要链接额外的骨骺等级标注数据库，深度回归网络直接给出骨骺等级。
根据步骤中获得的多尺度骨骺区域，应用深度卷积网络，进行图像特征提取。由于各个骨骺有不同的生长发育特征，不能简单的使用统一的主干网络完成骨骺等级分类。在本申请的网络模型中为每种骨骺分别设计了独立的分支网络。各个分支网络依据深度卷积网络抽取出的影像特征，分别回归各自的骨骺发育等级。同时，通过将整体手掌信息也提供给网络训练，使得网络不仅着眼于各块骨骺所在的局部区域，也充分利用手掌的全局特征。该网络在在交叉熵损失基础上，添加了均值方差损失，使得模型预测的概率分布，其均值更接近真实值，其不确定性变得更小。
上述网络结构中的深度卷积网络可以采用多种架构，如VGG Net，ResNet，ResNext，DenseNet、SqueezeNet、MobileNet等网络结构，在本申请中并不进行限定。
优选地，由于骨骺发育具有不可逆的特点，对骨龄随访数据，各个骨骺的等级评分应该呈现单调递增趋势。针对该特点，本网络结构在深度回归网络引入Margin RankingLoss；在使用随访数据训练回归网络时，激活Margin Ranking Loss，使网络对随访数据的骨骺等级回归关系和检查时间间存在偏序关系。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于深度回归网络的骨龄预测方法，其特征在于，包括：
输入待处理骨龄片图像；
根据关键点检测深度卷积网络，获取骨骺区域图像；以及
将所述骨骺区域图像输入预设深度学习回归网络，得到骨骺等级预测结果，计算出对应的骨龄。
2.根据权利要求1所述的骨龄预测方法，其特征在于，根据关键点检测深度卷积网络，获取骨骺区域图像时包括如下的任一一种或多种执行步骤：
获取图像灰阶直方图，并调整图像窗宽窗位；
获取手部朝向，并将图片中手部朝向调整为向上；
获取具有手部全局上下文信息的骨骺关键点和骨骺细节的骨骺关键点；
判断手部姿态是否正常以及是左手或右手。
3.根据权利要求1所述的骨龄预测方法，其特征在于，根据关键点检测深度卷积网络，获取骨骺区域图像包括：
获取多个骨骺区域；
对每个所述骨骺区域获取至少一个关键点。
4.根据权利要求3所述的骨龄预测方法，其特征在于，对每个所述骨骺区域获取至少一个关键点之后还包括：
根据骨骺中心点和骨骺方向的包围框按照不同尺度缩放，获取多个同中心点、同朝向的包围框；
根据所述多个同中心点、同朝向的包围框提取多尺度骨骺感兴趣区域。
5.根据权利要求1所述的骨龄预测方法，其特征在于，将所述多尺度骨骺区域图像输入预设深度学习回归网络，得到骨骺等级预测结果包括：
采用预训练的深度卷积网络提取骨骺区域中的图像特征；
根据所述图像特征采用回归分支网络将骨骺等级分类，并分别回归得到各自的骨骺发育等级。
6.根据权利要求5所述的骨龄预测方法，其特征在于，所述回归分支网络还包括：在使用骨龄随访数据训练所述回归分支网络时，激活Margin Ranking Loss。
7.根据权利要求1所述的骨龄预测方法，其特征在于，预设深度卷积网络可以是但不限于：VGG Net、ResNet、ResNext、DenseNet或SqueezeNet、MobileNet等。
8.一种深度回归网络的骨龄预测装置，其特征在于，包括：
输入模块，用于输入待处理骨龄片图像；
关键点检测模块，用于根据预设关键点检测网络，获取骨骺区域图像；以及
预测模块，用于将所述骨骺区域图像输入预设深度学习回归网络，得到骨骺等级预测结果，计算出对应的骨龄。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1至6中任一项所述的骨龄预测方法。
10.一种服务器，其特征在于，包括：如权利要求7所述的骨龄预测装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811616211.2A CN109741309B (zh) | 2018-12-27 | 2018-12-27 | 一种基于深度回归网络的骨龄预测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811616211.2A CN109741309B (zh) | 2018-12-27 | 2018-12-27 | 一种基于深度回归网络的骨龄预测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109741309A true CN109741309A (zh) | 2019-05-10 |
| CN109741309B CN109741309B (zh) | 2021-04-02 |
Family
ID=66361522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811616211.2A Active CN109741309B (zh) | 2018-12-27 | 2018-12-27 | 一种基于深度回归网络的骨龄预测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109741309B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110120266A (zh) * | 2019-06-27 | 2019-08-13 | 中国科学技术大学 | 骨骼年龄评估方法 |
| CN110335670A (zh) * | 2019-06-10 | 2019-10-15 | 北京深睿博联科技有限责任公司 | 用于骨骺等级分级的图像数据处理方法及装置 |
| CN110738654A (zh) * | 2019-10-18 | 2020-01-31 | 中国科学技术大学 | 髋关节影像中的关键点提取及骨龄预测方法 |
| CN110782450A (zh) * | 2019-10-31 | 2020-02-11 | 北京推想科技有限公司 | 手部腕骨发育等级确定方法及相关设备 |
| CN110853003A (zh) * | 2019-10-31 | 2020-02-28 | 北京推想科技有限公司 | 手部骨骺发育等级确定方法及相关设备 |
| CN110874834A (zh) * | 2019-10-22 | 2020-03-10 | 清华大学 | 骨龄预测方法、装置、电子设备及可读存储介质 |
| CN111178298A (zh) * | 2019-12-31 | 2020-05-19 | 北京达佳互联信息技术有限公司 | 人体关键点检测方法、装置、电子设备及存储介质 |
| CN111402213A (zh) * | 2020-03-05 | 2020-07-10 | 北京深睿博联科技有限责任公司 | 骨龄评测方法和装置、电子设备及计算机可读存储介质 |
| CN111415334A (zh) * | 2020-03-05 | 2020-07-14 | 北京深睿博联科技有限责任公司 | 骨龄预测设备 |
| CN111563874A (zh) * | 2020-03-05 | 2020-08-21 | 北京深睿博联科技有限责任公司 | 骨龄评测方法和装置 |
| CN111882517A (zh) * | 2020-06-08 | 2020-11-03 | 杭州深睿博联科技有限公司 | 一种基于图卷积神经网络的骨龄评测方法、系统、终端及存储介质 |
| CN113331849A (zh) * | 2021-06-08 | 2021-09-03 | 北京中医药大学 | 一种尺骨骨龄等级评定系统及方法 |
| CN113436145A (zh) * | 2021-05-24 | 2021-09-24 | 北京医准智能科技有限公司 | 基于人工智能的骨龄确定方法、装置以及电子设备 |
| CN113468991A (zh) * | 2021-06-21 | 2021-10-01 | 沈阳工业大学 | 一种基于全景视频的停车位检测方法 |
| CN114601483A (zh) * | 2022-05-11 | 2022-06-10 | 山东第一医科大学第一附属医院(山东省千佛山医院) | 一种基于图像处理的骨龄分析方法及系统 |
| CN114708540A (zh) * | 2022-04-24 | 2022-07-05 | 上海人工智能创新中心 | 一种数据处理方法，终端及存储介质 |
| CN117252881A (zh) * | 2023-11-20 | 2023-12-19 | 四川大学 | 基于手部x光图像的骨龄预测方法、系统、设备及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102945545A (zh) * | 2012-10-18 | 2013-02-27 | 重庆医科大学 | 一种鲁棒的骨龄评定图像预处理及骨关键点定位方法 |
| CN105718912A (zh) * | 2016-01-26 | 2016-06-29 | 浙江捷尚视觉科技股份有限公司 | 一种基于深度学习的车辆特征物检测方法 |
| CN106340000A (zh) * | 2015-07-06 | 2017-01-18 | 司法部司法鉴定科学技术研究所 | 骨龄评估方法 |
| CN106599830A (zh) * | 2016-12-09 | 2017-04-26 | 中国科学院自动化研究所 | 人脸关键点定位方法及装置 |
| CN107591200A (zh) * | 2017-08-25 | 2018-01-16 | 卫宁健康科技集团股份有限公司 | 基于深度学习及影像组学的骨龄标记识别评估方法及系统 |
| CN107895367A (zh) * | 2017-11-14 | 2018-04-10 | 中国科学院深圳先进技术研究院 | 一种骨龄识别方法、系统及电子设备 |
| CN108056786A (zh) * | 2017-12-08 | 2018-05-22 | 浙江大学医学院附属儿童医院 | 一种基于深度学习的骨龄检测方法和装置 |
| CN108968991A (zh) * | 2018-05-08 | 2018-12-11 | 平安科技（深圳）有限公司 | 手骨x光片骨龄评估方法、装置、计算机设备和存储介质 |
-
2018
- 2018-12-27 CN CN201811616211.2A patent/CN109741309B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102945545A (zh) * | 2012-10-18 | 2013-02-27 | 重庆医科大学 | 一种鲁棒的骨龄评定图像预处理及骨关键点定位方法 |
| CN106340000A (zh) * | 2015-07-06 | 2017-01-18 | 司法部司法鉴定科学技术研究所 | 骨龄评估方法 |
| CN105718912A (zh) * | 2016-01-26 | 2016-06-29 | 浙江捷尚视觉科技股份有限公司 | 一种基于深度学习的车辆特征物检测方法 |
| CN106599830A (zh) * | 2016-12-09 | 2017-04-26 | 中国科学院自动化研究所 | 人脸关键点定位方法及装置 |
| CN107591200A (zh) * | 2017-08-25 | 2018-01-16 | 卫宁健康科技集团股份有限公司 | 基于深度学习及影像组学的骨龄标记识别评估方法及系统 |
| CN107895367A (zh) * | 2017-11-14 | 2018-04-10 | 中国科学院深圳先进技术研究院 | 一种骨龄识别方法、系统及电子设备 |
| CN108056786A (zh) * | 2017-12-08 | 2018-05-22 | 浙江大学医学院附属儿童医院 | 一种基于深度学习的骨龄检测方法和装置 |
| CN108968991A (zh) * | 2018-05-08 | 2018-12-11 | 平安科技（深圳）有限公司 | 手骨x光片骨龄评估方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| YILUN CHEN等: ""Cascaded Pyramid Network for Multi-Person Pose Estimation"", 《ARXIV》 * |
| 徐威威 等: ""一种鲁棒的人脸关键点实时跟踪方法"", 《计算机工程》 * |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110335670A (zh) * | 2019-06-10 | 2019-10-15 | 北京深睿博联科技有限责任公司 | 用于骨骺等级分级的图像数据处理方法及装置 |
| CN110120266A (zh) * | 2019-06-27 | 2019-08-13 | 中国科学技术大学 | 骨骼年龄评估方法 |
| CN110120266B (zh) * | 2019-06-27 | 2022-09-30 | 中国科学技术大学 | 骨骼年龄评估方法 |
| CN110738654A (zh) * | 2019-10-18 | 2020-01-31 | 中国科学技术大学 | 髋关节影像中的关键点提取及骨龄预测方法 |
| CN110738654B (zh) * | 2019-10-18 | 2022-07-15 | 中国科学技术大学 | 髋关节影像中的关键点提取及骨龄预测方法 |
| CN110874834A (zh) * | 2019-10-22 | 2020-03-10 | 清华大学 | 骨龄预测方法、装置、电子设备及可读存储介质 |
| CN110853003B (zh) * | 2019-10-31 | 2020-07-24 | 北京推想科技有限公司 | 手部骨骺发育等级确定方法及相关设备 |
| CN110782450A (zh) * | 2019-10-31 | 2020-02-11 | 北京推想科技有限公司 | 手部腕骨发育等级确定方法及相关设备 |
| CN110853003A (zh) * | 2019-10-31 | 2020-02-28 | 北京推想科技有限公司 | 手部骨骺发育等级确定方法及相关设备 |
| CN111178298A (zh) * | 2019-12-31 | 2020-05-19 | 北京达佳互联信息技术有限公司 | 人体关键点检测方法、装置、电子设备及存储介质 |
| CN111415334A (zh) * | 2020-03-05 | 2020-07-14 | 北京深睿博联科技有限责任公司 | 骨龄预测设备 |
| CN111402213B (zh) * | 2020-03-05 | 2023-10-27 | 北京深睿博联科技有限责任公司 | 骨龄评测方法和装置、电子设备及计算机可读存储介质 |
| CN111563874A (zh) * | 2020-03-05 | 2020-08-21 | 北京深睿博联科技有限责任公司 | 骨龄评测方法和装置 |
| CN111563874B (zh) * | 2020-03-05 | 2023-04-28 | 北京深睿博联科技有限责任公司 | 骨龄评测方法和装置 |
| CN111402213A (zh) * | 2020-03-05 | 2020-07-10 | 北京深睿博联科技有限责任公司 | 骨龄评测方法和装置、电子设备及计算机可读存储介质 |
| CN111882517A (zh) * | 2020-06-08 | 2020-11-03 | 杭州深睿博联科技有限公司 | 一种基于图卷积神经网络的骨龄评测方法、系统、终端及存储介质 |
| CN113436145A (zh) * | 2021-05-24 | 2021-09-24 | 北京医准智能科技有限公司 | 基于人工智能的骨龄确定方法、装置以及电子设备 |
| CN113331849A (zh) * | 2021-06-08 | 2021-09-03 | 北京中医药大学 | 一种尺骨骨龄等级评定系统及方法 |
| CN113468991A (zh) * | 2021-06-21 | 2021-10-01 | 沈阳工业大学 | 一种基于全景视频的停车位检测方法 |
| CN113468991B (zh) * | 2021-06-21 | 2024-03-05 | 沈阳工业大学 | 一种基于全景视频的停车位检测方法 |
| CN114708540A (zh) * | 2022-04-24 | 2022-07-05 | 上海人工智能创新中心 | 一种数据处理方法，终端及存储介质 |
| CN114708540B (zh) * | 2022-04-24 | 2024-06-07 | 上海人工智能创新中心 | 一种数据处理方法，终端及存储介质 |
| CN114601483A (zh) * | 2022-05-11 | 2022-06-10 | 山东第一医科大学第一附属医院(山东省千佛山医院) | 一种基于图像处理的骨龄分析方法及系统 |
| CN117252881A (zh) * | 2023-11-20 | 2023-12-19 | 四川大学 | 基于手部x光图像的骨龄预测方法、系统、设备及介质 |
| CN117252881B (zh) * | 2023-11-20 | 2024-01-26 | 四川大学 | 基于手部x光图像的骨龄预测方法、系统、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109741309B (zh) | 2021-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109741309A (zh) | 一种基于深度回归网络的骨龄预测方法及装置 | |
| CN111881705B (zh) | 数据处理、训练、识别方法、装置和存储介质 | |
| CN109902659B (zh) | 用于处理人体图像的方法和装置 | |
| CN106709917B (zh) | 神经网络模型训练方法、装置及系统 | |
| CN106778867A (zh) | 目标检测方法和装置、神经网络训练方法和装置 | |
| US10803762B2 (en) | Body-motion assessment device, dance assessment device, karaoke device, and game device | |
| CN110111313A (zh) | 基于深度学习的医学图像检测方法及相关设备 | |
| CN106980867A (zh) | 将嵌入空间中的语义概念建模为分布 | |
| CN106980868A (zh) | 用于具有多个文本标签的图像的嵌入空间 | |
| CN109919928A (zh) | 医学影像的检测方法、装置和存储介质 | |
| Chaudhari et al. | Yog-guru: Real-time yoga pose correction system using deep learning methods | |
| CN108629326A (zh) | 目标体的动作行为识别方法及装置 | |
| CN107886089A (zh) | 一种基于骨架图回归的三维人体姿态估计的方法 | |
| CN113435236A (zh) | 居家老人姿态检测方法、系统、存储介质、设备及应用 | |
| CN106777909A (zh) | 妊娠期健康风险评估系统 | |
| CN113033581B (zh) | 髋关节图像中骨骼解剖关键点定位方法、电子设备及介质 | |
| CN109446952A (zh) | 一种钢琴监督方法、装置、计算机设备及存储介质 | |
| CN109858476A (zh) | 标签的扩充方法和电子设备 | |
| CN111667459A (zh) | 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质 | |
| CN109671055A (zh) | 肺结节检测方法及装置 | |
| CN106251397A (zh) | 基于大型bim模型的框选方法及系统 | |
| Li | Application of IoT-enabled computing technology for designing sports technical action characteristic model | |
| CN114222528A (zh) | 用于确定在患者的手部存在关节炎的可能性的方法和系统 | |
| CN115775609A (zh) | 一种基于人工智能的患者画像系统 | |
| CN110051376A (zh) | 一种骨龄智能检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190726 Address after: 102200 Unit 3, Unit 3, Unit 309, Building 4, Courtyard 42, Qibei Road, North Qijia Town, Changping District, Beijing Applicant after: BEIJING SHENRUI BOLIAN TECHNOLOGY Co.,Ltd. Applicant after: SHENZHEN DEEPWISE BOLIAN TECHNOLOGY Co.,Ltd. Address before: 100080 Area A, 21th Floor, Zhonggang International Plaza, 8 Haidian Street, Haidian District, Beijing Applicant before: BEIJING SHENRUI BOLIAN TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210401 Address after: Room 705, building 8, No. 1818-2, Wenyi West Road, Yuhang District, Hangzhou City, Zhejiang Province Patentee after: SHENZHEN DEEPWISE BOLIAN TECHNOLOGY Co.,Ltd. Patentee after: BEIJING SHENRUI BOLIAN TECHNOLOGY Co.,Ltd. Address before: Unit 309, unit 3, floor 3, building 4, yard 42, Qibei Road, Beiqijia Town, Changping District, Beijing Patentee before: BEIJING SHENRUI BOLIAN TECHNOLOGY Co.,Ltd. Patentee before: SHENZHEN DEEPWISE BOLIAN TECHNOLOGY Co.,Ltd. |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A bone age prediction method and device based on deep regression network Effective date of registration: 20231007 Granted publication date: 20210402 Pledgee: Guotou Taikang Trust Co.,Ltd. Pledgor: SHENZHEN DEEPWISE BOLIAN TECHNOLOGY Co.,Ltd. Registration number: Y2023980059614 |