CN113298842B - 骨龄预测方法、装置、设备及计算机可读存储介质 - Google Patents

骨龄预测方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113298842B
CN113298842B CN202110595212.9A CN202110595212A CN113298842B CN 113298842 B CN113298842 B CN 113298842B CN 202110595212 A CN202110595212 A CN 202110595212A CN 113298842 B CN113298842 B CN 113298842B
Authority
CN
China
Prior art keywords
hand
bone
image
ray image
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110595212.9A
Other languages
English (en)
Other versions
CN113298842A (zh
Inventor
高良心
乔中伟
柏梅
葛建帮
黄凌云
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202110595212.9A priority Critical patent/CN113298842B/zh
Publication of CN113298842A publication Critical patent/CN113298842A/zh
Application granted granted Critical
Publication of CN113298842B publication Critical patent/CN113298842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请提供一种骨龄预测方法、装置、设备及计算机可读存储介质，该方法包括：获取第一手部X光图像；在第一手部X光图像上确定多个第一关键点；根据多个第一关键点对第一手部X光图像进行空间变换处理，得到第二手部X光图像；在第二手部X光图像上确定多个第二关键点；根据第一关键点和第二关键点对第二手部X光图像进行修正，得到第三手部X光图像；根据第一手部X光图像对应的手骨轮廓图像对第三手部X光图像进行掩膜处理得到手骨图像；对手骨图像进行骨龄预测，得到骨龄的预测值。本申请减少了医生进行图像比对的操作以及手部姿态对骨龄预测的影响，提高了骨龄预测的精准度。本申请还涉及区块链技术。

Description

骨龄预测方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及数据处理技术领域，尤其涉及一种骨龄预测方法、装置、设备及计算机可读存储介质。
背景技术
人类身体发育过程中，不同时期的骨骼大小和形状有着明显的差异，正常发育的情况下，骨骼的年龄(骨龄)和真实的年龄差异性非常小，一旦发现该差异较大时，则表明身体发育的过程中可能存在某些潜在的疾病干扰着骨头的正常发育。因此，临床医师通过预测青少年骨骼系统的成熟度，从而尽早发现一些发育中的异常问题。目前，骨龄预测时，普通医师无法胜任，需要相关经验的医师来执行，致使骨龄预测必须去专门的鉴定机构完成。在对骨龄的预测过程中，一般都要有相关经验的医师通过手部的X射线图像与骨骼发育的标准化图谱进行人工对比，如GP图谱法和TW3图谱法，因此图像比较所花费时间长、预测效率低，且不同医生的判定会存在差距，手部姿态不相同也会影响骨龄的预测，因此，预测得到的骨龄可能会与真实的骨龄有较大差异。
发明内容
本申请在于提供一种骨龄预测方法、装置、设备及计算机可读存储介质，避免手部姿态对骨龄预测的影响，提高骨龄预测的准确度和速率。
第一方面，本申请提供一种骨龄预测方法，所述骨龄预测方法包括以下步骤：获取第一手部X光图像；
在所述第一手部X光图像上确定多个第一关键点；
根据多个所述第一关键点对所述第一手部X光图像进行空间变换处理，得到第二手部X光图像；
在所述第二手部X光图像上确定多个第二关键点；
根据所述第一关键点和所述第二关键点对所述第二手部X光图像进行修正，得到第三手部X光图像；
根据所述第一手部X光图像对应的手骨轮廓图像对所述第三手部X光图像进行掩膜处理得到手骨图像；
对所述手骨图像进行骨龄预测，得到骨龄的预测值。
第二方面，本申请还提供一种骨龄预测装置，所述骨龄预测装置包括：
图像获取装置，用于获取第一手部X光图像；
第一关键点确定装置，在所述第一手部X光图像上确定多个第一关键点；
空间变换处理装置，用于根据多个所述第一关键点对所述第一手部X光图像进行空间变换处理，得到第二手部X光图像；
第二关键点确定装置，在所述第二手部X光图像上确定多个第二关键点；
图像修正装置，用于根据所述第一关键点和所述第二关键点对所述第二手部X光图像进行修正，得到第三手部X光图像；
图像提取装置，用于根据所述第一手部X光图像对应的手骨轮廓图像对所述第三手部X光图像进行掩膜处理得到手骨图像；
骨龄预测装置，用于对所述手骨图像进行骨龄预测，得到骨龄的预测值。
第三方面，本申请还提供一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上述的骨龄预测方法的步骤。
第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述的骨龄预测方法的步骤。
本申请提供一种骨龄预测方法、装置、设备及计算机可读存储介质，本申请通过获取第一手部X光图像；在所述第一手部X光图像上确定多个第一关键点；根据多个所述第一关键点对所述第一手部X光图像进行空间变换处理，得到第二手部X光图像；在所述第二手部X光图像上确定多个第二关键点；根据所述第一关键点和所述第二关键点对所述第二手部X光图像进行修正，得到第三手部X光图像；根据所述第一手部X光图像对应的手骨轮廓图像对所述第三手部X光图像进行掩膜处理得到手骨图像；对所述手骨图像进行骨龄预测，得到骨龄的预测值。减少了人工的介入以及手部姿态对骨龄预测的影响，提高了对手部X光图像进行骨龄预测的精准度。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种骨龄预测方法的步骤流程示意图；
图2为本申请实施例提供的第一手部X光图像示意图；
图3为本申请实施例提供的一种骨龄预测方法的子步骤流程示意图；
图4为本申请实施例提供的第一手部X光图像上的关键点图形示意图；
图5为本申请实施例提供的一种骨龄预测方法的子步骤流程示意图；
图6为本申请实施例提供的一种骨龄预测方法的子步骤流程示意图；
图7为本申请实施例提供的一种骨龄预测装置的示意性框图；
图8为本申请一实施例涉及的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本申请实施例提供一种骨龄预测方法、装置、计算机设备及计算机可读存储介质。其中，该骨龄预测方法可应用于终端设备中，该终端设备可以手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，图1为本申请的实施例提供的一种骨龄预测方法的流程示意图。
如图1所示，该骨龄预测方法包括步骤S110至步骤S170。
步骤S110、获取第一手部X光图像。
示例性的，通过医疗X光机拍摄患者的手部，其中，患者用于指示需要进行骨龄预测的青少年人群或儿童，获取患者的第一手部X光图像。可以理解的，拍摄患者的左手的X光图像作为第一手部X光图像，以及对拍摄到的第一手部X光图形进行骨龄的预测，从而确定患者的骨龄预测值。
步骤S120、在所述第一手部X光图像上确定多个第一关键点。
示例性的，在得到的第一手部X光图像上确定多个第一关键点，其中，关键点可以用于指示第一手部X光图像的方向，第一手部X光图像的方向可以例如是第一手部X光图像上的手指指向。
具体的，可以将第一手部X光图像输入关键点预测模型，以在第一手部X光图像上预测多个第一关键点。
示例性的，在第一手部X光图像上预测的第一关键点可以位于第一手部X光图像中的手骨部分上。
在一些实施例中，所述关键点预测模型包括多个级联的神经网络；将第一手部X光图像输入关键点预测模型，在所述第一手部X光图像上预测多个第一关键点，包括：将第一手部X光图像输入图神经网络，对所述第一手部X光图像上进行第一关键点位置的预测；将所述第一关键点的位置输入与所述图神经网络级联的关键点规范网络，对所述第一关键点的位置进行规范化，以在第一手部X光图像上确定多个第一关键点。
示例性的，关键点预测模型可以预先存储在区块链中，在进行第一手部X光图像的关键点预测时，从区块链中获取关键点预测模型，并将第一手部X光图像输入关键点预测模型。本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
示例性的，关键点预测模型包括多个图神经网络(GCNs)，图神经网络(GCNs)之间通过级联连接，将第一手部X光图像输入级联的图神经网络中，以对第一手部X光图像进行关键点的预测。
示例性的，图神经网络(GCNs)可以学习上一节点的神经网络的输出，将第一手部X光图像输入级联的图神经网络中，图神经网络的节点更新是通过“对邻域特征进行各向同性平均运算”来执行的。
例如，将第一手部X光图像输入关键点预测模型后，关键点预测模型可以得到第一手部X光图像的数据包括图像的边、图像中的多个顶点以及邻接矩阵A，对图神经网络进行预训练，以更新图神经网络的节点，对图神经网络的节点完成更新后得到训练好的图神经网络，将通过第一手部X光图像中的边、顶点构成的矩阵和邻接矩阵A输入训练好的图神经网络中，预测得到第一手部X光图像的多个第一关键点。
示例性的，在对第一手部X光图像完成关键点预测后，可以输入ResNet网络，ResNet网络引入一个恒等快捷连接(identity shortcut connection)，直接跳过一个或多个网络层，以解决梯度消失问题。
例如，将第一手部X光图像输入ResNet网络中，并进行5次迭代计算，以避免第一手部X光图像发生关键点缺失的问题。
示例性的，通过关键点预测模型中的关键点规范网络对第一关键点的位置进行规范化以提升第一手部X光图像的第一关键点预测精度。
如图2所示，对第一手部X光图像预测得到的多个第一关键点如图。
步骤S130、根据多个所述第一关键点对所述第一手部X光图像进行空间变换处理，得到第二手部X光图像。
示例性的，通过第一手部X光图像上的多个第一关键点，可以通过调整第一关键点的位置，从而达到对第一手部X光图像进行空间变换处理的目的。
可以理解的，空间变换处理可以是对第一手部X光图像进行旋转和/或镜面翻转等处理，对第一手部X光图像进行空间变换处理后的图像为第二手部X光图像。
在一些实施例中，所述多个第一关键点不位于同一直线上；如图3所示，步骤S130包括：步骤S131～步骤S133。
步骤S131、将多个第一关键点按照预设的规则连接，得到关键点图形；
示例性的，在第一手部X光图像上确定的多个第一关键点不位于同一直线上，以使多个第一关键点能够构成一个关键点图形。
可以理解的，在多个第一关键点中，可以有4个或5个第一关键点位于同一直线，但其余的第一关键点与这些第一关键点不位于同一之间，从而多个第一关键点能够按照预设的规则连接，得到关键点图形。
示例性的，将多个第一关键点按照预设规则依次连接成一个多边形图形，例如，5个第一关键点既可以连接成五角星形状，也可以连接成五边形形状，如图4所示，将5个第一关键点连接成五边形形状，得到关键点图形。可以理解的，预设的规则是将N个第一关键点连接成N边形，从而得到关键点图形。
步骤S132、根据所述关键点图形确定所述第一手部X光图像的旋转角度；
示例性的，通过关键点图形确定第一手部X光图像的旋转角度，以对第一手部X光图像进行旋转。
在一些实施例中，如图5所示，所述根据所述关键点图形确定所述第一手部X光图像的旋转角度包括：步骤S1321～步骤S1324。
步骤S1321、确定所述关键点图形的矩，所述关键点图形的矩用于指示所述关键点图形的轮廓。
示例性的，得到关键点图形后，确定关键点图形各个顶点的坐标，例如在第一手部X光图像上确定13个第一关键点，记为p1～p13，从13个第一关键点中选取5个第一关键点，例如p3、p7、p11、p12和p13确定关键点图形，即关键点图形为一个五边形，各点坐标用p3(p3x，p3y)、p7(p7x，p7y)、p11(p11x，p11y)、p12(p12x，p12y)、p13(p13x，p13y)表征。
示例性的，通过opencv中的moments函数确定关键点图形的矩M，其中，关键点图形的矩M是通过关键点图形的各顶点的位置来表征关键点图形的轮廓。
步骤S1322、根据所述关键点图形的矩确定所述关键点图形中心点的位置坐标。
示例性的，通过关键点图形的矩M可以计算得到关键点图形的中心点C1，具体的，通过下式计算关键点图形的中心点C1，设C1坐标为(c1x,c1y)，则
Figure BDA0003090660510000071
Figure BDA0003090660510000072
其中，M10、M00、M01表示对应关键点图形的顶点在矩M中的计算结果。
步骤S1323、确定所述关键点图形其中一条边的中点的位置坐标。
示例性的，确定关键点图形的中心点C1坐标后，确定关键点图形其中一条边的中点的位置坐标，例如确定p12和p13构成的边的中点C2的位置坐标，可以理解的，C2指向C1的方向与第一手部X光图像中手指指向相同，即可以通过调整C2指向C1的方向，从而调整第一手部X光图像的方向，设C2坐标为(c2x,c2y)，可以理解的，c2x通过p12x和p13x计算得到，c2y通过c12y和c13y计算得到。
步骤S1324、根据所述中心点的位置坐标和所述中点的位置坐标确定所述旋转角度。
示例性的，可以通过C1和C2确定第一手部X光图像的方向，以确定第一手部X光图像的旋转角度，例如，通过下式确定第一手部X光图像的方向向量
Figure BDA0003090660510000073
Figure BDA0003090660510000074
其中，(c1x,c1y)表示关键点图形的中心点C1的坐标，(c2x,c2y(表示p12和p13组成的边的中点的坐标。
通过下式第一手部X光图像的旋转角度θ：
Figure BDA0003090660510000075
其中，(c1x,c1y)表示关键点图形的中心点C1的坐标，(c2x,c2y)表示p12和p13组成的边的中点C2的坐标。
通过关键点图形的矩计算关键点图形的中心点，以及与其中一条边中点计算得到第一手部X光图像的旋转角度，可以提高旋转角度的计算精度。
步骤S133、根据所述旋转角度对的所述第一手部X光图像进行旋转，得到第二手部X光图像。
示例性的，根据旋转角度θ对第一手部X光图像进行旋转处理，例如旋转角度θ为85°，将第一手部X光图像逆时针旋转85°，得到第二手部X光图像。
示例性的，通过计算旋转角度θ以及对第一手部X光图像进行旋转处理，可以有效减少手部拍摄X光图像时姿态不同对骨龄预测结果的影响。
步骤S140、在所述第二手部X光图像上确定多个第二关键点。
示例性的，将第二手部X光图像输入关键点预测模型，如步骤S130所述，以对第二手部X光图像进行关键点预测，在第二手部X光图像上确定多个第二关键点。
步骤S150、根据所述第一关键点和所述第二关键点对所述第二手部X光图像进行修正，得到第三手部X光图像。
示例性的，可以通过第一关键点在第一手部X光图像中的位置与第二关键点在第二手部X光图像中的位置进行对比，从而通过第一关键点和第二关键点对第二手部X光图像进行修正。可以理解的，多个第一关键点在第一手部X光图像中的相对位置关系与多个第二关键点在第二手部X光图像中的相对位置关系应是相同的，通过多个第一关键点的相对位置关系和多个第二关键点的相对位置关系判断第二手部X光图像在旋转处理的过程中形状是否发生变化，以对第二手部X光图像进行修正。
示例性的，还可以通过多个第一关键点确定的第一方向向量和通过多个第二关键点确定的第二方向向量，判断第二手部X光图像是否旋转至预设角度。
在一些实施例中，如图6所示，所述根据所述第一关键点和所述第二关键点对所述第二手部X光图像进行修正，得到第三手部X光图像包括：步骤S151-步骤S155。
步骤S151、根据所述第一关键点确定所述第一手部X光图像中手指指向的第一方向向量。
示例性的，根据第一手部X光图像上的多个第一关键点确定第一手部X光图像中手指指向的第一方向向量。可以理解的，在拍摄手部X光图像时，四指并拢指向同一个地方，可以通过多个第一关键点得到手指指向的第一方向向量。
例如，可以参照步骤S1322-步骤S1323的实施方式确定第一方向向量，其中，在确定关键点图形其中一条边的中点时，确定为与四指垂直的边，以使中点与关键点图形中心点确定的第一方向向量与第一手部X光图像中的手指指向相同。
步骤S152、根据所述第一方向向量和所述旋转角度计算得到第二方向向量。
示例性的，将第一方向向量按照步骤S133中的旋转角度θ旋转，得到第二方向向量。
步骤S153、根据所述第二关键点确定所述第二手部X光图像中手指指向的第三方向向量。
示例性的，可以参照步骤S1322-步骤S1323的实施方式确定第三方向向量，其中，在确定关键点图形其中一条边的中点时，确定为与四指垂直的边，以使中点与关键点图形中心点确定的第三方向向量与第二手部X光图像中的手指指向相同。
步骤S154、判断所述第二方向向量是否与所述第三方向向量相同。
示例性的，通过向量计算方法判断第二方向向量与第三方向向量是否相同。
步骤S155、若判定所述第二方向向量与所述第三方向向量不相同，将所述第三方向向量修正为第二方向向量，以修正第二手部X光图像得到第三手部X光图像。
示例性的，若判定第二方向向量与第三方向向量不相同，即第一手部X光图像存在旋转的角度未达到旋转角度θ或超过旋转角度θ的情况，对第二手部X光图像进行修正，得到第三手部X光图像。
示例性的，将第二手部X光图像的第三方向向量调整为与第二方向向量相同，以修正第二手部X光图像得到第三手部X光图像。
可以理解的，对旋转后得到的第二手部X光图像进行修正，可以提升通过手部X光图像的进行骨龄预测的精度。
步骤S160、根据所述第一手部X光图像对应的手骨轮廓图像对所述第三手部X光图像进行掩膜处理得到手骨图像。
示例性的，对手部进行拍摄得到第一手部X光图像后，将第一手部X光图像输入轮廓分割模型，通过轮廓分割模型去除第一手部X光图像中除手骨以外的无关信息的干扰，例如，去除背景噪声和/或去除背景，提取手骨轮廓，得到手骨轮廓图像，以及根据手骨轮廓图像对第三手部X光图像进行掩膜处理得到手骨图像。
示例性的，轮廓分割模型可以预先存储在区块链中，在手骨图像提取时，从区块链中获取轮廓分割模型，并将第一手部X光图像输入轮廓分割模型以提取手骨图像。本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在一些实施例中，将第一手部X光图像输入轮廓分割模型，得到手骨轮廓图像包括：通过轮廓分割模型中的U-net网络对所述第一手部X光图像进行下采样处理，得到手骨特征图像，对所述手骨特征图像进行上采样处理得到手骨轮廓图像。
示例性的，将第一手部X光图像输入轮廓分割模型中的U-net网络中，进行下采样处理和上采样处理得到手骨轮廓图像，具体的，对第一手部X光图像进行下采样处理得到手骨特征图像，以及对手骨特征图像进行上采样处理得到手骨轮廓图像。
示例性的，U-Net网络是一种全卷积结构，U型网络具有压缩路径(contractingpath)和扩展路径(expansive path)，其中，压缩路径(contracting path)和扩展路径(expansive path)至少包括4个处理层且一一对应。
在压缩路径(contracting path)中，每一个处理层对输入的第一手部X光图像进行下采样处理，可以理解的，每一个处理层对输入该层的手部X光图像进行边缘填充以及缩放，经过若干个处理层的处理后，完成下采样处理，得到一个512×512的手骨特征图像。
将得到的手骨特征图像输入扩展路径(expansive path)以进行上采样处理，在扩展路径(expansive path)中，每一个处理层对手骨特征图像进行反卷积操作，具体的，每一个处理层对输入的手骨特征图像进行尺寸翻倍，同时将个数去除一半，以及与对应的压缩路径(contracting path)中处理层的手部X光图像进行拼接，由于压缩路径(contractingpath)中处理层的手部X光图像与对应的扩展路径(expansive path)处理层的手骨特征图像的尺寸不一样，先对压缩路径(contracting path)中处理层的手部X光图像进行裁剪，然后进行拼接，经过与下采样次数相同次数的反卷积以及拼接后，完成上采样处理，生成并输出手骨轮廓图像。可以理解的，手骨轮廓图像与输入U-net网络的第一手部X光图像的尺寸大小相同。
通过将第一手部X光图像输入到轮廓分割模型中得到手骨轮廓图像，以及基于手骨轮廓图像对第三手部X光图像进行掩膜处理，将突出第三手部X光图像中的手骨信息，以提高骨龄预测的精度。
在一些实施例中，方法还包括：获取第一手部X光图像的窗宽和窗位；对所述窗宽和所述窗位进行归一化处理，得到归一化后的第一手部X光图像；所述将所述第一手部X光图像输入轮廓分割模型，得到手骨轮廓图像，包括：将归一化后的第一手部X光图像输入轮廓分割模型，得到手骨轮廓图像。
示例性的，获取第一手部X光图像的窗宽和窗位，以对第一手部X光图像进行归一化处理。可以理解的，窗宽用于指示第一手部X光图像显示的CT值范围，窗位用于指示第一手部X光图像的窗宽范围内的中心值，如第一手部X光图像的窗框为100Hu，窗位为0Hu，则以窗位为中心(0Hu)，向上包括+50Hu，向下包括-50Hu，凡是在这个100Hu范围内的组织均可显示出来并为人眼所识别。凡是大于+50Hu的组织均为白色；凡是小子-50Hu的组织均为黑色，可以通过第一手部X光图像的窗宽和窗位对第一手部X光图像进行归一化处理。
示例性的，基于第一手部X光图像的各个像素点生成二维矩阵MO，通过生成的二维矩阵MO以及第一手部X光图像的窗宽和窗位，对第一手部X光图像进行归一化处理。
示例性的，归一化处理过程由下式表示：
Figure BDA0003090660510000121
其中，WC表示手部X光图像的窗位，WW表示手部X光图像的窗宽，MO(x,y)表示第一手部X光图像中未处理的像素点，MN(x,y)表示第一手部X光图像中进行归一化处理后的像素点。
通过上式对第一手部X光图像进行归一化处理，可以区别出第一手部X光图像中的手骨图像部分和背景部分。
示例性的，将归一化处理后的第一手部X光图像输入轮廓分割模型中，对归一化后的第一手部X光图像进行轮廓分割处理，可以理解的，归一化后的第一手部X光图像可以有效提升轮廓分割模型的处理速度，以更快地达到去除第一手部X光图像中除手骨图像以外的无关信息的目的。
在一些实施例中，在步骤S160之后，还包括步骤S210-步骤S240。
步骤S210、获取手骨图像的大拇指中节指骨关键点、腕骨关键点以及中指远节指骨关键点。
示例性的，获取手骨图像中的大拇指中节指骨关键点、腕骨关键点以及中指远节指骨关键点，可以理解的，上述关键点可以是在关键点预测模型中预测得到的，也可以是在得到手骨图像之后再次进行关键点预测得到的。
步骤S220、根据所述大拇指中节指骨关键点、所述腕骨关键点、所述中指远节指骨关键点以及所述关键点图形中心点之间的相对位置关系判断是否对所述手骨图像进行翻转。
示例性的，获取大拇指中节指骨关键点位置坐标、腕骨关键点位置坐标、中指远节指骨关键点位置坐标，以及将上述的关键点位置坐标与关键点图形中心点位置坐标进行对比，以判断是否对手骨图像进行水平镜像翻转。
示例性的，通过下式判断是否对手骨图像进行水平镜像翻转：
Figure BDA0003090660510000122
其中，MN2是输出的手骨图像，MN1是根据手骨轮廓图像和第一手部X光图像得到的手骨图像，P1x表示大拇指中节指骨关键点的横坐标，P2x表示腕骨关键点的横坐标，,P3x表示中指远节指骨关键点的横坐标，c1x表示关键点图形中心点的横坐标，mean表示对各个关键点对应的横坐标进行平均值计算，flip表示对MN1对应的手骨图像进行水平镜像翻转处理。
步骤S230、若通过所述大拇指远节指骨关键点的横坐标数值、所述腕骨关键点的横坐标数值以及所述中指远节指骨关键点的横坐标数值求得的平均值小于所述关键点图形中心点的横坐标数值，对所述手骨图像进行翻转，得到翻转后的手骨图像。
可以理解的，若大拇指中节指骨关键点横坐标的数值、和腕骨关键点横坐标的数值、以及中指远节指骨关键点横坐标的数值求得的平均值，即小于关键点图形中心点的横坐标的数值，对所述手骨图像(MN1)进行水平镜像翻转，得到翻转后的手骨图像(MN2)，若上述关键点横坐标的数值的平均值大于关键点图形中心点横坐标的数值，不对手骨图像进行翻转。
步骤S240、将翻转后的手骨图像输入骨龄预测模型，对所述手骨图像进行骨龄预测，得到骨龄的预测值。
示例性的，将处理后的手骨图像输入骨龄预测模型，以进行骨龄预测，可以理解的，输入的手骨图像可以是对根据手骨轮廓图像和第三手部X光图像进行掩膜处理得到手骨图像进行翻转后得到的手骨图像，或是根据手骨轮廓图像和第三手部X光图像进行掩膜处理得到手骨图像，即不需要进行翻转处理的手骨图像。
示例性的，通过述大拇指中节指骨关键点、腕骨关键点、中指远节指骨关键点判断是否对手骨图像进行翻转，可以减少手部姿态对骨龄预测的影响。
在一些实施例中，对手骨图像进行裁剪，以使手骨图像达到预设尺寸。
示例性的，获取手骨图像中的手骨大小，通过手骨的大小生成裁剪框，基于裁剪框对手骨图像进行裁剪，以使手骨图像达到预设尺寸。
可以理解的，可以对不需要进行翻转的手骨图像进行裁剪，也可以对翻转后的手骨图像进行裁剪。通过对手骨图像进行裁剪，可以使骨龄预测模型更快速地识别到手骨的特征，以进行骨龄的预测，提升骨龄预测的速度。
步骤S170、对所述手骨图像进行骨龄预测，得到骨龄的预测值。
示例性的，可以将手骨图像输入骨龄预测模型，以对手骨图像进行骨龄预测，并输出骨龄的预测值。
示例性的，骨龄预测模型可以预先存储在区块链中，在对手骨图像进行骨龄预测之前，从区块链中获取骨龄预测模型，并将手骨图像输入骨龄预测模型进行骨龄预测。
在一些实施例中，方法还包括：步骤S171-步骤S172。
步骤S171、获取所述第一手部X光图像对应患者的性别信息。
示例性的，由于男女在生长过程中会存在生长期不相同的情况，例如男生的发育年龄一般在9-13周岁，女生的发育年龄一般为12-17周岁，同样的，测得的男女生的骨龄也会有所差别，因此，加入患者的性别信息以提升骨龄预测的精准度。
步骤S172、将所述性别信息和所述手骨图像输入骨龄预测模型，对所述手骨图像进行骨龄预测，得到骨龄的预测值。
示例性的，骨龄预测模型能够根据手骨图像对应患者的性别进行骨龄预测，例如，两个手骨图像中的手骨生长状况相似，但输入的性别不一样，从而预测得到的骨龄也会有所区别。通过手骨图像对应患者的性别信息可以提高骨龄预测的精准度。
在一些实施例中，骨龄预测模型包括CBAM网络、卷积层以及VGG网络，步骤S172包括步骤S1721-步骤S1723。
步骤S1721、将所述手骨图像输入所述CBAM网络，对所述手骨图像进行权重计算。
示例性的，将手骨图像输入骨龄预测模型的CBAM网络中，以进行手骨图像的权重计算，可以理解的，CBAM网络能够更加关注手骨图像中的手骨部分，以及计算手骨图像中各手骨的权重值，例如，在进行骨龄的预测中，需要更关注手骨的腕骨、中指和尾指的掌骨头，可以对腕骨、中指的掌骨头和尾指的掌骨头加以更高的权重，以提升预测的准确度。
步骤S1722、将从CBAM网络输出的手骨图像输入卷积层进行卷积和线性处理。
示例性的，经CBAM网络进行去权重计算后，输入卷积层进行卷积和线性处理，以避免梯度消失和爆炸等问题。
步骤S1723、将卷积层输出的手骨图像和所述性别信息输入所述VGG网络，对所述手骨图像的骨龄进行预测，得到骨龄的预测值。
示例性的，进行卷积和线性处理后，将手骨图像输入VGG网络进行卷积处理，以及将性别信息进行编码后输入VGG网络的fc64层中，可以理解的，男生编码为1，女生编码为0输入VGG网络的fc64层中，手骨图像通过若干卷积层后进入fc2048层进行处理，然后fc2048层输出的手骨图像与fc64层输出的性别信息进行结合输入到fc1024层中进行激活函数的激活处理，处理后输入fc1层，最终输出骨龄的预测值。
上述实施例提供的骨龄预测方法，通过获取第一手部X光图像；在所述第一手部X光图像上确定多个第一关键点；根据多个所述第一关键点对所述第一手部X光图像进行空间变换处理，得到第二手部X光图像；在所述第二手部X光图像上确定多个第二关键点；根据所述第一关键点和所述第二关键点对所述第二手部X光图像进行修正，得到第三手部X光图像；根据所述第一手部X光图像对应的手骨轮廓图像对所述第三手部X光图像进行掩膜处理得到手骨图像；对所述手骨图像进行骨龄预测，得到骨龄的预测值。减少了手部姿态对骨龄预测的影响，以及对处理后的手部图像进行修正，提高了骨龄预测的精准度。
请参阅图7，图7是本申请一实施例提供的一种骨龄预测装置的示意图，该骨龄预测装置可以配置于服务器或终端中，用于执行前述的骨龄预测方法。
如图7所示，该骨龄预测装置，包括：图像获取模块110、第一关键点确定模块120、空间变换处理模块130、第二关键点确定模块140、图像修正模块150、图像提取模块160、骨龄预测模块170。
图像获取模块110，用于获取第一手部X光图像。
第一关键点确定模块120，用于在所述第一手部X光图像上确定多个第一关键点。
空间变换处理模块130，用于根据多个所述第一关键点对所述第一手部X光图像进行空间变换处理，得到第二手部X光图像。
第二关键点确定模块140，用于在所述第二手部X光图像上确定多个第二关键点。
图像修正模块150，用于根据所述第一关键点和所述第二关键点对所述第二手部X光图像进行修正，得到第三手部X光图像。
图像提取模块160，用于根据所述第一手部X光图像对应的手骨轮廓图像对所述第三手部X光图像进行掩膜处理得到手骨图像。
骨龄预测模块170，用于对所述手骨图像进行骨龄预测，得到骨龄的预测值。
示例性的，空间变换处理模块130还包括图形生成子模块、旋转角度确定子模块、旋转处理子模块。
图形生成子模块，用于将若干个第一关键点按照预设的规则连接，得到关键点图形。
旋转角度确定子模块，用于根据所述关键点图形确定所述第一手部X光图像的旋转角度。
旋转处理子模块，用于根据所述旋转角度对所述第一手部X光图像进行旋转，得到第二手部X光图像。
示例性的，旋转角度确定子模块还包括图形的矩确定子模块、中心点确定子模块、中点确定子模块、角度确定子模块。
图形的矩确定子模块，用于确定所述关键点图形的矩，所述关键点图形的矩用于指示所述关键点图形的轮廓。
中心点确定子模块，用于根据所述关键点图形的矩确定所述关键点图形中心点的位置坐标。
中点确定子模块，用于确定所述关键点图形其中一条边的中点的位置坐标。
角度确定子模块，用于根据所述中心点的位置坐标和所述中点的位置坐标确定所述旋转角度。
示例性的，图像修正模块150还包括第一方向向量确定子模块、第二方向向量确定子模块、第三方向向量确定子模块、向量判断子模块、图像调整子模块。
第一方向向量确定子模块，用于根据所述第一关键点确定所述第一手部X光图像中手指指向的第一方向向量。
第二方向向量确定子模块，用于根据所述第一方向向量和所述旋转角度计算得到第二方向向量。
第三方向向量确定子模块，用于根据所述第二关键点确定所述第二手部X光图像中手指指向的第三方向向量。
向量判断子模块，用于判断所述第二方向向量是否与所述第三方向向量相同。
图像调整子模块，用于若判定所述第二方向向量与所述第三方向向量不相同，将所述第三方向向量修正为第二方向向量，以修正第二手部X光图像得到第三手部X光图像。
示例性的，骨龄预测装置还包括预设关键点获取子模块，关键点位置判断子模块，图像翻转子模块。
预设关键点获取子模块，用于获取手骨图像的大拇指中节指骨关键点、腕骨关键点以及中指远节指骨关键点。
关键点位置判断子模块，用于根据所述大拇指中节指骨关键点、所述腕骨关键点、所述中指远节指骨关键点以及所述关键点图形中心点之间的相对位置关系判断是否对所述手骨图像进行翻转。
图像翻转子模块，用于若通过所述大拇指远节指骨关键点的横坐标数值、所述腕骨关键点的横坐标数值以及所述中指远节指骨关键点的横坐标数值求得的平均值小于所述关键点图形中心点的横坐标数值，对所述手骨图像进行翻转，得到翻转后的手骨图像。
骨龄预测模块170还用于将翻转后的手骨图像输入骨龄预测模型，对所述手骨图像进行骨龄预测，得到骨龄的预测值。
示例性的，骨龄预测装置还包括性别获取子模块、模型预测子模块。
性别获取子模块，用于获取所述第一手部X光图像对应患者的性别信息。
模型预测子模块，用于将所述性别信息和所述手骨图像输入骨龄预测模型，对所述手骨图像进行骨龄预测，得到骨龄的预测值。
示例性的，模型预测子模块还包括权重计算子模块、卷积子模块、VGG网络子模块。
权重计算子模块，用于将所述手骨图像输入所述CBAM网络，对所述手骨图像进行权重计算。
卷积子模块，用于将从CBAM网络输出的手骨图像输入卷积层进行卷积和线性处理。
VGG网络子模块，用于将卷积层输出的手骨图像，以及所述性别信息输入所述VGG网络，对所述手骨图像的骨龄进行预测，得到骨龄的预测值。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请的方法、装置可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
示例性地，上述的方法、装置可以实现为一种计算机程序的形式，该计算机程序可以在如图8所示的计算机设备上运行。
请参阅图8，图8为本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以为服务器或终端。
如图8所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种骨龄预测方法。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种骨龄预测方法。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
获取第一手部X光图像；
在所述第一手部X光图像上确定多个第一关键点；
根据多个所述第一关键点对所述第一手部X光图像进行空间变换处理，得到第二手部X光图像；
在所述第二手部X光图像上确定多个第二关键点；
根据所述第一关键点和所述第二关键点对所述第二手部X光图像进行修正，得到第三手部X光图像；
根据所述第一手部X光图像对应的手骨轮廓图像对所述第三手部X光图像进行掩膜处理得到手骨图像；
对所述手骨图像进行骨龄预测，得到骨龄的预测值。
在一个实施例中，所述处理器在实现根据多个所述第一关键点对所述第一手部X光图像进行空间变换处理，得到第二手部X光图像时，用于实现：
将若干个第一关键点按照预设的规则连接，得到关键点图形；
根据所述关键点图形确定所述第一手部X光图像的旋转角度；
根据所述旋转角度对所述第一手部X光图像进行旋转，得到第二手部X光图像。
在一个实施例中，所述处理器在实现根据所述关键点图形确定所述第一手部X光图像的旋转角度时，用于实现：
确定所述关键点图形的矩，所述关键点图形的矩用于指示所述关键点图形的轮廓；
根据所述关键点图形的矩确定所述关键点图形中心点的位置坐标；
确定所述关键点图形其中一条边的中点的位置坐标；
根据所述中心点的位置坐标和所述中点的位置坐标确定所述旋转角度。
在一个实施例中，所述处理器在实现根据所述第一关键点和所述第二关键点对所述第二手部X光图像进行修正，得到第三手部X光图像时，用于实现：
根据所述第一关键点确定所述第一手部X光图像中手指指向的第一方向向量；
根据所述第一方向向量和所述旋转角度计算得到第二方向向量；
根据所述第二关键点确定所述第二手部X光图像中手指指向的第三方向向量；
判断所述第二方向向量是否与所述第三方向向量相同；
若判定所述第二方向向量与所述第三方向向量不相同，将所述第三方向向量修正为第二方向向量，以修正第二手部X光图像得到第三手部X光图像。
在一个实施例中，所述处理器在实现骨龄预测方法时，还用于实现：
获取手骨图像的大拇指中节指骨关键点、腕骨关键点以及中指远节指骨关键点；
根据所述大拇指中节指骨关键点、所述腕骨关键点、所述中指远节指骨关键点以及所述关键点图形中心点之间的相对位置关系判断是否对所述手骨图像进行翻转；
若通过所述大拇指远节指骨关键点的横坐标数值、所述腕骨关键点的横坐标数值以及所述中指远节指骨关键点的横坐标数值求得的平均值小于所述关键点图形中心点的横坐标数值，对所述手骨图像进行翻转，得到翻转后的手骨图像；
所述处理器在实现将所述手骨图像输入骨龄预测模型，对所述手骨图像进行骨龄预测，得到骨龄的预测值时，还用于实现：
将翻转后的手骨图像输入骨龄预测模型，对所述手骨图像进行骨龄预测，得到骨龄的预测值。
在一个实施例中，所述处理器在实现骨龄预测方法时，用于实现：
获取所述第一手部X光图像对应患者的性别信息；
所述对所述手骨图像进行骨龄预测，得到骨龄的预测值，包括：
将所述性别信息和所述手骨图像输入骨龄预测模型，对所述手骨图像进行骨龄预测，得到骨龄的预测值。
在一个实施例中，所述处理器在实现将所述性别信息和所述手骨图像输入骨龄预测模型，对所述手骨图像进行骨龄预测，得到骨龄的预测值时，用于实现：
将所述手骨图像输入所述CBAM网络，对所述手骨图像进行权重计算；
将从CBAM网络输出的手骨图像输入卷积层进行卷积和线性处理；
将卷积层输出的手骨图像，以及所述性别信息输入所述VGG网络，对所述手骨图像的骨龄进行预测，得到骨龄的预测值。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述骨龄预测的具体工作过程，可以参考前述骨龄预测控制方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时所实现的方法可参照本申请骨龄预测方法的各个实施例。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种骨龄预测方法，其特征在于，包括：
获取第一手部X光图像；
在所述第一手部X光图像上确定多个第一关键点；
根据多个所述第一关键点对所述第一手部X光图像进行空间变换处理，得到第二手部X光图像；
在所述第二手部X光图像上确定多个第二关键点；
根据所述第一关键点和所述第二关键点对所述第二手部X光图像进行修正，得到第三手部X光图像；
根据所述第一手部X光图像对应的手骨轮廓图像对所述第三手部X光图像进行掩膜处理得到手骨图像；
对所述手骨图像进行骨龄预测，得到骨龄的预测值；
其中，所述多个第一关键点不位于同一直线上；所述根据多个所述第一关键点对所述第一手部X光图像进行空间变换处理，得到第二手部X光图像，包括：将若干个第一关键点按照预设的规则连接，得到关键点图形；确定所述关键点图形的矩，所述关键点图形的矩用于指示所述关键点图形的轮廓；根据所述关键点图形的矩确定所述关键点图形中心点的位置坐标；确定所述关键点图形其中一条边的中点的位置坐标；根据所述中心点的位置坐标和所述中点的位置坐标确定旋转角度；根据所述旋转角度对所述第一手部X光图像进行旋转，得到第二手部X光图像；
所述根据所述第一关键点和所述第二关键点对所述第二手部X光图像进行修正，得到第三手部X光图像包括：根据所述第一关键点确定所述第一手部X光图像中手指指向的第一方向向量；根据所述第一方向向量和所述旋转角度计算得到第二方向向量；根据所述第二关键点确定所述第二手部X光图像中手指指向的第三方向向量；判断所述第二方向向量是否与所述第三方向向量相同；若判定所述第二方向向量与所述第三方向向量不相同，将所述第三方向向量修正为第二方向向量，以修正第二手部X光图像得到第三手部X光图像。
2.如权利要求1所述的骨龄预测方法，其特征在于，所述方法还包括：
获取手骨图像的大拇指中节指骨关键点、腕骨关键点以及中指远节指骨关键点；
根据所述大拇指中节指骨关键点、所述腕骨关键点、所述中指远节指骨关键点以及所述关键点图形中心点之间的相对位置关系判断是否对所述手骨图像进行翻转；
若通过所述大拇指远节指骨关键点的横坐标数值、所述腕骨关键点的横坐标数值以及所述中指远节指骨关键点的横坐标数值求得的平均值小于所述关键点图形中心点的横坐标数值，对所述手骨图像进行翻转，得到翻转后的手骨图像；
将所述手骨图像输入骨龄预测模型，对所述手骨图像进行骨龄预测，得到骨龄的预测值，包括：
将翻转后的手骨图像输入骨龄预测模型，对所述手骨图像进行骨龄预测，得到骨龄的预测值。
3.如权利要求1或2所述的骨龄预测方法，其特征在于，所述方法还包括：
获取所述第一手部X光图像对应患者的性别信息；
所述对所述手骨图像进行骨龄预测，得到骨龄的预测值，包括：
将所述性别信息和所述手骨图像输入骨龄预测模型，对所述手骨图像进行骨龄预测，得到骨龄的预测值。
4.如权利要求3所述的骨龄预测方法，其特征在于，所述骨龄预测模型包括CBAM网络、卷积层以及VGG网络；所述将所述性别信息和所述手骨图像输入骨龄预测模型，对所述手骨图像进行骨龄预测，得到骨龄的预测值，包括：
将所述手骨图像输入所述CBAM网络，对所述手骨图像进行权重计算；
将从CBAM网络输出的手骨图像输入卷积层进行卷积和线性处理；
将卷积层输出的手骨图像，以及所述性别信息输入所述VGG网络，对所述手骨图像的骨龄进行预测，得到骨龄的预测值。
5.一种骨龄预测装置，其特征在于，所述骨龄预测装置包括：
图像获取模块，用于获取第一手部X光图像；
第一关键点确定模块，在所述第一手部X光图像上确定多个第一关键点；
空间变换处理模块，用于根据多个所述第一关键点对所述第一手部X光图像进行空间变换处理，得到第二手部X光图像；
第二关键点确定模块，在所述第二手部X光图像上确定多个第二关键点；
图像修正模块，用于根据所述第一关键点和所述第二关键点对所述第二手部X光图像进行修正，得到第三手部X光图像；
图像提取模块，用于根据所述第一手部X光图像对应的手骨轮廓图像对所述第三手部X光图像进行掩膜处理得到手骨图像；
骨龄预测模块，用于对所述手骨图像进行骨龄预测，得到骨龄的预测值；
其中，空间变换处理模块还包括图形生成子模块、图形的矩确定子模块、中心点确定子模块、中点确定子模块、角度确定子模块、旋转处理子模块；
图形生成子模块，用于将若干个第一关键点按照预设的规则连接，得到关键点图形；
图形的矩确定子模块，用于确定所述关键点图形的矩，所述关键点图形的矩用于指示所述关键点图形的轮廓；
中心点确定子模块，用于根据所述关键点图形的矩确定所述关键点图形中心点的位置坐标；
中点确定子模块，用于确定所述关键点图形其中一条边的中点的位置坐标；
角度确定子模块，用于根据所述中心点的位置坐标和所述中点的位置坐标确定旋转角度；
旋转处理子模块，用于根据所述旋转角度对所述第一手部X光图像进行旋转，得到第二手部X光图像；
图像修正模块还包括第一方向向量确定子模块、第二方向向量确定子模块、第三方向向量确定子模块、向量判断子模块、图像调整子模块；
第一方向向量确定子模块，用于根据所述第一关键点确定所述第一手部X光图像中手指指向的第一方向向量；
第二方向向量确定子模块，用于根据所述第一方向向量和所述旋转角度计算得到第二方向向量；
第三方向向量确定子模块，用于根据所述第二关键点确定所述第二手部X光图像中手指指向的第三方向向量；
向量判断子模块，用于判断所述第二方向向量是否与所述第三方向向量相同；
图像调整子模块，用于若判定所述第二方向向量与所述第三方向向量不相同，将所述第三方向向量修正为第二方向向量，以修正第二手部X光图像得到第三手部X光图像。
6.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至4中任一项所述的骨龄预测方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至4中任一项所述的骨龄预测方法的步骤。
CN202110595212.9A 2021-05-28 2021-05-28 骨龄预测方法、装置、设备及计算机可读存储介质 Active CN113298842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110595212.9A CN113298842B (zh) 2021-05-28 2021-05-28 骨龄预测方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110595212.9A CN113298842B (zh) 2021-05-28 2021-05-28 骨龄预测方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113298842A CN113298842A (zh) 2021-08-24
CN113298842B true CN113298842B (zh) 2023-07-14

Family

ID=77326215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110595212.9A Active CN113298842B (zh) 2021-05-28 2021-05-28 骨龄预测方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113298842B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108968991A (zh) * 2018-05-08 2018-12-11 平安科技（深圳）有限公司 手骨x光片骨龄评估方法、装置、计算机设备和存储介质
CN109215013A (zh) * 2018-06-04 2019-01-15 平安科技（深圳）有限公司 自动骨龄预测方法、系统、计算机设备和存储介质
CN109377484A (zh) * 2018-09-30 2019-02-22 杭州依图医疗技术有限公司 一种检测骨龄的方法及装置
CN109492531A (zh) * 2018-10-10 2019-03-19 深圳前海达闼云端智能科技有限公司 人脸图像关键点提取方法、装置、存储介质及电子设备
CN110660484A (zh) * 2019-08-01 2020-01-07 平安科技（深圳）有限公司 骨龄预测方法、装置、介质及电子设备
CN112613409A (zh) * 2020-12-24 2021-04-06 咪咕动漫有限公司 手部关键点检测方法、装置、网络设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020135812A1 (en) * 2018-12-29 2020-07-02 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for ossification center detection and bone age assessment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108968991A (zh) * 2018-05-08 2018-12-11 平安科技（深圳）有限公司 手骨x光片骨龄评估方法、装置、计算机设备和存储介质
CN109215013A (zh) * 2018-06-04 2019-01-15 平安科技（深圳）有限公司 自动骨龄预测方法、系统、计算机设备和存储介质
CN109377484A (zh) * 2018-09-30 2019-02-22 杭州依图医疗技术有限公司 一种检测骨龄的方法及装置
CN109492531A (zh) * 2018-10-10 2019-03-19 深圳前海达闼云端智能科技有限公司 人脸图像关键点提取方法、装置、存储介质及电子设备
CN110660484A (zh) * 2019-08-01 2020-01-07 平安科技（深圳）有限公司 骨龄预测方法、装置、介质及电子设备
CN112613409A (zh) * 2020-12-24 2021-04-06 咪咕动漫有限公司 手部关键点检测方法、装置、网络设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Automatic bone age measurement using computerized image analysis;TANNER J M et al;《J Pediatr Endocrinol》;第141-145页 *
Deep learning for automated skeletal bone age assessment in X-ray images;SPAMPINATO C et al;《Med Image Anal》;第41-51页 *
X 线骨龄评估方法研究进展与展望;王亚辉 等;《法医学杂志》;第365-369页 *
骨龄自动化评估的研究进展;占梦军 等;《法医学杂志》;第36卷(第2期);第249-255页 *

Also Published As

Publication number Publication date
CN113298842A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
US11735322B2 (en) Systems and methods for ossification center detection and bone age assessment
Kim et al. Iterative kernel principal component analysis for image modeling
US11017210B2 (en) Image processing apparatus and method
CN110674804A (zh) 文本图像的检测方法、装置、计算机设备和存储介质
CN111275129A (zh) 一种图像数据的增广策略选取方法及系统
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
CN110287775B (zh) 手掌图像裁剪方法、装置、计算机设备及存储介质
WO2020233427A1 (zh) 目标的特征的确定方法和装置
US11276490B2 (en) Method and apparatus for classification of lesion based on learning data applying one or more augmentation methods in lesion information augmented patch of medical image
CN114155365A (zh) 模型训练方法、图像处理方法及相关装置
CN112949570A (zh) 一种基于残差注意力机制的指静脉识别方法
EP2178047A2 (en) Ribcage segmentation
CN113192067B (zh) 基于图像检测的智能预测方法、装置、设备及介质
CN113298842B (zh) 骨龄预测方法、装置、设备及计算机可读存储介质
CN112541900B (zh) 基于卷积神经网络的检测方法、装置、计算机设备及存储介质
CN112949629A (zh) 目标检测方法、装置、计算机设备及可读存储介质
CN116993812A (zh) 冠脉血管中心线的提取方法、装置、设备及存储介质
US20190236777A1 (en) Medical image processing apparatus, medical image processing method, medium, and medical image processing system
Li et al. Appearance modeling under geometric context
CN113408528B (zh) 商品图像的质量识别方法、装置、计算设备及存储介质
CN112508776B (zh) 动作迁移方法、装置和电子设备
WO2022142084A1 (zh) 匹配筛选方法及装置、电子设备、存储介质和计算机程序
CN114694263A (zh) 动作识别方法、装置、设备及存储介质
CN110188688B (zh) 姿势评估方法及装置
CN114332890A (zh) 表格结构提取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant