CN109215013A - 自动骨龄预测方法、系统、计算机设备和存储介质 - Google Patents
自动骨龄预测方法、系统、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN109215013A CN109215013A CN201810561528.4A CN201810561528A CN109215013A CN 109215013 A CN109215013 A CN 109215013A CN 201810561528 A CN201810561528 A CN 201810561528A CN 109215013 A CN109215013 A CN 109215013A
- Authority
- CN
- China
- Prior art keywords
- stone age
- image
- network structure
- training
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000004575 stone Substances 0.000 title claims abstract description 184
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 70
- 230000011218 segmentation Effects 0.000 claims abstract description 31
- 230000003044 adaptive effect Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 27
- 210000002569 neuron Anatomy 0.000 claims description 17
- 210000000988 bone and bone Anatomy 0.000 claims description 16
- 238000013135 deep learning Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 13
- 210000003813 thumb Anatomy 0.000 claims description 12
- 210000003010 carpal bone Anatomy 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 6
- 210000000707 wrist Anatomy 0.000 claims description 6
- 210000002478 hand joint Anatomy 0.000 claims description 5
- 210000000623 ulna Anatomy 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 3
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000012010 growth Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 210000000236 metacarpal bone Anatomy 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 208000035126 Facies Diseases 0.000 description 1
- 241000411545 Punargentus Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010327 methods by industry Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000021332 multicellular organism growth Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000011164 ossification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000012488 skeletal system development Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及数据处理技术领域，尤其涉及一种自动骨龄预测方法、系统、计算机设备和存储介质。骨龄预测方法包括：采集左手X射线片图像，将采集到的左手X射线片图像进行手部分割，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，重复进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将预测值输出。本发明预测骨龄时，无需医师鉴定，整个预测过程在秒级内完成，预测效率高。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种自动骨龄预测方法、系统、计算机设备和存储介质。
背景技术
人类身体发育过程中，不同时期的骨骼大小和形状有着明显的差异，正常发育的情况下，骨骼的年龄(骨龄)和真实的年龄差异性非常小，一旦发现该差异较大时，则表明身体发育的过程中可能存在某些潜在的疾病干扰着骨头的正常发育。因此，临床医师通过预测青少年骨骼系统的成熟度，从而尽早发现一些发育中的异常问题。目前，骨龄预测时，普通医师无法胜任，需要相关经验的医师来执行，致使骨龄预测必须去专门的鉴定机构完成。预测过程中，由于采用医师通过左手的X射线图像与骨骼发育的标准化图谱相比较，因此图像比较所花费时间长、预测效率低，一般都要有相关经验的医师来执行，虽然专家则可以将预测误差控制在6个月内，但是普通医师的预测误差要在12个月内。
另外，深度学习是机器学习中一种基于对数据进行表征学习的方法，深度学习的优势是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。卷积神经网络(Convolutional neural networks，简称CNNs)是一种深度的监督学习下的机器学习模型，是一种多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。卷积神经网络中，由于VGG网络结构对于图片有更精确的估值以及更省空间能力，随着深度学习的普及，VGG网络结构得到了普遍的认可。
发明内容
有鉴于此，有必要针对现有的骨龄预测花费时间长、预测误差大的问题，提供一种自动骨龄预测方法、系统、计算机设备和存储介质。
一种自动骨龄预测方法，包括如下步骤：
S1，采集左手X射线片图像；
S2，将采集到的左手X射线片图像进行手部分割，以去除手部以外部分的干扰，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，所述骨龄预测网络结构是基于VGG网络结构的深度学习网络；
S3，重复步骤S2进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将步骤2)得到的骨龄预测值输出。
在其中一个实施例中，步骤S1采集的左手X射线片图像是左手腕部正位X射线片，所述左手X射线片图像包括距离桡骨和尺骨2cm-3cm的骨干，及手部关节的多块骨，所述左手X射线片图像的管片距为70cm-90cm。
在其中一个实施例中，步骤S2包括如下步骤：
S201，使用U-net网络结构对采集到的左手X射线片图像进行手部分割，去除手部以外部分的干扰；
S202，手部分割完成后，使用关键点侦测网络结构对手部进行探测，得到三个侦测点，三个侦测点分别为中指指尖侦测点、大拇指指尖侦测点、腕骨中心点；
S203，依据得到的三个侦测点，将左手X射线片图像摆正缩放到512*512大小的图片中，摆正时中指指尖侦测点位于上边缘水平位置中点向下40像素处，大拇指指尖侦测点用于镜像翻转，确保大拇指指尖侦测点位于图片右侧，腕骨中心点在下边缘水平位置中点向上190像素处；
S204，对摆正缩放后的图像进行限制对比度的自适应直方图均衡化；
S205，通过骨龄预测网络结构对自适应直方图均衡化后的图像进行骨龄预测，得到骨龄预测值。
在其中一个实施例中，所述关键点侦测网络结构为：先将三个卷积核层数分别为64、128、256的VGG模块依次连接，然后接一个Dropout层，再接两层各包含512个神经元的全连接层，且两层全连接层均连接一个ELU激活函数，两层512个神经元的全连接层之间设另一Dropout层，最后一层为包含6个神经元的全连接层，最后将6个数值输出，分别对应三个侦测点的横纵坐标值。
在其中一个实施例中，所述骨龄预测网络结构为：先将六个卷积核层数分别为32、64、128、128、256、3846的VGG模块依次连接，然后接一个Dropout层，再接两层各包含2048个神经元的全连接层，两层全连接层均连接一个ELU激活函数，两层2048个神经元的全连接层之间设另一Dropout层，最后一层为单神经元的输出层，得到预测值。
在其中一个实施例中，在骨龄训练阶段，对U-net网络结构进行训练，训练时的损失函数如下：
L＝H-logJ，
其中，
yi表示每个像素的预测值，表示每个像素的真实值，取值为0或1，表示该像素是否在前景；
用于U-net网络结构训练的数据为标注的100张图片，标注的工具为在线的图像分割标注工具，标注的内容为手部，并采用旋转、缩放或平移来增加训练数据。
在其中一个实施例中，在骨龄训练阶段，对关键点侦测网络结构进行训练，训练时的损失函数采用均方差损失函数：
其中，yi表示预测的坐标值，为真实的坐标值；
通过不断缩小损失函数，让预测位置与真实位置的差距越来越小，让关键点侦测网络学习到三个侦测点的具体位置，训练数据为三个侦测点对应的坐标，每张图片共有6个数据，分别为三个侦测点的横纵坐标值，并采用到了旋转、缩放或平移来增加数据量。
在其中一个实施例中，在骨龄训练阶段，对骨龄预测网络结构进行训练，训练时的损失函数为平均绝对误差损失函数：
和L2正则项之和，
其中，yi表示网络预测的骨龄预测值，为图片对应的真实骨龄值；
对骨龄预测网络结构进行训练时，将图像进行镜像翻转、旋转、缩放或平移来增加数据量。
一种自动骨龄预测系统，包括如下单元：
采集单元，用于采集左手X射线片图像；
数据处理单元，用于将采集到的左手X射线片图像进行手部分割，以去除手部以外部分的干扰，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，所述骨龄预测网络结构是基于VGG网络结构的深度学习网络；
预测骨龄单元，用于在数据处理单元进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将数据处理单元得到的骨龄预测值输出。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述自动骨龄预测方法的步骤。
一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述自动骨龄预测方法的步骤。
上述自动骨龄预测方法、装置、计算机设备和存储介质，包括采集左手X射线片图像；将采集到的左手X射线片图像进行手部分割，以去除手部以外部分的干扰，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，所述骨龄预测网络结构是基于VGG网络结构的深度学习网络；重复进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将骨龄预测值输出。本发明预测骨龄时，采用对左手的X射线图像进行一系列数据处理，以得到骨龄预测值，无需医师鉴定，整个预测过程在秒级内完成，预测效率高，通过深度学习网络，得到的骨龄预测值平均误差能够控制在6个月左右，达到专家医师级别。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
图1为本发明一个实施例中的自动骨龄预测方法的流程图；
图2为本发明左手腕部正位X射线片图像；
图3为本发明数据处理时的流程图；
图4为本发明手部分割后的左手X射线片图像；
图5为本发明缩放摆正后的左手X射线片图像；
图6为本发明的关键点侦测网络结构示意图；
图7为本发明的骨龄预测网络结构示意图；
图8为本发明一个实施例中自动骨龄预测系统的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
图1为本发明一个实施例中的自动骨龄预测方法的流程图，如图1所示，一种自动骨龄预测方法，包括以下步骤：
步骤S1，数据采集：采集左手X射线片图像。
人的生长发育可用两个“年龄”来表示，即生活年龄(日历年龄)和生物年龄(骨龄)。人类骨骼发育的变化基本相似，每一根骨头的发育过程都具有连续性和阶段性。不同阶段的骨头具有不同的形态特点。因此，骨龄评估能较准确地反映个体的生长发育水平和成熟程度。它不仅可以确定儿童的生物学年龄，而且还可以通过骨龄及早了解儿童的生长发育潜力以及性成熟的趋势。骨龄的测定需要借助于骨骼在X光摄像中的特定图像来确定。通常要拍摄人左手手腕部的X射线片，医生通过X射线片观察左手掌指骨、腕骨及桡尺骨下端的骨化中心的发育程度来确定骨龄。
步骤S2，数据处理：将采集到的左手X射线片图像进行手部分割，以去除手部以外部分的干扰，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，所述骨龄预测网络结构是基于VGG网络结构的深度学习网络。
本步骤在对左手X射线片图像输入骨龄预测网络结构之前，还对图像进行手部分割去干扰、摆正与缩放图像、自适应均衡图像的数据处理方式，形成较为统一的图像，以便于后续深度学习网络输出更为精确的骨龄预测值。
本步骤中的VGG网络结构是一种深度卷积神经网络，一般由卷积部分和全连接部分构成，卷积部分一般包含卷积(可以有多个不同尺寸的核级联组成)、激活函数、池化、Dropout层等。全连接部分一般最多包含2到3个全连接。VGG网络结构的特点是：使用小卷积核和更深的网络进行的正则化；使用预训练得到的数据进行参数的初始化。
步骤S3，预测骨龄：重复步骤S2进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将步骤2)得到的骨龄预测值输出。
本步骤中，预设误差范围优选控制在6个月内，以便于本发明能达到专家医师级别。在骨龄训练阶段，一次性输入的图片量(batch)优选为16，网络学习率为1.0*e-3，e是数学常数，e≈2.71828，L2正则项惩罚系数为1.0*e-3，dropout层的dropout率为0.5。在进入到骨龄预测阶段时，将batch修改为1，dropout率设置为1并关闭训练模式即可进入骨龄预测阶段。
本实施例，通过采集左手的X射线图像后，对图像的手部分割去干扰、摆正与缩放图像、自适应均衡图像、骨龄深度学习网络等数据处理方式，得到误差较小的媲美专家医师的预测值，即为骨龄预测值。整个预测过程在秒级内完成，预测效率高。
在一个实施例中，步骤S1中，采集时左手掌面向下，紧贴暗盒，中指轴与前臂轴成直线，五指自然分开，拇指与手掌呈约30°角，X射线机的球管中心正对第三掌骨头。采集的左手X射线片图像是左手腕部正位X射线片，左手X射线片图像包括距离桡骨和尺骨2cm-3cm的骨干，及手部关节的多块骨，左手X射线片图像的管片距为70cm-90cm。
如图2中所示，左手X射线片图像包括手部关节的多块骨，手部关节的多块骨包括腕骨11、掌骨12、指骨13。左手X射线片图像还包括桡骨2中截取了距离桡骨2的2cm-3cm的骨干，和尺骨3中截取了距离尺骨3的2cm-3cm的骨干。
本实施例通过上述方法采集到的左手X射线片图像符合行业标准TY/T3001—2006《中国青少年儿童手腕骨成熟度及评价方法》(简称《中华-05》方法)，能为后续预测骨龄提供可靠的图像。
在一个实施例中，如图3所示，步骤S2可包括如下具体步骤：
步骤S201，手部分割：使用U-net网络结构对采集到的左手X射线片图像进行手部分割，去除手部以外部分的干扰。
本步骤中的U-net网络结构为已发表的现有技术，通过U-net网络结构去除手部以外部分的干扰，得到手部分割后的左手X射线片图像，得到的图像如图4中所示。
机器学习中的损失函数极为关键，损失函数越小，代表模型拟合的越好，因此在采用现有的网络结构时，为了过U-net网络结构更适用于本发明，在骨龄训练阶段，重新定义了损失函数，在一个实施例中，训练时的损失函数如下：
L＝H-logJ，
其中，
yi表示每个像素的预测值，表示每个像素的真实值，取值为0或1，表示该像素是否在前景；
用于U-net网络结构训练的数据为标注的100张图片，标注的工具为在线的图像分割标注工具(labelme)，标注的内容为手部，并采用旋转、缩放或平移来增加训练数据。
步骤S202，探测三个侦测点：手部分割完成后，使用关键点侦测网络结构对手部三个关键点进行探测，得到三个侦测点，三个侦测点分别为中指指尖侦测点、大拇指指尖侦测点、腕骨中心点。
在一个实施例中，如图6中所示，本步骤中的关键点侦测网络结构为：先将三个卷积核层数分别为64、128、256的VGG模块(卷积模块)依次连接，然后依次接一个Dropout层(丢弃算法层)、一层包含512个神经元的全连接层、一个ELU激活函数、一个Dropout层、一层包含512个神经元的全连接层、一个ELU激活函数，最后连接一层为包含6个神经元的全连接层，最后将6个数值输出，分别对应三个侦测点的横纵坐标值。得到的三个侦测点如图4圆圈所示，分别为中指指尖、大拇指指尖、腕骨中心点。其中，ELU激活函数是非线性激活函数。
本实施例采用上述关键点侦测网络结构后，能得到误差较小的三个侦测点的横纵坐标值，为后续图像摆正缩放提供较为精确的参数。
在一个实施例中，在骨龄训练阶段，对关键点侦测网络结构进行训练，训练时的损失函数采用均方差损失函数：
其中，yi表示预测的坐标值，为真实的坐标值；
通过不断缩小损失函数，让预测位置与真实位置的差距越来越小，让关键点侦测网络学习到三个侦测点的具体位置，训练数据为三个侦测点对应的坐标，每张图片共有6个数据，分别为三个侦测点的横纵坐标值，并采用到了旋转、缩放或平移来增加数据量。
本实施例通过上述均方差损失函数作为损失函数，进行骨龄训练，能学习到较为准确的三个侦测点参数。
步骤S203，摆正缩放图像：依据得到的三个侦测点，将左手X射线片图像摆正缩放到512*512大小的图片中，摆正时中指指尖侦测点位于上边缘水平位置中点向下40像素处，大拇指指尖侦测点用于镜像翻转，确保大拇指指尖侦测点位于图片右侧，腕骨中心点在下边缘水平位置中点向上190像素处。
如图4中所示，左手X射线片图像是倾斜的，其大拇指指尖位于图片右侧，因此无需镜像翻转，首先根据步骤S202得到的三个侦测点中的中指指尖侦测点移动到图片的上边缘水平位置中点向下40像素处，然后将腕骨中心点在下边缘水平位置中点向上190像素处，得到如图5中所示的图像。
步骤S204，自适应直方图均衡化图像：对摆正缩放后的图像进行限制对比度的自适应直方图均衡化。
本步骤通过限制对比度的自适应直方图均衡化(CLAHE)来让摆正缩放后的图像更加清晰。限制对比度的自适应直方图均衡化是一种算法，简称CLAHE算法，CLAHE算法与普通的自适应直方图均衡不同地方在于对比度限幅，即直方图修剪过程，修剪后的直方图均衡图像时，图像对比度会更自然。CLAHE算法包括：图像分块，以块为单位，先计算直方图，然后修剪直方图，最后均衡；然后块间线性插值，每个像素点得到的值由它周围4个子块的映射函数值进行双线性插值得到，此处需要遍历、操作各个图像块；最后与原图做图层滤色混合操作。具体的，CLAHE算法可以直接使用opencv库中的createCLAHE函数完成自适应直方图均衡化操作。
步骤S205，骨龄预测：通过骨龄预测网络结构对自适应直方图均衡化后的图像进行骨龄预测，得到骨龄预测值。
本实施例通过使用U-net网络结构对图片进行手部分割、使用关键点侦测网络结构对手部三个关键点进行探测、依据得到的三个侦测点摆正缩放图像、自适应直方图均衡化图像、采用骨龄预测网络结构进行骨龄预测，最后得到骨龄预测值的过程科学严谨，符合行业标准，最终得到的预测值达到专家水平。
在一个实施例中，如图7中所示，本步骤中的骨龄预测网络结构为：先将六个卷积核层数分别为32、64、128、128、256、384的VGG模块(卷积模块)依次连接，然后依次连接一个Dropout层(丢弃算法层)、一层包含2048个神经元的全连接层、一个ELU激活函数、一个Dropout层、一层包含2048个神经元的全连接层、一个ELU激活函数，最后连接一层为单神经元的输出层，得到预测值。其中，ELU激活函数是非线性激活函数。
本实施例通过上述结构的骨龄预测网络结构，输入图像后，能得到较为准确的骨龄预测值。
在一个实施例中，在骨龄训练阶段，对骨龄预测网络结构进行训练，训练时的损失函数为平均绝对误差损失函数：
和L2正则项之和，
其中，yi表示网络预测的骨龄值，为图片对应的真实骨龄值；
对骨龄预测网络结构进行训练时，将图像进行镜像翻转、旋转、缩放或平移来增加数据量。本实施例采用平均绝对误差损失函数进行骨龄预测训练，能学习到较为准确的骨龄预测值。
在一个实施例中，(1)骨龄训练阶段时，可以采用如下步骤：
(a)标注部分图像，如100张图片，使用数据增强手段增加训练数据量，训练U-net网络分割手部，使用训练好的U-net网络来将整个数据集的手部分割出来，产生新的数据集；
(b)在上述数据集的基础上，挑选100张图片，提取三个侦测点坐标，同样使用数据增强手段来增加数据量，训练关键点侦测网络，再使用训练好的关键点侦测网络对分割好的数据集进行手势矫正，产生矫正好的数据集；
(c)对矫正好的数据进行自适应直方图均衡化；
(d)对均衡化后的数据集，同样使用数据增强手段来增加训练数据量，再使用该数据训练骨龄预测网络，此时，可以将数据按照性别分成两个数据集，用两个相同的骨龄预测网络分别在男性和女性数据集上进行训练。
(2)骨龄预测阶段：
分别使用训练好的U-net网络、关键点侦测网络对新输入的图片进行预处理，再进行自适应直方图均衡化后，输入到骨龄预测网络中，得到骨龄预测值。如将数据集分为男性和女性数据集的，则按照性别，输入到对应的骨龄预测网络中，预测出对应的骨龄预测值。
本实施例通过先训练再预测的方式，对图像进行深度学习，以得到优化后的网络，进行骨龄预测，得到的预测值误差小，平均误差能够控制在6个月左右，达到专家医师级别。
在一个实施例中，提出了一种自动骨龄预测系统，如图8所示，包括如下单元：
采集单元，用于采集左手X射线片图像；
数据处理单元，用于将采集到的左手X射线片图像进行手部分割，以去除手部以外部分的干扰，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，所述骨龄预测网络结构是基于VGG网络结构的深度学习网络；
预测骨龄单元，用于在数据处理单元进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将数据处理单元得到的骨龄预测值输出。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行计算机可读指令时实现以下步骤：采集左手X射线片图像；将采集到的左手X射线片图像进行手部分割，以去除手部以外部分的干扰，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，所述骨龄预测网络结构是基于VGG网络结构的深度学习网络；重复进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将预测值输出。
在一个实施例中，提出了一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：将采集到的左手X射线片图像进行手部分割，以去除手部以外部分的干扰，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，所述骨龄预测网络结构是基于VGG网络结构的深度学习网络；重复进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将预测值输出。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明一些示例性实施例，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种自动骨龄预测方法，其特征在于，包括如下步骤：
S1，采集左手X射线片图像；
S2，将采集到的左手X射线片图像进行手部分割，以去除手部以外部分的干扰，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，所述骨龄预测网络结构是基于VGG网络结构的深度学习网络；
S3，重复步骤S2进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将步骤2)得到的骨龄预测值输出。
2.根据权利要求1所述的自动骨龄预测方法，其特征在于，所述S1采集的左手X射线片图像是左手腕部正位X射线片，所述左手X射线片图像包括距离桡骨和尺骨2cm-3cm的骨干，及手部关节的多块骨，所述左手X射线片图像的管片距为70cm-90cm。
3.根据权利要求1所述的自动骨龄预测方法，其特征在于，所述S2包括如下步骤：
S201，使用U-net网络结构对采集到的左手X射线片图像进行手部分割，去除手部以外部分的干扰；
S202，手部分割完成后，使用关键点侦测网络结构对手部进行探测，得到三个侦测点，三个侦测点分别为中指指尖侦测点、大拇指指尖侦测点、腕骨中心点；
S203，依据得到的三个侦测点，将左手X射线片图像摆正缩放到512*512大小的图片中，摆正时中指指尖侦测点位于上边缘水平位置中点向下40像素处，大拇指指尖侦测点用于镜像翻转，确保大拇指指尖侦测点位于图片右侧，腕骨中心点在下边缘水平位置中点向上190像素处；
S204，对摆正缩放后的图像进行限制对比度的自适应直方图均衡化；
S205，通过骨龄预测网络结构对自适应直方图均衡化后的图像进行骨龄预测，得到骨龄预测值。
4.根据权利要求3所述的自动骨龄预测方法，其特征在于，所述关键点侦测网络结构为：先将三个卷积核层数分别为64、128、256的VGG模块依次连接，然后接一个Dropout层，再接两层各包含512个神经元的全连接层，且两层全连接层均连接一个ELU激活函数，两层512个神经元的全连接层之间设另一Dropout层，最后一层为包含6个神经元的全连接层，最后将6个数值输出，分别对应三个侦测点的横纵坐标值；
所述骨龄预测网络结构为：先将六个卷积核层数分别为32、64、128、128、256、3846的VGG模块依次连接，然后接一个Dropout层，再接两层各包含2048个神经元的全连接层，两层全连接层均连接一个ELU激活函数，两层2048个神经元的全连接层之间设另一Dropout层，最后一层为单神经元的输出层，得到预测值。
5.根据权利要求3所述的自动骨龄预测方法，其特征在于，在骨龄训练阶段，对U-net网络结构进行训练，训练时的损失函数如下：
L＝H-log J，
其中，
yi表示每个像素的预测值，表示每个像素的真实值，取值为0或1，表示该像素是否在前景；
用于U-net网络结构训练的数据为标注的100张图片，标注的工具为在线的图像分割标注工具，标注的内容为手部，并采用旋转、缩放或平移来增加训练数据。
6.根据权利要求3所述的自动骨龄预测方法，其特征在于，在骨龄训练阶段，对关键点侦测网络结构进行训练，训练时的损失函数采用均方差损失函数：
其中，yi表示预测的坐标值，为真实的坐标值；
通过不断缩小损失函数，让预测位置与真实位置的差距越来越小，让关键点侦测网络学习到三个侦测点的具体位置，训练数据为三个侦测点对应的坐标，每张图片共有6个数据，分别为三个侦测点的横纵坐标值，并采用到了旋转、缩放或平移来增加数据量。
7.根据权利要求3所述的自动骨龄预测方法，其特征在于，在骨龄训练阶段，对骨龄预测网络结构进行训练，训练时的损失函数为平均绝对误差损失函数：
和L2正则项之和，
其中，yi表示网络预测的骨龄预测值，为图片对应的真实骨龄值；
对骨龄预测网络结构进行训练时，将图像进行镜像翻转、旋转、缩放或平移来增加数据量。
8.一种自动骨龄预测系统，其特征在于，包括如下单元：
采集单元，用于采集左手X射线片图像；
数据处理单元，用于将采集到的左手X射线片图像进行手部分割，以去除手部以外部分的干扰，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，所述骨龄预测网络结构是基于VGG网络结构的深度学习网络；
预测骨龄单元，用于在数据处理单元进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将数据处理单元得到的骨龄预测值输出。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述自动骨龄预测方法的步骤。
10.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述自动骨龄预测方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810561528.4A CN109215013B (zh) | 2018-06-04 | 2018-06-04 | 自动骨龄预测方法、系统、计算机设备和存储介质 |
| PCT/CN2018/104716 WO2019232960A1 (zh) | 2018-06-04 | 2018-09-08 | 自动骨龄预测方法、系统、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810561528.4A CN109215013B (zh) | 2018-06-04 | 2018-06-04 | 自动骨龄预测方法、系统、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109215013A true CN109215013A (zh) | 2019-01-15 |
| CN109215013B CN109215013B (zh) | 2023-07-21 |
Family
ID=64991364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810561528.4A Active CN109215013B (zh) | 2018-06-04 | 2018-06-04 | 自动骨龄预测方法、系统、计算机设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109215013B (zh) |
| WO (1) | WO2019232960A1 (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948522A (zh) * | 2019-03-18 | 2019-06-28 | 浙江工业大学 | 一种基于深度神经网络的x光片手骨成熟度判读方法 |
| CN109949280A (zh) * | 2019-03-06 | 2019-06-28 | 上海联影智能医疗科技有限公司 | 图像处理方法、装置、设备存储介质及生长发育评估系统 |
| CN110322528A (zh) * | 2019-06-26 | 2019-10-11 | 浙江大学 | 基于3t、7t的核磁共振脑部图像血管重建方法 |
| CN111080579A (zh) * | 2019-11-28 | 2020-04-28 | 杭州电子科技大学 | 基于深度学习实现图像分割和分类的骨龄评估方法 |
| CN111563874A (zh) * | 2020-03-05 | 2020-08-21 | 北京深睿博联科技有限责任公司 | 骨龄评测方法和装置 |
| CN112561982A (zh) * | 2020-12-22 | 2021-03-26 | 电子科技大学中山学院 | 一种基于vgg-16的高精度光斑中心检测方法 |
| CN112785559A (zh) * | 2021-01-05 | 2021-05-11 | 四川大学 | 基于深度学习的多个异构模型相互组合的骨龄预测方法 |
| CN113298842A (zh) * | 2021-05-28 | 2021-08-24 | 平安科技（深圳）有限公司 | 骨龄预测方法、装置、设备及计算机可读存储介质 |
| CN113331849A (zh) * | 2021-06-08 | 2021-09-03 | 北京中医药大学 | 一种尺骨骨龄等级评定系统及方法 |
| CN114601483A (zh) * | 2022-05-11 | 2022-06-10 | 山东第一医科大学第一附属医院(山东省千佛山医院) | 一种基于图像处理的骨龄分析方法及系统 |
| US11367181B2 (en) | 2018-12-29 | 2022-06-21 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for ossification center detection and bone age assessment |
| CN116665894A (zh) * | 2023-04-24 | 2023-08-29 | 南方医科大学南方医院 | 骨龄监测系统、方法、电子设备及存储介质 |
| CN117252881A (zh) * | 2023-11-20 | 2023-12-19 | 四川大学 | 基于手部x光图像的骨龄预测方法、系统、设备及介质 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102285B (zh) * | 2020-09-14 | 2024-03-12 | 辽宁工程技术大学 | 一种基于多模态对抗训练的骨龄检测方法 |
| CN112116606B (zh) * | 2020-09-29 | 2024-02-20 | 五邑大学 | 脑肿瘤图像分割方法、系统及计算机可读存储介质 |
| CN112766313B (zh) * | 2020-12-29 | 2023-11-14 | 厦门贝启科技有限公司 | 基于U-net结构的水晶体分割及定位方法、装置、设备和介质 |
| CN113570577B (zh) * | 2021-07-28 | 2023-11-14 | 成都玻尔兹曼智贝科技有限公司 | 一种颈椎骨龄的判断方法 |
| CN116342516B (zh) * | 2023-03-17 | 2024-04-16 | 四川文理学院 | 基于模型集成的儿童手骨x光图像骨龄评估方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107591200A (zh) * | 2017-08-25 | 2018-01-16 | 卫宁健康科技集团股份有限公司 | 基于深度学习及影像组学的骨龄标记识别评估方法及系统 |
| CN107767376A (zh) * | 2017-11-02 | 2018-03-06 | 西安邮电大学 | 基于深度学习的x线片骨龄预测方法及系统 |
| CN107895367A (zh) * | 2017-11-14 | 2018-04-10 | 中国科学院深圳先进技术研究院 | 一种骨龄识别方法、系统及电子设备 |
| CN107944496A (zh) * | 2017-12-06 | 2018-04-20 | 电子科技大学 | 基于改进后的残差网络的骨龄自动化识别系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018057714A1 (en) * | 2016-09-21 | 2018-03-29 | The General Hospital Corporation | Systems, methods and media for automatically generating a bone age assessment from a radiograph |
-
2018
- 2018-06-04 CN CN201810561528.4A patent/CN109215013B/zh active Active
- 2018-09-08 WO PCT/CN2018/104716 patent/WO2019232960A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107591200A (zh) * | 2017-08-25 | 2018-01-16 | 卫宁健康科技集团股份有限公司 | 基于深度学习及影像组学的骨龄标记识别评估方法及系统 |
| CN107767376A (zh) * | 2017-11-02 | 2018-03-06 | 西安邮电大学 | 基于深度学习的x线片骨龄预测方法及系统 |
| CN107895367A (zh) * | 2017-11-14 | 2018-04-10 | 中国科学院深圳先进技术研究院 | 一种骨龄识别方法、系统及电子设备 |
| CN107944496A (zh) * | 2017-12-06 | 2018-04-20 | 电子科技大学 | 基于改进后的残差网络的骨龄自动化识别系统 |
Non-Patent Citations (1)
| Title |
|---|
| JIANLONG ZHOU 等: "Using Convolutional Neural Networks and Transfer Learning for Bone Age Classification", 2017 INTERNATIONAL CONFERENCE ON DIGITAL IMAGE COMPUTING：TECHNIQUES AND APPLICATIONS（DICTA）, pages 2 - 4 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11367181B2 (en) | 2018-12-29 | 2022-06-21 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for ossification center detection and bone age assessment |
| US11735322B2 (en) | 2018-12-29 | 2023-08-22 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for ossification center detection and bone age assessment |
| CN109949280A (zh) * | 2019-03-06 | 2019-06-28 | 上海联影智能医疗科技有限公司 | 图像处理方法、装置、设备存储介质及生长发育评估系统 |
| CN109948522A (zh) * | 2019-03-18 | 2019-06-28 | 浙江工业大学 | 一种基于深度神经网络的x光片手骨成熟度判读方法 |
| CN110322528A (zh) * | 2019-06-26 | 2019-10-11 | 浙江大学 | 基于3t、7t的核磁共振脑部图像血管重建方法 |
| CN111080579A (zh) * | 2019-11-28 | 2020-04-28 | 杭州电子科技大学 | 基于深度学习实现图像分割和分类的骨龄评估方法 |
| CN111080579B (zh) * | 2019-11-28 | 2023-05-26 | 杭州电子科技大学 | 基于深度学习实现图像分割和分类的骨龄评估方法 |
| CN111563874A (zh) * | 2020-03-05 | 2020-08-21 | 北京深睿博联科技有限责任公司 | 骨龄评测方法和装置 |
| CN111563874B (zh) * | 2020-03-05 | 2023-04-28 | 北京深睿博联科技有限责任公司 | 骨龄评测方法和装置 |
| CN112561982A (zh) * | 2020-12-22 | 2021-03-26 | 电子科技大学中山学院 | 一种基于vgg-16的高精度光斑中心检测方法 |
| CN112785559A (zh) * | 2021-01-05 | 2021-05-11 | 四川大学 | 基于深度学习的多个异构模型相互组合的骨龄预测方法 |
| CN113298842A (zh) * | 2021-05-28 | 2021-08-24 | 平安科技（深圳）有限公司 | 骨龄预测方法、装置、设备及计算机可读存储介质 |
| CN113298842B (zh) * | 2021-05-28 | 2023-07-14 | 平安科技（深圳）有限公司 | 骨龄预测方法、装置、设备及计算机可读存储介质 |
| CN113331849A (zh) * | 2021-06-08 | 2021-09-03 | 北京中医药大学 | 一种尺骨骨龄等级评定系统及方法 |
| CN114601483A (zh) * | 2022-05-11 | 2022-06-10 | 山东第一医科大学第一附属医院(山东省千佛山医院) | 一种基于图像处理的骨龄分析方法及系统 |
| CN116665894A (zh) * | 2023-04-24 | 2023-08-29 | 南方医科大学南方医院 | 骨龄监测系统、方法、电子设备及存储介质 |
| CN117252881A (zh) * | 2023-11-20 | 2023-12-19 | 四川大学 | 基于手部x光图像的骨龄预测方法、系统、设备及介质 |
| CN117252881B (zh) * | 2023-11-20 | 2024-01-26 | 四川大学 | 基于手部x光图像的骨龄预测方法、系统、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019232960A1 (zh) | 2019-12-12 |
| CN109215013B (zh) | 2023-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109215013A (zh) | 自动骨龄预测方法、系统、计算机设备和存储介质 | |
| CN111476292B (zh) | 医学图像分类处理人工智能的小样本元学习训练方法 | |
| Yani et al. | Application of transfer learning using convolutional neural network method for early detection of terry’s nail | |
| CN111340819B (zh) | 图像分割方法、装置和存储介质 | |
| CN109559300A (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
| CN107358157A (zh) | 一种人脸活体检测方法、装置以及电子设备 | |
| CN106068514A (zh) | 用于在不受约束的媒体中识别面孔的系统和方法 | |
| CN109410168A (zh) | 用于确定图像中的子图块的类别的卷积神经网络模型的建模方法 | |
| CN109376663A (zh) | 一种人体姿态识别方法及相关装置 | |
| CN109902584A (zh) | 一种口罩缺陷的识别方法、装置、设备及存储介质 | |
| CN107516312A (zh) | 一种应用浅层神经网络的中医面色自动分类方法 | |
| CN109886153A (zh) | 一种基于深度卷积神经网络的实时人脸检测方法 | |
| CN111222486A (zh) | 手部姿态识别模型的训练方法、装置、设备及存储介质 | |
| CN109377441A (zh) | 具有隐私保护功能的舌像采集方法和系统 | |
| US20210279855A1 (en) | Neural network-based systems and computer-implemented methods for identifying and/or evaluating one or more food items present in a visual input | |
| CN112614133A (zh) | 一种无锚点框的三维肺结节检测模型训练方法及装置 | |
| US20240104900A1 (en) | Fish school detection method and system thereof, electronic device and storage medium | |
| CN113160313A (zh) | 一种透明物体抓取控制方法、装置、终端及存储介质 | |
| CN111369494B (zh) | 冬小麦穗密度检测方法及装置 | |
| CN115953330B (zh) | 虚拟场景图像的纹理优化方法、装置、设备和存储介质 | |
| CN116778482A (zh) | 胚胎图像卵裂球目标检测方法、计算机设备及存储介质 | |
| CN110008881A (zh) | 多运动目标的奶牛行为的识别方法及装置 | |
| CN108986889A (zh) | 一种病变识别模型训练方法、装置及存储设备 | |
| CN110570417B (zh) | 肺结节分类装置及图像处理设备 | |
| CN112668668A (zh) | 一种术后医学影像评估方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |