CN110738235A - 肺结核判定方法、装置、计算机设备及存储介质 - Google Patents
肺结核判定方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN110738235A CN110738235A CN201910869773.6A CN201910869773A CN110738235A CN 110738235 A CN110738235 A CN 110738235A CN 201910869773 A CN201910869773 A CN 201910869773A CN 110738235 A CN110738235 A CN 110738235A
- Authority
- CN
- China
- Prior art keywords
- training
- target image
- model
- network
- resnet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种肺结核判定方法、装置、计算机设备及存储介质,涉及人工智能技术领域。该肺结核判定方法包括:获取待分类胸部X光片图像;按照预设的图像处理步骤,将待分类胸部X光片图像转换为待分类目标图像,其中,待分类目标图像的分辨率和维度与训练肺结核分类模型的目标图像样本相同;将待分类目标图像输入到肺结核分类模型中,得到预测概率,预测概率为预测肺结核为阳性的概率,当预测概率大于预设阈值时,判定与待分类目标图像对应的待分类胸部X光片图像存在肺结核。采用该肺结核判定方法能够在保证准确率较高的前提下,实现对肺结核的快速判定。
Description
【技术领域】
本发明涉及人工智能技术领域,尤其涉及一种肺结核判定方法、装置、计算机设备及存储介质。
【背景技术】
肺结核是一种影响着许多人口的疾病,需要准确的诊断后才可以进行治疗。目前医院中通常都有X光机,但部分相关工作人员缺乏放射学专业知识来准确评估图像,导致诊断效果差;部分相关工作人员可进行手动检查X光片,但是任务比较耗时,筛选成本较大。目前无法实现在保证准确率较高的前提下,实现对肺结核的快速判定。
【发明内容】
有鉴于此,本发明实施例提供了一种肺结核判定方法、装置、计算机设备及存储介质,用以解决目前无法实现在保证准确率较高的前提下,实现对肺结核的快速判定的问题。
第一方面,本发明实施例提供了一种肺结核判定方法,包括:
获取待分类胸部X光片图像;
按照预设的图像处理步骤,将所述待分类胸部X光片图像转换为待分类目标图像,其中,所述待分类目标图像的分辨率和维度与训练肺结核分类模型的目标图像样本相同;
将所述待分类目标图像输入到所述肺结核分类模型中,得到预测概率,所述预测概率为预测肺结核为阳性的概率,当所述预测概率大于预设阈值时,判定与所述待分类目标图像对应的所述待分类胸部X光片图像存在肺结核,其中,所述肺结核分类模型采用的模型训练步骤包括:
构建训练样本集,其中,所述训练样本集包括用于模型训练的目标图像样本和用于模型测试的目标图像样本,所述用于模型训练的目标图像样本和用于模型测试的目标图像样本之间不存在相同的目标图像样本;
采用ResNet-50网络作为训练的深度神经网络,并将预训练得到的权值作为所述ResNet-50网络初始的权值;
将所述用于模型训练的目标图像样本输入到所述ResNet-50网络中训练,输出结果为肺结核阳性的预测概率;
根据所述预测概率更新所述ResNet-50网络的权值,直到更新的变化量均小于第一预设阈值时停止训练,得到待测试模型;
采用所述用于模型测试的目标图像样本测试所述待测试模型,当所述待测试模型输出的测试结果的准确率大于预设准确率时,将所述待测试模型作为所述肺结核分类模型。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述构建训练样本集,包括:
获取胸部X光片的图像样本以及所述图像样本的标签,其中,所述图像样本为肺结核阳性时,标签为1,所述图像样本为肺结核阴性时,标签为0;
将所述图像样本处理为预设分辨率的图像样本,其中,对于分辨率高于预设分辨率的图像样本,采用下采样的方法将所述图像样本的分辨率下采样至所述预设分辨率,对于分辨率低于所述预设分辨率的图像样本,采用双线性插值法将所述图像样本的分辨率上采样至所述预设分辨率;
将所述预设分辨率的图像样本的每个像素点的值归一化到[-1,1]的区间内;
将归一化处理后的所述图像样本进行复制,扩展所述图像样本的维度,得到目标图像样本;
采用所述目标图像样本构建所述训练样本集,其中,所述训练样本集中所述用于模型训练的目标图像样本和所述用于模型测试的目标图像样本的比例为5:1。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述ResNet-50网络包括卷积层,所述ResNet-50网络在更新所述卷积层的权值时,训练过程为采用0.0001的学习率训练3000遍所述ResNet-50网络,其中,每遍训练包括10张所述用于训练的目标图像样本。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述ResNet-50网络包括卷积层、标准化层和全连接层,所述肺结核分类模型在更新所述ResNet-50网络的权值时先在预设遍数内对所述ResNet-50网络中的卷积层进行更新,预设遍数训练之后,冻结所述ResNet-50网络中卷积层的权值,采用0.001的学习率训练所述ResNet-50网络中的标准化层和全连接层1000遍,对所述ResNet-50网络中的标准化层和全连接层的权值进行更新,其中,所述冻结是指不对所述ResNet-50网络中卷积层的权值进行更新。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述根据所述预测概率更新所述ResNet-50网络的权值,包括:
采用反向传播算法将训练过程中产生的损失值回传到所述ResNet-50网络中,根据每次训练回传的损失值更新所述ResNet-50网络的权值。
第二方面,本发明实施例提供了一种肺结核判定装置,包括:
待分类胸部X光片图像获取模块,用于获取待分类胸部X光片图像;
待分类目标图像获取模块,用于按照预设的图像处理步骤,将所述待分类胸部X光片图像转换为待分类目标图像,其中,所述待分类目标图像的分辨率和维度与训练肺结核分类模型的目标图像样本相同;
判定模块,用于将所述待分类目标图像输入到所述肺结核分类模型中,得到预测概率,所述预测概率为预测肺结核为阳性的概率,当所述预测概率大于预设阈值时,判定与所述待分类目标图像对应的所述待分类胸部X光片图像存在肺结核,其中,所述肺结核分类模型通过训练样本集构建模块、网络初始化模块、训练模块、更新模块和肺结核分类模型获取模块得到:
训练样本集构建模块,用于构建训练样本集,其中,所述训练样本集包括用于模型训练的目标图像样本和用于模型测试的目标图像样本,所述用于模型训练的目标图像样本和用于模型测试的目标图像样本之间不存在相同的目标图像样本;
网络初始化模块,用于采用ResNet-50网络作为训练的深度神经网络,并将预训练得到的权值作为所述ResNet-50网络初始的权值;
训练模块,用于将所述用于模型训练的目标图像样本输入到所述ResNet-50网络中训练,输出结果为肺结核阳性的预测概率;
更新模块,用于根据所述预测概率更新所述ResNet-50网络的权值,直到更新的变化量均小于第一预设阈值时停止训练,得到待测试模型;
肺结核分类模型获取模块,用于采用所述用于模型测试的目标图像样本测试所述待测试模型,当所述待测试模型输出的测试结果的准确率大于预设准确率时,将所述待测试模型作为所述肺结核分类模型。
第三方面,一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述肺结核判定方法的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,包括:计算机程序,所述计算机程序被处理器执行时实现上述肺结核判定方法的步骤。
在本发明实施例中,采用肺结核分类模型实现对待分类胸部X光片图像的肺结核判定。该肺结核分类模型采用ResNet-50网络作为训练的深度神经网络,使得训练得到的肺结核分类模型具有较强的特征提取能力,且分类准确率较高;另外,训练肺结核分类模型还采用了迁移学习的方法,将预训练得到的权值作为ResNet-50网络初始的权值,能够加快模型训练的速度,并且提高模型分类的准确率。本发明实施例通过针对肺结核判定所进行训练得到的肺结核分类模型,在输入由待分类胸部X光片图像转换得到的待分类目标图像后,即可根据肺结核分类模型输出的预测概率实现肺结核的判定,能够在保证准确率较高的前提下,实现对肺结核的快速判定。
【附图说明】
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1是本发明一实施例中肺结核判定方法的一流程图;
图2是本发明一实施例中肺结核判定装置的一示意图;
图3是本发明一实施例中计算机设备的一示意图。
【具体实施方式】
为了更好的理解本发明的技术方案,下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的相同的字段,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等,但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如,在不脱离本发明实施例范围的情况下,第一预设范围也可以被称为第二预设范围,类似地,第二预设范围也可以被称为第一预设范围。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
图1示出本实施例中肺结核判定方法的一流程图。该肺结核判定方法可应用在肺结核判定系统上,在对胸部X光片图像进行肺结核判定时可采用该肺结核判定系统进行判定。该肺结核判定系统具体可应用在计算机设备上,其中,该计算机设备是可与用户进行人机交互的设备,包括但不限于电脑、智能手机和平板等设备。如图1所示,该肺结核判定方法包括如下步骤:
S1:获取待分类胸部X光片图像。
可以理解地,在未进行肺结核判定前,用户所要进行肺结核判定的胸部X光片图像即待分类胸部X光片图像。
S2:按照预设的图像处理步骤,将待分类胸部X光片图像转换为待分类目标图像,其中,待分类目标图像的分辨率和维度与训练肺结核分类模型的目标图像样本相同。
可以理解地,直接获取的待分类胸部X光片图像还需进行转换成待分类目标图像后才可输入到肺结核判定模型中进行判定,以使其分辨率和维度与训练肺结核分类模型的目标图像样本相同,从而提高肺结核判定的准确率。
可以理解地,训练肺结核分类模型的目标图像样本采用的分辨率和维度与胸部X光片图像不同,经预设的图像处理后,可提高肺结核判定模型特征提取的能力,从而提高肺结核判定的准确率。其中,预设的图像处理如下述步骤S11-S15中在构建训练样本集时对胸部X光片的图像样本的处理。
S3:将待分类目标图像输入到肺结核分类模型中,得到预测概率,预测概率为预测肺结核为阳性的概率,当预测概率大于预设阈值时,判定与待分类目标图像对应的待分类胸部X光片图像存在肺结核。
可以理解地,根据预测概率可对待分类胸部X光片图像按是否存在肺结核进行分类,分类时也完成了肺结核的判定。
其中,预设阈值具体可以设为0.5,该预设阈值下的肺结核判定准确率较高。
其中,肺结核分类模型采用的模型训练步骤包括:
S10:构建训练样本集,其中,训练样本集包括用于模型训练的目标图像样本和用于模型测试的目标图像样本,用于模型训练的目标图像样本和用于模型测试的目标图像样本之间不存在相同的目标图像样本。
其中,用于模型训练的目标图像样本和用于模型测试的目标图像样本之间不存在相同的目标图像样本可以提高肺结核分类模型的泛化能力,可应对更多不同场景下的肺结核判定。
进一步地,在构建训练样本集的步骤中,具体包括:
S11:获取胸部X光片的图像样本以及图像样本的标签,其中,图像样本为肺结核阳性时,标签为1,图像样本为肺结核阴性时,标签为0;
S12:将图像样本处理为预设分辨率的图像样本,其中,对于分辨率高于预设分辨率的图像样本,采用下采样的方法将图像样本的分辨率下采样至预设分辨率,对于分辨率低于预设分辨率的图像样本,采用双线性插值法将图像样本的分辨率上采样至预设分辨率;
其中,预设分辨率具体可以是512*512,基于该分辨率下训练的肺结核分类模型的运算速度较快,同时分类准确度也比较高。
可以理解地,直接获取的胸部X光片的图像样本的分辨率可能过高也可能过低,可先将图像样本处理成利于模型训练的分辨率,以保证模型的精度。
S13:将预设分辨率的图像样本的每个像素点的值归一化到[-1,1]的区间内;
可以理解地,将像素值进行归一化可以压缩样本空间,提高运算效率。
具体地,当像素颜色数量为256时,归一化的表达式具体为(x-127.5)/127.5。
S14:将归一化处理后的图像样本进行复制,扩展图像样本的维度,得到目标图像样本;
在一实施例中,如预设分辨率为512*512,则图像样本在进行复制,扩展图像样本的维度后得到的目标图像样本将表示为512*512*N,其中N为复制的次数。将图像样本进行复制,扩展图像样本的维度可以增加输入的样本数,有助于帮助模型进行充分训练,提高肺结核判定的准确率。
S15:采用目标图像样本构建训练样本集,其中,训练样本集中用于模型训练的目标图像样本和用于模型测试的目标图像样本的比例为5:1。
其中,在该比例下可较好地完成模型训练与模型配置,是一种较优的比例。
在步骤S11-S15中,提供了一种构建训练样本集的具体实施方式,能够对原始的胸部X光片的图像样本进行有效处理,使得肺结核分类模型的分类效果更精确。
S20:采用ResNet-50网络作为训练的深度神经网络,并将预训练得到的权值作为ResNet-50网络初始的权值。
其中,ResNet-50网络总共包含49层卷积层,1层标准化层和1层全连接层。
ResNet-50网络的分类效果较好,本实施例中采用ResNet-50网络作为训练肺结核分类模型的原始模型,并采用迁徙学习的方法,将预训练得到的权值作为ResNet-50网络初始的权值,该预训练得到的权值具体可以是开发者在处理其他项目时采用的初始权值,其中,项目的内容或功能实现的原理与肺结核分类越相关越好。
在一实施例中,通过采用ResNet-50网络作为训练的深度神经网络,并将预训练得到的权值作为ResNet-50网络初始的权值,能够加快模型训练的速度,并且提高模型分类的准确率。
S30:将用于模型训练的目标图像样本输入到ResNet-50网络中训练,输出结果为肺结核阳性的预测概率。
具体地,ResNet-50网络的输入维度具体可设为512x512x3。
在一实施例中,将用于模型训练的目标图像样本输入到ResNet-50网络中训练,将经过7x7x64的卷积层和3x3、步长为2的最大池化层后得到256x256x64的特征图;然后经过4组残差模块,其输出依次变化为128x128x256、64x64x512、32x32x1024、16x16x2048的特征图(其中,对于维度不同的特征图,先用1x1的卷积层调整输入特征的维度,使其匹配待相加的特征图维度,然后进行对应位置的元素相加),最后经过标准化层和维度为1的全连接层输出结果为肺结核阳性的预测概率。
S40:根据预测概率更新ResNet-50网络的权值,直到更新的变化量均小于第一预设阈值时停止训练,得到待测试模型。
进一步地,在根据预测概率更新ResNet-50网络的权值的步骤中,具体包括:
S41:采用交叉熵损失函数计算训练过程中产生的损失值,其中,交叉熵损失函数表示为:表示用于训练的目标图像样本的标签,y表示预测概率;
S42:采用反向传播算法将训练过程中产生的损失值回传到ResNet-50网络中,根据每次训练回传的损失值更新ResNet-50网络的权值。
在步骤S41-S42中,提供了一种根据预测概率更新ResNet-50网络的权值的具体实施方式,可以在有监督学习下,实现网络参数的更新。
S50:采用用于模型测试的目标图像样本测试待测试模型,当待测试模型输出的测试结果的准确率大于预设准确率时,将待测试模型作为肺结核分类模型。
进一步地,ResNet-50网络包括卷积层、标准化层和全连接层,肺结核分类模型在更新ResNet-50网络的权值时先在预设遍数内对ResNet-50网络中的卷积层进行更新,预设遍数训练之后,冻结ResNet-50网络中卷积层的权值,采用0.001的学习率训练ResNet-50网络中的标准化层和全连接层1000遍,对ResNet-50网络中的标准化层和全连接层的权值进行更新,其中,冻结是指不对ResNet-50网络中卷积层的权值进行更新。
可以理解地,卷积层的权值包含了用于区分目标图像样本的关键特征,但是预训练权值中体现的特征来自其他项目的样本训练,不能完全用于区分肺结核样本。此处采用迁移学习,先训练卷积层,使其具有体现判定肺结核疾病的特征;然后在冻结卷积层,训练标准化层和全连接层,这样可以进一步提高模型的特征提取能力,进而提高模型的准确率。
进一步地,肺结核分类模型在更新ResNet-50网络的权值时先在预设遍数内对ResNet-50网络中的卷积层进行更新ResNet-50网络包括卷积层,其中预设遍数具体可以是3000遍。ResNet-50网络在更新卷积层的权值时,训练过程为采用0.0001的学习率训练3000遍ResNet-50网络,其中,每遍训练包括10张用于训练的目标图像样本。
采用以上模型训练、参数更新过程中提及的具体参数,能够提高肺结核分类模型的特征提取能力,以及肺结核分类模型的准确率。
在本发明实施例中,采用肺结核分类模型实现对待分类胸部X光片图像的肺结核判定。该肺结核分类模型采用ResNet-50网络作为训练的深度神经网络,使得训练得到的肺结核分类模型具有较强的特征提取能力,且分类准确率较高;另外,训练肺结核分类模型还采用了迁移学习的方法,将预训练得到的权值作为ResNet-50网络初始的权值,能够加快模型训练的速度,并且提高模型分类的准确率。本发明实施例通过针对肺结核判定所进行训练得到的肺结核分类模型,在输入由待分类胸部X光片图像转换得到的待分类目标图像后,即可根据肺结核分类模型输出的预测概率实现肺结核的判定,能够在保证准确率较高的前提下,实现对肺结核的快速判定。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
基于实施例中所提供的肺结核判定方法,本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。
图2示出与实施例中肺结核判定方法一一对应的肺结核判定装置的原理框图。如图2所示,该肺结核判定装置包括待分类胸部X光片图像获取模块10、待分类目标图像获取模块20、判定模块30、训练样本集构建模块40、网络初始化模块50、训练模块60、更新模块70和肺结核分类模型获取模块80。其中,待分类胸部X光片图像获取模块10、待分类目标图像获取模块20、判定模块30、训练样本集构建模块40、网络初始化模块50、训练模块60、更新模块70和肺结核分类模型获取模块80的实现功能与实施例中肺结核判定方法对应的步骤一一对应,为避免赘述,本实施例不一一详述。
待分类胸部X光片图像获取模块10,用于获取待分类胸部X光片图像。
待分类目标图像获取模块20,用于按照预设的图像处理步骤,将待分类胸部X光片图像转换为待分类目标图像,其中,待分类目标图像的分辨率和维度与训练肺结核分类模型的目标图像样本相同。
判定模块30,用于将待分类目标图像输入到肺结核分类模型中,得到预测概率,预测概率为预测肺结核为阳性的概率,当预测概率大于预设阈值时,判定与待分类目标图像对应的待分类胸部X光片图像存在肺结核,其中,肺结核分类模型通过训练样本集构建模块、网络初始化模块、训练模块、更新模块和肺结核分类模型获取模块得到:
训练样本集构建模块40,用于构建训练样本集,其中,训练样本集包括用于模型训练的目标图像样本和用于模型测试的目标图像样本,用于模型训练的目标图像样本和用于模型测试的目标图像样本之间不存在相同的目标图像样本。
网络初始化模块50,用于采用ResNet-50网络作为训练的深度神经网络,并将预训练得到的权值作为ResNet-50网络初始的权值。
训练模块60,用于将用于模型训练的目标图像样本输入到ResNet-50网络中训练,输出结果为肺结核阳性的预测概率。
更新模块70,用于根据预测概率更新ResNet-50网络的权值,直到更新的变化量均小于第一预设阈值时停止训练,得到待测试模型。
肺结核分类模型获取模块80,用于采用用于模型测试的目标图像样本测试待测试模型,当待测试模型输出的测试结果的准确率大于预设准确率时,将待测试模型作为肺结核分类模型。
可选地,训练样本集构建模块40具体用于:
获取胸部X光片的图像样本以及图像样本的标签,其中,图像样本为肺结核阳性时,标签为1,图像样本为肺结核阴性时,标签为0;
将图像样本处理为预设分辨率的图像样本,其中,对于分辨率高于预设分辨率的图像样本,采用下采样的方法将图像样本的分辨率下采样至预设分辨率,对于分辨率低于预设分辨率的图像样本,采用双线性插值法将图像样本的分辨率上采样至预设分辨率;
将预设分辨率的图像样本的每个像素点的值归一化到[-1,1]的区间内;
将归一化处理后的图像样本进行复制,扩展图像样本的维度,得到目标图像样本;
采用目标图像样本构建训练样本集,其中,训练样本集中用于模型训练的目标图像样本和用于模型测试的目标图像样本的比例为5:1。
可选地,ResNet-50网络包括卷积层,ResNet-50网络在更新卷积层的权值时,训练过程为采用0.0001的学习率训练3000遍ResNet-50网络,其中,每遍训练包括10张用于训练的目标图像样本。
可选地,ResNet-50网络包括卷积层、标准化层和全连接层,肺结核分类模型在更新ResNet-50网络的权值时先在预设遍数内对ResNet-50网络中的卷积层进行更新,预设遍数训练之后,冻结ResNet-50网络中卷积层的权值,采用0.001的学习率训练ResNet-50网络中的标准化层和全连接层1000遍,对ResNet-50网络中的标准化层和全连接层的权值进行更新,其中,冻结是指不对ResNet-50网络中卷积层的权值进行更新。
可选地,更新模块70具体用于:
采用交叉熵损失函数计算训练过程中产生的损失值,其中,交叉熵损失函数表示为:表示用于训练的目标图像样本的标签,y表示预测概率;
采用反向传播算法将训练过程中产生的损失值回传到ResNet-50网络中,根据每次训练回传的损失值更新ResNet-50网络的权值。
在本发明实施例中,采用肺结核分类模型实现对待分类胸部X光片图像的肺结核判定。该肺结核分类模型采用ResNet-50网络作为训练的深度神经网络,使得训练得到的肺结核分类模型具有较强的特征提取能力,且分类准确率较高;另外,训练肺结核分类模型还采用了迁移学习的方法,将预训练得到的权值作为ResNet-50网络初始的权值,能够加快模型训练的速度,并且提高模型分类的准确率。本发明实施例通过针对肺结核判定所进行训练得到的肺结核分类模型,在输入由待分类胸部X光片图像转换得到的待分类目标图像后,即可根据肺结核分类模型输出的预测概率实现肺结核的判定,能够在保证准确率较高的前提下,实现对肺结核的快速判定。
本实施例提供一计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现实施例中肺结核判定方法,为避免重复,此处不一一赘述。或者,该计算机程序被处理器执行时实现实施例中肺结核判定装置中各模块/单元的功能,为避免重复,此处不一一赘述。
图3是本发明一实施例提供的计算机设备的示意图。如图3所示,该实施例的计算机设备90包括:处理器91、存储器92以及存储在存储器92中并可在处理器91上运行的计算机程序93,该计算机程序93被处理器91执行时实现实施例中的肺结核判定方法,为避免重复,此处不一一赘述。或者,该计算机程序93被处理器91执行时实现实施例中肺结核判定装置中各模型/单元的功能,为避免重复,此处不一一赘述。
计算机设备90可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备90可包括,但不仅限于,处理器91、存储器92。本领域技术人员可以理解,图3仅仅是计算机设备90的示例,并不构成对计算机设备90的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器91可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器92可以是计算机设备90的内部存储单元,例如计算机设备90的硬盘或内存。存储器92也可以是计算机设备90的外部存储设备,例如计算机设备90上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器92还可以既包括计算机设备90的内部存储单元也包括外部存储设备。存储器92用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器92还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种肺结核判定方法,其特征在于,所述方法包括:
获取待分类胸部X光片图像;
按照预设的图像处理步骤,将所述待分类胸部X光片图像转换为待分类目标图像,其中,所述待分类目标图像的分辨率和维度与训练肺结核分类模型的目标图像样本相同;
将所述待分类目标图像输入到所述肺结核分类模型中,得到预测概率,所述预测概率为预测肺结核为阳性的概率,当所述预测概率大于预设阈值时,判定与所述待分类目标图像对应的所述待分类胸部X光片图像存在肺结核,其中,所述肺结核分类模型采用的模型训练步骤包括:
构建训练样本集,其中,所述训练样本集包括用于模型训练的目标图像样本和用于模型测试的目标图像样本,所述用于模型训练的目标图像样本和用于模型测试的目标图像样本之间不存在相同的目标图像样本;
采用ResNet-50网络作为训练的深度神经网络,并将预训练得到的权值作为所述ResNet-50网络初始的权值;
将所述用于模型训练的目标图像样本输入到所述ResNet-50网络中训练,输出结果为肺结核阳性的预测概率;
根据所述预测概率更新所述ResNet-50网络的权值,直到更新的变化量均小于第一预设阈值时停止训练,得到待测试模型;
采用所述用于模型测试的目标图像样本测试所述待测试模型,当所述待测试模型输出的测试结果的准确率大于预设准确率时,将所述待测试模型作为所述肺结核分类模型。
2.根据权利要求1所述的方法,其特征在于,所述构建训练样本集,包括:
获取胸部X光片的图像样本以及所述图像样本的标签,其中,所述图像样本为肺结核阳性时,标签为1,所述图像样本为肺结核阴性时,标签为0;
将所述图像样本处理为预设分辨率的图像样本,其中,对于分辨率高于预设分辨率的图像样本,采用下采样的方法将所述图像样本的分辨率下采样至所述预设分辨率,对于分辨率低于所述预设分辨率的图像样本,采用双线性插值法将所述图像样本的分辨率上采样至所述预设分辨率;
将所述预设分辨率的图像样本的每个像素点的值归一化到[-1,1]的区间内;
将归一化处理后的所述图像样本进行复制,扩展所述图像样本的维度,得到目标图像样本;
采用所述目标图像样本构建所述训练样本集,其中,所述训练样本集中所述用于模型训练的目标图像样本和所述用于模型测试的目标图像样本的比例为5:1。
3.根据权利要求1所述的方法,其特征在于,所述ResNet-50网络包括卷积层,所述ResNet-50网络在更新所述卷积层的权值时,训练过程为采用0.0001的学习率训练3000遍所述ResNet-50网络,其中,每遍训练包括10张所述用于训练的目标图像样本。
4.根据权利要求1所述的方法,其特征在于,所述ResNet-50网络包括卷积层、标准化层和全连接层,所述肺结核分类模型在更新所述ResNet-50网络的权值时先在预设遍数内对所述ResNet-50网络中的卷积层进行更新,预设遍数训练之后,冻结所述ResNet-50网络中卷积层的权值,采用0.001的学习率训练所述ResNet-50网络中的标准化层和全连接层1000遍,对所述ResNet-50网络中的标准化层和全连接层的权值进行更新,其中,所述冻结是指不对所述ResNet-50网络中卷积层的权值进行更新。
6.一种肺结核判定装置,其特征在于,所述装置包括:
待分类胸部X光片图像获取模块,用于获取待分类胸部X光片图像;
待分类目标图像获取模块,用于按照预设的图像处理步骤,将所述待分类胸部X光片图像转换为待分类目标图像,其中,所述待分类目标图像的分辨率和维度与训练肺结核分类模型的目标图像样本相同;
判定模块,用于将所述待分类目标图像输入到所述肺结核分类模型中,得到预测概率,所述预测概率为预测肺结核为阳性的概率,当所述预测概率大于预设阈值时,判定与所述待分类目标图像对应的所述待分类胸部X光片图像存在肺结核,其中,所述肺结核分类模型通过训练样本集构建模块、网络初始化模块、训练模块、更新模块和肺结核分类模型获取模块得到:
训练样本集构建模块,用于构建训练样本集,其中,所述训练样本集包括用于模型训练的目标图像样本和用于模型测试的目标图像样本,所述用于模型训练的目标图像样本和用于模型测试的目标图像样本之间不存在相同的目标图像样本;
网络初始化模块,用于采用ResNet-50网络作为训练的深度神经网络,并将预训练得到的权值作为所述ResNet-50网络初始的权值;
训练模块,用于将所述用于模型训练的目标图像样本输入到所述ResNet-50网络中训练,输出结果为肺结核阳性的预测概率;
更新模块,用于根据所述预测概率更新所述ResNet-50网络的权值,直到更新的变化量均小于第一预设阈值时停止训练,得到待测试模型;
肺结核分类模型获取模块,用于采用所述用于模型测试的目标图像样本测试所述待测试模型,当所述待测试模型输出的测试结果的准确率大于预设准确率时,将所述待测试模型作为所述肺结核分类模型。
7.根据权利要求6所述的装置,其特征在于,所述训练样本集构建模块,具体用于:
获取胸部X光片的图像样本以及所述图像样本的标签,其中,所述图像样本为肺结核阳性时,标签为1,所述图像样本为肺结核阴性时,标签为0;
将所述图像样本处理为预设分辨率的图像样本,其中,对于分辨率高于预设分辨率的图像样本,采用下采样的方法将所述图像样本的分辨率下采样至所述预设分辨率,对于分辨率低于所述预设分辨率的图像样本,采用双线性插值法将所述图像样本的分辨率上采样至所述预设分辨率;
将所述预设分辨率的图像样本的每个像素点的值归一化到[-1,1]的区间内;
将归一化处理后的所述图像样本进行复制,扩展所述图像样本的维度,得到目标图像样本;
采用所述目标图像样本构建所述训练样本集,其中,所述训练样本集中所述用于模型训练的目标图像样本和所述用于模型测试的目标图像样本的比例为5:1。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述肺结核判定方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述肺结核判定方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910869773.6A CN110738235B (zh) | 2019-09-16 | 2019-09-16 | 肺结核判定方法、装置、计算机设备及存储介质 |
PCT/CN2019/115946 WO2021051497A1 (zh) | 2019-09-16 | 2019-11-06 | 肺结核判定方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910869773.6A CN110738235B (zh) | 2019-09-16 | 2019-09-16 | 肺结核判定方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110738235A true CN110738235A (zh) | 2020-01-31 |
CN110738235B CN110738235B (zh) | 2023-05-30 |
Family
ID=69267962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910869773.6A Active CN110738235B (zh) | 2019-09-16 | 2019-09-16 | 肺结核判定方法、装置、计算机设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110738235B (zh) |
WO (1) | WO2021051497A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111932564A (zh) * | 2020-09-24 | 2020-11-13 | 平安科技(深圳)有限公司 | 图片识别方法、装置、电子设备及计算机可读存储介质 |
CN113076993A (zh) * | 2021-03-31 | 2021-07-06 | 零氪智慧医疗科技(天津)有限公司 | 用于胸部x光片识别的信息处理方法、模型训练方法 |
CN113780444A (zh) * | 2021-09-16 | 2021-12-10 | 平安科技(深圳)有限公司 | 基于渐进式学习的舌苔图像分类模型的训练方法 |
CN114065826A (zh) * | 2020-07-28 | 2022-02-18 | 紫东信息科技(苏州)有限公司 | 图像分类模型的构建方法、分类方法、装置及电子设备 |
CN117095241A (zh) * | 2023-10-17 | 2023-11-21 | 四川大学 | 一种耐药性肺结核类别的筛查方法、系统、设备及介质 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113378483A (zh) * | 2021-07-12 | 2021-09-10 | 广东电网有限责任公司 | 一种电网数据的预警方法、装置、设备及存储介质 |
CN113657530B (zh) * | 2021-08-24 | 2024-04-05 | 凌云光技术股份有限公司 | 一种采用检测及分类模型对多目标大图像进行处理的方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108022647A (zh) * | 2017-11-30 | 2018-05-11 | 东北大学 | 基于ResNet-Inception模型的肺结节良恶性预测方法 |
CN109191436A (zh) * | 2018-08-15 | 2019-01-11 | 复旦大学 | 基于视觉显著性谱残差方法的低剂量ct肺结节检测算法 |
CN109345507A (zh) * | 2018-08-24 | 2019-02-15 | 河海大学 | 一种基于迁移学习的大坝图像裂缝检测方法 |
US20190065897A1 (en) * | 2017-08-28 | 2019-02-28 | Boe Technology Group Co., Ltd. | Medical image analysis method, medical image analysis system and storage medium |
CN109685765A (zh) * | 2018-11-21 | 2019-04-26 | 浙江大学山东工业技术研究院 | 一种基于卷积神经网络的x光片肺炎结果预测装置 |
CN110163260A (zh) * | 2019-04-26 | 2019-08-23 | 平安科技(深圳)有限公司 | 基于残差网络的图像识别方法、装置、设备及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10607119B2 (en) * | 2017-09-06 | 2020-03-31 | Kla-Tencor Corp. | Unified neural network for defect detection and classification |
CN109635842A (zh) * | 2018-11-14 | 2019-04-16 | 平安科技(深圳)有限公司 | 一种图像分类方法、装置及计算机可读存储介质 |
CN110111313B (zh) * | 2019-04-22 | 2022-12-30 | 腾讯科技(深圳)有限公司 | 基于深度学习的医学图像检测方法及相关设备 |
CN110188795B (zh) * | 2019-04-24 | 2023-05-09 | 华为技术有限公司 | 图像分类方法、数据处理方法和装置 |
-
2019
- 2019-09-16 CN CN201910869773.6A patent/CN110738235B/zh active Active
- 2019-11-06 WO PCT/CN2019/115946 patent/WO2021051497A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190065897A1 (en) * | 2017-08-28 | 2019-02-28 | Boe Technology Group Co., Ltd. | Medical image analysis method, medical image analysis system and storage medium |
CN108022647A (zh) * | 2017-11-30 | 2018-05-11 | 东北大学 | 基于ResNet-Inception模型的肺结节良恶性预测方法 |
CN109191436A (zh) * | 2018-08-15 | 2019-01-11 | 复旦大学 | 基于视觉显著性谱残差方法的低剂量ct肺结节检测算法 |
CN109345507A (zh) * | 2018-08-24 | 2019-02-15 | 河海大学 | 一种基于迁移学习的大坝图像裂缝检测方法 |
CN109685765A (zh) * | 2018-11-21 | 2019-04-26 | 浙江大学山东工业技术研究院 | 一种基于卷积神经网络的x光片肺炎结果预测装置 |
CN110163260A (zh) * | 2019-04-26 | 2019-08-23 | 平安科技(深圳)有限公司 | 基于残差网络的图像识别方法、装置、设备及存储介质 |
Non-Patent Citations (6)
Title |
---|
A. SAI BHARADWAJ REDDY ET AL: ""Transfer Learning with ResNet-50 for Malaria Cell-Image Classification"", 《INTERNATIONAL CONFERENCE ON COMMUNICATION AND SIGNAL PROCESSING》 * |
ADRIA ROMERO LOPEZ ET AL: ""Skin Lesion Classification From Dermoscopic Images Using Deep Learning Techniques"", 《2017 13TH IASTED INTERNATIONAL CONFERENCE ON BIOMEDICAL ENGINEERING》 * |
刘梦等: ""基于深度学习与迁移学习的中医舌象提取识别研究"", 《中医杂志》 * |
张国基等著: "《生物辨识系统与深度学习》", 31 December 2018, 北京工业大学出版社 * |
张建华等: ""基于改进VGG卷积神经网络的棉花病害识别模型"", 《中国农业大学学报》 * |
杨东旭等: ""基于改进DCNN结合迁移学习的图像分类方法"", 《新疆大学学报(自然科学版)》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114065826A (zh) * | 2020-07-28 | 2022-02-18 | 紫东信息科技(苏州)有限公司 | 图像分类模型的构建方法、分类方法、装置及电子设备 |
CN111932564A (zh) * | 2020-09-24 | 2020-11-13 | 平安科技(深圳)有限公司 | 图片识别方法、装置、电子设备及计算机可读存储介质 |
CN111932564B (zh) * | 2020-09-24 | 2021-03-02 | 平安科技(深圳)有限公司 | 图片识别方法、装置、电子设备及计算机可读存储介质 |
WO2021189910A1 (zh) * | 2020-09-24 | 2021-09-30 | 平安科技(深圳)有限公司 | 图片识别方法、装置、电子设备及计算机可读存储介质 |
CN113076993A (zh) * | 2021-03-31 | 2021-07-06 | 零氪智慧医疗科技(天津)有限公司 | 用于胸部x光片识别的信息处理方法、模型训练方法 |
CN113076993B (zh) * | 2021-03-31 | 2023-04-18 | 零氪智慧医疗科技(天津)有限公司 | 用于胸部x光片识别的信息处理方法、模型训练方法 |
CN113780444A (zh) * | 2021-09-16 | 2021-12-10 | 平安科技(深圳)有限公司 | 基于渐进式学习的舌苔图像分类模型的训练方法 |
CN113780444B (zh) * | 2021-09-16 | 2023-07-25 | 平安科技(深圳)有限公司 | 基于渐进式学习的舌苔图像分类模型的训练方法 |
CN117095241A (zh) * | 2023-10-17 | 2023-11-21 | 四川大学 | 一种耐药性肺结核类别的筛查方法、系统、设备及介质 |
CN117095241B (zh) * | 2023-10-17 | 2024-01-12 | 四川大学 | 一种耐药性肺结核类别的筛查方法、系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021051497A1 (zh) | 2021-03-25 |
CN110738235B (zh) | 2023-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110738235B (zh) | 肺结核判定方法、装置、计算机设备及存储介质 | |
TWI773189B (zh) | 基於人工智慧的物體檢測方法、裝置、設備及儲存媒體 | |
WO2022083536A1 (zh) | 一种神经网络构建方法以及装置 | |
CN111401516B (zh) | 一种神经网络通道参数的搜索方法及相关设备 | |
CN110866471A (zh) | 人脸图像质量评价方法及装置、计算机可读介质、通信终端 | |
CN109086811B (zh) | 多标签图像分类方法、装置及电子设备 | |
CN108197652B (zh) | 用于生成信息的方法和装置 | |
CN106855952B (zh) | 基于神经网络的计算方法及装置 | |
CN113095129B (zh) | 姿态估计模型训练方法、姿态估计方法、装置和电子设备 | |
CN112668588B (zh) | 车位信息生成方法、装置、设备和计算机可读介质 | |
CN112258512A (zh) | 点云分割方法、装置、设备和存储介质 | |
CN112580668B (zh) | 一种背景欺诈检测方法、装置及电子设备 | |
WO2022111387A1 (zh) | 一种数据处理方法及相关装置 | |
CN112329762A (zh) | 图像处理方法、模型训练方法、装置、计算机设备和介质 | |
CN111192678A (zh) | 病理显微图像诊断、模型训练方法、装置、设备及介质 | |
CN112420125A (zh) | 分子属性预测方法、装置、智能设备和终端 | |
CN112651467A (zh) | 卷积神经网络的训练方法和系统以及预测方法和系统 | |
CN111222558B (zh) | 图像处理方法及存储介质 | |
CN111062914B (zh) | 用于采集脸部图像的方法、装置、电子设备和计算机可读介质 | |
CN110210314B (zh) | 人脸检测方法、装置、计算机设备及存储介质 | |
TWI803243B (zh) | 圖像擴增方法、電腦設備及儲存介質 | |
CN116912556A (zh) | 图片分类方法、装置、电子设备及存储介质 | |
CN116503596A (zh) | 图片分割方法、装置、介质和电子设备 | |
CN110795993A (zh) | 一种构建模型的方法、装置、终端设备及介质 | |
CN113688928B (zh) | 图像匹配方法、装置、电子设备和计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40020230 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |