CN114511749A - 图像处理方法、装置、计算机设备及存储介质 - Google Patents
图像处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114511749A CN114511749A CN202210407685.6A CN202210407685A CN114511749A CN 114511749 A CN114511749 A CN 114511749A CN 202210407685 A CN202210407685 A CN 202210407685A CN 114511749 A CN114511749 A CN 114511749A
- Authority
- CN
- China
- Prior art keywords
- image
- fading
- preset
- attribute
- roughness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种图像处理方法、装置、计算机设备及存储介质,该方法通过对胃镜图像进行部位识别,得到胃镜图像的部位类型、部位类型指示的部位图像及对应的第一置信度,对部位图像进行褪色调区域定位,得到褪色调区域图像,对褪色调区域图像进行若干预设属性的特征提取,获取各个预设属性对应的特征量化值,每个特征量化值和第一置信度用于输入已训练的机器学习分类器进行分类,得到胃镜图像的分类结果,采用本实施例,提取了若干预设属性对应的特征量化值,使得特征量化值更加全面丰富,实现了对第一置信度和各个预设属性对应的特征量化值准确直观的图像分析和识别,大大提高了对胃镜图像处理效率。
Description
技术领域
本申请涉及计算机技术领域,具体涉及一种图像处理方法、装置、计算机设备及存储介质。
背景技术
早期发现胃癌能为内镜下进行微创治疗提供机会,如内镜下黏膜下剥离(ESD)等。然而,这需要胃镜检查的内镜医师具有强大的知识储备和丰富的经验,且不同的内镜医师识别结果可能不同,存在一定的主观性,因此,亟需提供一种高效准确的图像处理方法。
发明内容
本申请实施例提供一种图像处理方法、装置、计算机设备及存储介质,以解决人工检测存在的检测效率低的技术问题。
一方面,本申请提供一种图像处理方法,包括:
获取标准视野下采集的胃镜图像;
对所述胃镜图像进行部位识别,得到所述胃镜图像的部位类型、部位类型指示的部位图像及对应的第一置信度;
对所述部位图像进行褪色调区域定位,确定褪色调区域的预测框,按照所述预测框在所述部位图像进行裁剪,得到褪色调区域图像;
对所述褪色调区域图像进行若干预设属性的特征提取,获取各个所述预设属性对应的特征量化值,每个所述特征量化值和所述第一置信度用于输入已训练的机器学习分类器进行分类,得到所述胃镜图像的分类结果。
一方面,本申请提供一种图像处理装置,包括:
获取模块,用于获取标准视野下采集的胃镜图像;
识别模块,用于对所述胃镜图像进行部位识别,得到所述胃镜图像的部位类型、部位类型指示的部位图像及对应的第一置信度;
定位模块,用于对所述部位图像进行褪色调区域定位,确定褪色调区域的预测框,按照所述预测框在所述部位图像进行裁剪,得到褪色调区域图像;
分类模块,用于对所述褪色调区域图像进行若干预设属性的特征提取,获取各个所述预设属性对应的特征量化值,每个所述特征量化值和所述第一置信度用于输入已训练的机器学习分类器进行分类,得到所述胃镜图像的分类结果。
一方面,本申请提供一种计算机设备,计算机设备包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述图像处理方法中的步骤。
一方面,本申请提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述图像处理方法中的步骤。
本申请实施例提供了一种图像处理方法、装置、计算机设备及存储介质,该方法先获取标准视野下采集的胃镜图像,然后,对胃镜图像进行部位识别,得到胃镜图像的部位类型、部位类型指示的部位图像及对应的第一置信度,接着,对部位图像进行褪色调区域定位,确定褪色调区域的预测框,按照预测框在部位图像进行裁剪,得到褪色调区域图像,最后,对褪色调区域图像进行若干预设属性的特征提取,获取各个预设属性对应的特征量化值,每个特征量化值和第一置信度用于输入已训练的机器学习分类器进行分类,得到胃镜图像的分类结果,采用本实施例,提取了若干预设属性对应的特征量化值,使得特征量化值更加全面丰富,实现了对第一置信度和各个预设属性对应的特征量化值准确直观的图像分析和识别,相较于传统的只考虑单一的属性的特征信息及单一的统计比较方法,大大提高了对胃镜图像处理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为一个实施例中图像处理方法的流程图;
图2为一个实施例中胃镜图像视野识别模型的结构示意图;
图3为一个实施例中胃镜图像胃解剖学部位识别模型的结构示意图;
图4为一个实施例中yoloV3目标检测模型的结构示意图;
图5为一个实施例中胃镜图像黏膜粗糙度识别模型的结构示意图;
图6为一个实施例中黏膜平整度分类器的结构示意图;
图7为一个实施例中胃镜图像的示意图;
图8为一个实施例中褪色调区域边界清晰度识别模型的结构示意图;
图9为一个实施例中图像处理装置的结构框图;
图10为一个实施例中计算机设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,在一个实施例中,提供了一种图像处理方法,该图像处理方法可以应用于终端,也可以应用于服务器,本实施例以应用于服务器举例说明。该图像处理方法具体包括以下步骤:
步骤102,获取标准视野下采集的胃镜图像。
其中,胃镜图像是指通过电子内镜在标准视野下采集的包含有胃部信息的内镜图像,该内镜图像可以是白光图像、窄带成像图像(NBI图像)或者两者的组合。作为本实施例的优选,选取白光图像,由于白光图像包含更丰富的胃部褪色调信息,以提高胃镜图像的识别准确率。标准视野是指能够保证采集的内镜图像的质量满足条件(如,内镜图像的清晰度大于预设清晰度阈值)的视野,具体地,预先训练胃镜图像视野识别模型,例如,选择VGG19网络模型且标签为包括近距离、中等距离、远距离,内镜医师在进行内镜检查过程中,通过该训练后的胃镜图像视野识别模型实时提示每个视野进行中等距离观察并采集该视野下的内镜图像,从而得到胃镜图像。如图2所示,为胃镜图像视野识别模型的结构示意图。可以理解地,本实施例中通过获取标准视野下采集的胃镜图像,提高胃镜图像的质量,以便后续基于该胃镜图像提高图像的识别效率。
步骤104,对胃镜图像进行部位识别,得到胃镜图像的部位类型、部位类型指示的部位图像及对应的第一置信度。
其中,部位图像是指胃镜图像中的一个胃解剖学部位的图像,第一置信度是指胃
镜图像属于对应的部位类型的置信度。具体地,预先训练胃镜图像胃解剖学部位识别模型,
例如,选择Resnet152网络模型,其中的部位类型的标签包括:胃窦大弯、胃窦小弯、胃窦前
壁、胃窦后壁、正镜胃体下部大弯、正镜胃体下部小弯、正镜胃体下部前壁、正镜胃体下部后
壁、正镜胃体中上部大弯、正镜胃体中上部小弯、正镜胃体中上部前壁、正镜胃体中上部后
壁、倒镜胃角小弯、倒镜胃角前壁、倒镜胃角后壁、倒镜胃体中上部小弯、倒镜胃体中上部前
壁、倒镜胃体中上部后壁、倒镜胃底大弯、倒镜胃底小弯、倒镜胃底前壁、倒镜胃底后壁、无
效图像,共23个类别,其中的无效图像指食管图像、十二指肠图像及其它胃部图像,第一置
信度为。将胃镜图像作为训练后的胃镜图像胃解剖学部位识别模型的输入,从而输出
23个类型中的一个类别,即对应一个部位类型,也即一幅胃镜图像对应一个部位类型,且该
部位类型指示的部位图像的第一置信度为。如图3所示,为胃镜图像胃解剖学部位识别
模型的结构示意图。可以理解地,本实施例中通过对胃镜图像进行胃解剖学部位识别,并预
测部位图像的第一置信度,实现了对胃镜图像的胃解剖学部位的细分和量化,并且考量了
不同的胃解剖学部位包含的信息不同,对胃镜图像识别产生影响的因素,有利于提高后续
的胃镜图像识别的准确性。
步骤106,对部位图像进行褪色调区域定位,确定褪色调区域的预测框,按照预测框在部位图像进行裁剪,得到褪色调区域图像。
其中,褪色调区域是指部位图像中,颜色信息表现为和其周围区域存在差别的区域,本实施例中的褪色调区域,是指和周围的背景黏膜颜色的差值大于预设颜色阈值的区域,具体地,可以统计部位图像的颜色直方图,然后根据颜色直方图和预设颜色阈值,确定褪色调区域,也可以通过预先训练分类模型对部位图像进行分类,输出包含有对褪色调区域的标注信息,根据标注信息确定褪色调区域,接着,采用通过预先训练的褪色调区域检测模型,对褪色调区域进行目标检测,得到褪色调区域的预测框,且该预测框为矩形框,按照预测框在部位图像进行裁剪,得到褪色调区域图像,具体地,通过对yoloV3目标检测模型进行训练,得到该褪色调区域检测模型。如图4所示,为褪色调区域检测模型的结构示意图,41为褪色调区域图像。
值得说明的是,当部位图像中不存在褪色调区域时,则继续重复步骤102-步骤106,直至获取到褪色调区域图像,并将该不存在褪色调区域部位图像作为负样本,进行后续的模型训练,提高模型训练效率。
步骤108,对褪色调区域图像进行若干预设属性的特征提取,获取各个预设属性对应的特征量化值,每个特征量化值和第一置信度用于输入已训练的机器学习分类器进行分类,得到胃镜图像的分类结果。
其中,预设属性是指褪色调区域图像,也即全局区域的多个属性,例如,背景黏膜属性或者褪色调属性等,其中黏膜属性包括黏膜粗糙度属性、黏膜平整度属性等,褪色调属性褪色调面积占比属性、褪色调边界清晰度属性等,特征量化值是指各个预设属性的特征对应的量化值。具体地,采用特征提取方法对特征量化值进行特征提取,得到第三特征值,其中的特征提取方法可以是人工特征提取方法,也可以是深度学习的特征提取方法,具体可根据预设属性的特征进行选取,此处不作限制。本实施例中,通过对褪色调区域图像进行特征提取,获取对应的特征量化值,实现了对褪色调区域图像的若干预设属性的特征的量化计算,将步骤S104中的第一置信度以及各个预设属性对应的特征量化值输入已训练的机器学习分类器进行分类,得到胃镜图像的分类结果,其中的已训练的机器学习分类器可通过样本学习具备分类能力的机器学习算法模型实现,本实施例的机器学习分类器用于将不同的第一置信度和各个预设属性对应的特征量化值划分到正常结果、异常结果中的一类。由于本实施例中提取了若干预设属性对应的特征量化值,使得特征量化值更加全面丰富,实现了对第一置信度和各个预设属性对应的特征量化值准确直观的图像分析和识别,大大提高了对胃镜图像处理效率。
上述图像处理方法中,先获取标准视野下采集的胃镜图像,然后,对胃镜图像进行部位识别,得到胃镜图像的部位类型、部位类型指示的部位图像及对应的第一置信度,接着,对部位图像进行褪色调区域定位,确定褪色调区域的预测框,按照预测框在部位图像进行裁剪,得到褪色调区域图像,最后,对褪色调区域图像进行若干预设属性的特征提取,获取各个预设属性对应的特征量化值,每个特征量化值和第一置信度用于输入已训练的机器学习分类器进行分类,得到胃镜图像的分类结果,采用本实施例,提取了若干预设属性对应的特征量化值,使得特征量化值更加全面丰富,实现了对第一置信度和各个预设属性对应的特征量化值准确直观的图像分析和识别,相较于传统的只考虑单一的属性的特征信息及单一的统计比较方法,大大提高了对胃镜图像处理效率。
在一个实施例中,若干预设属性包括黏膜粗糙度属性、黏膜平整度属性、褪色调面积占比属性和褪色调边界清晰度属性;若预设属性为黏膜粗糙度属性,对褪色调区域图像进行若干预设属性的特征提取,获取各个预设属性对应的特征量化值的步骤,包括:采用基于图像像素的特征提取的方法确定褪色调区域图像的黏膜粗糙程度的第一量化值,并采用Inception-V3的分类模型对褪色调区域图像进行分类识别,得到粗糙度标签和对应的第二置信度,作为第二量化值,粗糙度标签包括粗糙标签和光滑标签;获取褪色调区域图像的黏膜粗糙程度的预设粗糙度校正阈值;根据预设粗糙度校正阈值、第一量化值和第二量化值确定黏膜粗糙度属性对应的特征量化值。
其中,黏膜粗糙度属性是用于反映褪色调区域图像中的背景黏膜的粗糙程度的属
性,如黏膜粗糙或黏膜光滑的情况,黏膜平整度属性是用于反映褪色调区域图像中的背景
黏膜的平整程度的属性,如黏膜凹陷、黏膜隆起或黏膜平坦的情况,褪色调面积占比属性是
用于反映褪色调区域图像中的褪色调面积比例大小的属性,褪色调边界清晰度属性是用于
反映褪色调区域图像中的褪色调边界清晰程度的属性,如边界清晰或边界不清晰的情况。
针对黏膜粗糙度属性的特征量化值的获取方式,其具体过程为:采用基于图像像素的特征
提取的方法确定褪色调区域图像的黏膜粗糙程度的第一量化值,采用Inception-V3的分类
模型对褪色调区域图像进行分类识别,得到粗糙度标签和对应的第二置信度,作为第二量
化值,其中,第一量化值和第二量化值均是黏膜粗糙度的量化值,也即黏膜粗糙度属性对应
的特征量化值,第一量化值和第二量化值得确定方式不同,第一量化值是通过图像像素的
特征提取计算方法确定的,即基于褪色调区域图像的像素信息提取计算方式,且第一量化
值越大,表征黏膜越粗糙,第二量化值是通过将褪色调区域图像作为训练后的胃镜图像黏
膜粗糙度识别模型的输入,根据模型的输出确定的,第二量化值包括粗糙度标签和对应的
第二置信度,具体地,通过对Inception-V3的分类模型进行训练,得到该胃镜图像黏膜粗糙
度识别模型,如图5所示,为胃镜图像黏膜粗糙度识别模型的结构示意图。当粗糙度标签为
光滑时,第二置信度越小,表明黏膜越粗糙,当粗糙度标签为粗糙时,第二置信度越大,表明
黏膜越粗糙。然后,获取褪色调区域图像的黏膜粗糙程度的预设粗糙度校正阈值,该预设粗
糙度校正阈值可以是一个粗糙度阈值如0.5,也可以是一个粗糙度阈值范围,例如,[0.5,
0.8],最后,根据预设粗糙度校正阈值,对第一量化值和第二量化值进行校正处理,根据校
正结果确定黏膜粗糙度属性对应的特征量化值,具体地,根据预设粗糙度校正阈值,可以确
定第一量化值和第二量化值表征黏膜粗糙度的准确性,例如,预设粗糙度校正阈值,[0.5,
0.8],当第一量化值小于预设粗糙度校正阈值下限值时,即,且第二量化值中
的粗糙度标签为光滑时,第二置信度大于0.8小于等于1.0时,表明第二量化值更
为准确,则此时将第二量化值作为黏膜粗糙度属性对应的特征量化值,即。
可以理解地,本实施例中,通过采用两种不同的方式确定黏膜粗糙度属性对应的特征量化
值,并对其结果进行校正,进一步提高了黏膜粗糙度属性对应的特征量化值的准确性。继续
以预设粗糙度校正阈值为[0.5,0.8]为例,当,且第二量化值中的粗糙度标签为
光滑,第二置信度小于0.8时,表明第一量化值更为准确,且粗糙度标签为光滑,黏
膜粗糙度属性对应的特征量化值;当,则表明第二量化值更为
准确,黏膜粗糙度属性对应的特征量化值;当,第二量化值中的粗
糙度标签为粗糙,第二置信度大于0.8且小于等于1.0时,表明第二量化值更为准
确,且粗糙度标签为粗糙,黏膜粗糙度属性对应的特征量化值;当
时,第二量化值中的粗糙度标签为粗糙,第二置信度小于0.8时,表明第一量化值
更为准确,且粗糙度标签为粗糙,。
在一个实施例中,采用基于图像像素的特征提取的方法确定褪色调区域图像的黏膜粗糙程度的第一量化值的步骤,包括:将褪色调区域图像转换为HSI颜色空间图像,对HSI颜色空间图像进行通道分解,得到S通道图像;计算S通道图像的像素平均值,基于像素平均值及S通道图像的宽度和高度,确定水平基准线粗糙度和竖直基准线粗糙度;根据水平基准线粗糙度和竖直基准线粗糙度确定第一量化值。
具体地,其中,HSI颜色空间图像是指将胃黏膜放大图像转换为HSI颜色空间的图像,具体地,可以将褪色调区域图像的三个通道(R,G,B)的像素进行归一化,计算归一化后的像素点的双圆锥底面极坐标角度,根据双圆锥底面极坐标角度及归一化的像素点,得到H通道、S通道及I通道的像素值,其归一化公式如下:
其中,R,G,B分别为褪色调区域图像的R、G、B三通道的像素值,R'、G'、B'为归一化后的R、G、B三通道的像素值。接着,通过如下公式计算归一化后的像素点的双圆锥底面极坐标角度:
H、S、I分别为H通道、S通道及I通道的像素值,进而得到HSI颜色空间图像,对HSI颜色空间图像进行分解,得到S通道图像,接着,采用如下公式计算S通道图像的像素平均值:
式中,表示S通道图像,表示S通道图像的像素平均值,W表示S通道图
像的宽度,G表示为S通道图像的高度,i、j分别表示S通道图像的横坐标和纵坐标。接
着通过如下公式计算水平基准线粗糙度和竖直基准线粗糙度:
式中,为平行于S通道图像的行像素点的一条基准线,也即水平基准线,,本实施例中,;为平行于S通道图像的列像素点的一条基准线,
也即垂直基准线,,本实施例中,;为水平基准线粗糙度,
为垂直基准线粗糙度;最后,根据水平基准线粗糙度、垂直基准线粗糙度,计算二者
的平均值即,计算得到第一量化值,即。第一量化值与黏
膜粗糙度呈正相关,即黏膜粗糙度属性对应的特征量化值越大,表明黏膜越粗糙,本实施例
中,通过基于图像像素点信息的特征提取方法实现了第一量化值的计算,简单快捷,实现了
对褪色调区域图像颜色信息的分析,提高了第一量化值的获取效率。
在一个实施例中,若预设属性为黏膜平整度属性,对褪色调区域图像进行若干预设属性的特征提取,获取各个预设属性对应的特征量化值的步骤,包括:将褪色调区域图像输入训练后的黏膜平整度分类器中进行识别,得到的平整度标签及对应的第三置信度;将平整度标签及对应的第三置信度确定为黏膜平整度属性对应的特征量化值。
其中,训练后的黏膜平整度分类器是一种用于判断褪色调区域图像的背景黏膜是否平整的机器学习模型,具体地,该训练后的黏膜平整度分类器可以是通过VGG16网络模型实现,如图6所示,为黏膜平整度分类器的结构示意图,更具体地,该VGG16网络模型总共有16层,13个卷积层(CONV)和3个全连接层,第一次经过64个卷积核的两次卷积后,采用一次池化(pooling),第二次经过两次128个卷积核卷积后,再采用池化,再重复两次三个512个卷积核卷积后,再池化,最后经过三次全连接(FC),确定背景黏膜平整度属性对应的平整度标签(如平坦、隆起或凹陷中的一种)及对应的第三置信度(如90%、3%或7%中的一种),得到黏膜平整度属性对应的特征量化值C pt 。本实施例中,通过对褪色调区域图像的背景黏膜平整度属性进行量化计算,实现了对褪色调区域图像的颜色特征的分析,使得黏膜平整度属性对应的特征量化值更加便于后续的分类处理。
在一个实施例中,若预设属性为褪色调面积占比属性,对褪色调区域图像进行若干预设属性的特征提取,获取各个预设属性对应的特征量化值的步骤,包括:计算褪色调区域图像的面积,得到第一面积;计算胃镜图像的面积,得到第二面积;将第一面积与第二面积的比值确定为褪色调面积占比属性对应的特征量化值。
其中,第一面积是指褪色调区域图像的面积,具体可以通过计算预测框的面积得
到,如图7所示,为胃镜图像的示意图,、分别表示胃镜图像的宽度和高度,71为预测
框,其面积为,也即第一面积为,根据胃镜图像的宽度和高度,计算第二面积,
也即第二面积为,第一面积与第二面积的比值即为,褪色调面积占比
属性对应的特征量化值即为。本实施例中,通过基于图像的形状的特征提取
方法实现了褪色调面积占比属性对应的特征量化值的计算,简单快捷,实现了对褪色调区
域图像中颜色信息比重的分析,提高了褪色调面积占比属性对应的特征量化值的获取效率
和准确性。
在一个实施例中,若预设属性为褪色调边界清晰度属性,对褪色调区域图像进行若干预设属性的特征提取,获取各个预设属性对应的特征量化值的步骤,包括:采用Resnet50的分类模型对褪色调区域图像进行分类识别,得到边界清晰度标签和对应的第三置信度,作为第三量化值,边界清晰度标签包括清晰标签和不清晰标签;采用Unet++的分割模型对褪色调区域图像进行分割,确定褪色调区域图像的边界清晰度的第四量化值;获取褪色调区域图像的边界清晰程度的预设清晰度校正阈值;根据预设清晰度校正阈值、第三量化值和第四量化值确定边界清晰度属性对应的特征量化值。
其中,第三量化值和第四量化值均是褪色调边界清晰度的量化值,也即边界清晰
度属性对应的特征量化值,第三量化值和第四量化值得确定方式不同,第三量化值是通过
将褪色调区域图像作为训练后的褪色调区域边界清晰度识别模型的输入,根据模型的输出
确定的,第三量化值包括边界清晰度标签和对应的第三置信度,当边界清晰度标签
为清晰时,第三置信度越大,表明褪色调边界越清晰。具体地,通过对Resnet50的分类模型
进行训练,得到该褪色调区域边界清晰度识别模型,如图8所示,为褪色调区域边界清晰度
识别模型的结构示意图,第四量化值是通过将褪色调区域图像作为Unet++的分割模型的输
入,根据模型的输出确定的,第四量化值即为Unet++的分割模型输出的边界清晰度
的概率值,该概率值越大,表明褪色调边界越清晰。然后,获取褪色调区域图像的边界清晰
程度的预设清晰度校正阈值,该预设清晰度校正阈值可以是一个清晰度阈值如0.7,最后,
根据预设清晰度校正阈值,对第三量化值和第四量化值进行校正处理,根据校正结果确定
边界清晰度属性对应的特征量化值,具体地,根据预设清晰度校正阈值,可以确定第三量化
值和第四量化值表征褪色调边界清晰度的准确性,例如,预设清晰度校正阈值,当且,边界清晰度属性对应的特征量化值,当或,边界清晰度属性对应的特征量化值,实现了对
边界清晰度属性对应的特征量化值的获取,本实施例中,通过两种不同的模型进行计算,根
据对应的两种结果进行校正处理后,进一步提高了边界清晰度属性对应的特征量化值的准
确性。
在一个实施例中,分类结果包括重度异常、中度异常和轻度异常,其中,重度异常表征胃黏膜存在异物的概率大于预设上限值,中度异常表征胃黏膜存在异物的概率大于等于预设下限值且小于等于预设上限值,轻度异常表征胃黏膜存在异物的概率小于预设下限值,且预设下限值小于预设上限值;已训练的机器学习分类器包括特征拟合子网络和分类子网络;该方法还包括:采用特征拟合子网络对各个特征量化值和第一置信度进行拟合处理,得到判定系数;基于判定系数,采用分类子网络进行分析,得到分类结果。
具体地,通过特征拟合子网络对各个特征量化值以及第一置信度进行拟合处理,
根据拟合结果确定各个特征量化值以及第一置信度对应的权重,继续以上述实施例中的5
个特征量化值C bw ,CC,C pt ,,BB为例,利用决策树、随机森林等确定C bw ,CC,C pt ,,BB对应
的权重分别,则判定系数为:,基于判定系数,采用
分类子网络对判定系数进行分析,得到分类结果,例如,可以预先设置不同分类结果与判定
的数值区间的映射关系,利用分段函数的分类子网络进行分类计算,确定分类结果。在一具
体实施方式中,预设上限值为0.8,预设下限值为0.6,分类结果如下:
本实施例中,通过对各个特征量化值以及第一置信度进行融合计算,使得褪色调区域图像的信息特征更加丰富,且量化更加精准,通过对各个特征量化值以及第一置信度进行拟合,使得判定系数更加准确反映褪色调区域图像的关键信息,相较于单一的特征信息及单一的统计比较分类方法,大大提高了分类结果的准确性。
如图9所示,在一个实施例中,提出了一种图像处理装置,包括:
获取模块902,用于获取标准视野下采集的胃镜图像;
识别模块904,用于对所述胃镜图像进行部位识别,得到所述胃镜图像的部位类型、部位类型指示的部位图像及对应的第一置信度;
定位模块906,用于对所述部位图像进行褪色调区域定位,确定褪色调区域的预测框,按照所述预测框在所述部位图像进行裁剪,得到褪色调区域图像;
分类模块908,用于对所述褪色调区域图像进行若干预设属性的特征提取,获取各个所述预设属性对应的特征量化值,每个所述特征量化值和所述第一置信度用于输入已训练的机器学习分类器进行分类,得到所述胃镜图像的分类结果。
在一个实施例中,分类模块包括:
确定单元,用于采用基于图像像素的特征提取的方法确定所述褪色调区域图像的黏膜粗糙程度的第一量化值,并采用Inception-V3的分类模型对所述褪色调区域图像进行分类识别,得到粗糙度标签和对应的第二置信度,作为第二量化值,所述粗糙度标签包括粗糙标签和光滑标签;
第一获取单元,用于获取所述褪色调区域图像的黏膜粗糙程度的预设粗糙度校正阈值;
第一校正单元,用于根据所述预设粗糙度校正阈值、所述第一量化值和所述第二量化值确定所述黏膜粗糙度属性对应的特征量化值。
在一个实施例中,确定单元包括:
转换子单元,用于将所述褪色调区域图像转换为HSI颜色空间图像,对HSI颜色空间图像进行通道分解,得到S通道图像;
计算子单元,用于计算所述S通道图像的像素平均值,基于所述像素平均值及所述S通道图像的宽度和高度,确定水平基准线粗糙度和竖直基准线粗糙度;
确定子单元,用于根据所述水平基准线粗糙度和所述竖直基准线粗糙度确定所述第一量化值。
在一个实施例中,分类模块包括:
第一识别单元,用于将所述褪色调区域图像输入训练后的黏膜平整度分类器中进行识别,得到的平整度标签及对应的第三置信度;
第二确定单元,用于将所述平整度标签及对应的第三置信度确定为所述黏膜平整度属性对应的特征量化值。
在一个实施例中,分类模块包括:
第一计算单元,用于计算所述褪色调区域图像的面积,得到第一面积;
第二计算单元,用于计算所述胃镜图像的面积,得到第二面积;
第三确定单元,用于将所述第一面积与所述第二面积的比值确定为所述褪色调面积占比属性对应的特征量化值。
在一个实施例中,分类模块包括:
第二识别单元,用于采用Resnet50的分类模型对所述褪色调区域图像进行分类识别,得到边界清晰度标签和对应的第三置信度,作为第三量化值,所述边界清晰度标签包括清晰标签和不清晰标签;
第三识别单元,用于采用Unet++的分割模型对所述褪色调区域图像进行分割,确定所述褪色调区域图像的边界清晰度的第四量化值;
第二获取单元,用于获取所述褪色调区域图像的边界清晰程度的预设清晰度校正阈值;
第二校正单元,用于根据所述预设清晰度校正阈值、所述第三量化值和所述第四量化值确定所述边界清晰度属性对应的特征量化值。
在一个实施例中,图像处理装置还包括:
拟合模块,用于采用所述特征拟合子网络对各个所述特征量化值和所述第一置信度进行拟合处理,得到判定系数;
分析模块,用于基于所述判定系数,采用所述分类子网络进行分析,得到所述分类结果。
图10示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是服务器,所述服务器包括但不限于高性能计算机和高性能计算机集群。如图10所示,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现图像处理方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行图像处理方法。本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的图像处理方法可以实现为一种计算机程序的形式,计算机程序可在如图10所示的计算机设备上运行。计算机设备的存储器中可存储组成图像处理装置的各个程序模板。比如,获取模块902,识别模块904,定位模块906,分类模块908。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述图像处理方法中的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述图像处理方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
获取标准视野下采集的胃镜图像;
对所述胃镜图像进行部位识别,得到所述胃镜图像的部位类型、部位类型指示的部位图像及对应的第一置信度;
对所述部位图像进行褪色调区域定位,确定褪色调区域的预测框,按照所述预测框在所述部位图像进行裁剪,得到褪色调区域图像;
对所述褪色调区域图像进行若干预设属性的特征提取,获取各个所述预设属性对应的特征量化值,每个所述特征量化值和所述第一置信度用于输入已训练的机器学习分类器进行分类,得到所述胃镜图像的分类结果。
2.如权利要求1所述的图像处理方法,其特征在于,所述若干预设属性包括黏膜粗糙度属性、黏膜平整度属性、褪色调面积占比属性和褪色调边界清晰度属性;
若所述预设属性为所述黏膜粗糙度属性,所述对所述褪色调区域图像进行若干预设属性的特征提取,获取各个所述预设属性对应的特征量化值的步骤,包括:
采用基于图像像素的特征提取的方法确定所述褪色调区域图像的黏膜粗糙程度的第一量化值,并采用Inception-V3的分类模型对所述褪色调区域图像进行分类识别,得到粗糙度标签和对应的第二置信度,作为第二量化值,所述粗糙度标签包括粗糙标签和光滑标签;
获取所述褪色调区域图像的黏膜粗糙程度的预设粗糙度校正阈值;
根据所述预设粗糙度校正阈值、所述第一量化值和所述第二量化值确定所述黏膜粗糙度属性对应的特征量化值。
3.如权利要求2所述的图像处理方法,其特征在于,所述采用基于图像像素的特征提取的方法确定所述褪色调区域图像的黏膜粗糙程度的第一量化值的步骤,包括:
将所述褪色调区域图像转换为HSI颜色空间图像,对HSI颜色空间图像进行通道分解,得到S通道图像;
计算所述S通道图像的像素平均值,基于所述像素平均值及所述S通道图像的宽度和高度,确定水平基准线粗糙度和竖直基准线粗糙度;
根据所述水平基准线粗糙度和所述竖直基准线粗糙度确定所述第一量化值。
4.如权利要求2所述的图像处理方法,其特征在于,若所述预设属性为所述黏膜平整度属性,所述对所述褪色调区域图像进行若干预设属性的特征提取,获取各个所述预设属性对应的特征量化值的步骤,包括:
将所述褪色调区域图像输入训练后的黏膜平整度分类器中进行识别,得到的平整度标签及对应的第三置信度;
将所述平整度标签及对应的第三置信度确定为所述黏膜平整度属性对应的特征量化值。
5.如权利要求2所述的图像处理方法,其特征在于,若所述预设属性为所述褪色调面积占比属性,所述对所述褪色调区域图像进行若干预设属性的特征提取,获取各个所述预设属性对应的特征量化值的步骤,包括:
计算所述褪色调区域图像的面积,得到第一面积;
计算所述胃镜图像的面积,得到第二面积;
将所述第一面积与所述第二面积的比值确定为所述褪色调面积占比属性对应的特征量化值。
6.如权利要求2所述的图像处理方法,其特征在于,若所述预设属性为所述褪色调边界清晰度属性,所述对所述褪色调区域图像进行若干预设属性的特征提取,获取各个所述预设属性对应的特征量化值的步骤,包括:
采用Resnet50的分类模型对所述褪色调区域图像进行分类识别,得到边界清晰度标签和对应的第三置信度,作为第三量化值,所述边界清晰度标签包括清晰标签和不清晰标签;
采用Unet++的分割模型对所述褪色调区域图像进行分割,确定所述褪色调区域图像的边界清晰度的第四量化值;
获取所述褪色调区域图像的边界清晰程度的预设清晰度校正阈值;
根据所述预设清晰度校正阈值、所述第三量化值和所述第四量化值确定所述边界清晰度属性对应的特征量化值。
7.如权利要求1所述的图像处理方法,其特征在于,所述分类结果包括重度异常、中度异常和轻度异常,其中,重度异常表征胃黏膜存在异物的概率大于预设上限值,中度异常表征胃黏膜存在异物的概率大于等于预设下限值且小于等于预设上限值,轻度异常表征胃黏膜存在异物的概率小于预设下限值,且预设下限值小于预设上限值;所述已训练的机器学习分类器包括特征拟合子网络和分类子网络;所述方法还包括:
采用所述特征拟合子网络对各个所述特征量化值和所述第一置信度进行拟合处理,得到判定系数;
基于所述判定系数,采用所述分类子网络进行分析,得到所述分类结果。
8.一种图像处理装置,其特征在于,包括:
获取模块,用于获取标准视野下采集的胃镜图像;
识别模块,用于对所述胃镜图像进行部位识别,得到所述胃镜图像的部位类型、部位类型指示的部位图像及对应的第一置信度;
定位模块,用于对所述部位图像进行褪色调区域定位,确定褪色调区域的预测框,按照所述预测框在所述部位图像进行裁剪,得到褪色调区域图像;
分类模块,用于对所述褪色调区域图像进行若干预设属性的特征提取,获取各个所述预设属性对应的特征量化值,每个所述特征量化值和所述第一置信度用于输入已训练的机器学习分类器进行分类,得到所述胃镜图像的分类结果。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述图像处理方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210407685.6A CN114511749B (zh) | 2022-04-19 | 2022-04-19 | 图像处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210407685.6A CN114511749B (zh) | 2022-04-19 | 2022-04-19 | 图像处理方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114511749A true CN114511749A (zh) | 2022-05-17 |
CN114511749B CN114511749B (zh) | 2022-06-28 |
Family
ID=81554901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210407685.6A Active CN114511749B (zh) | 2022-04-19 | 2022-04-19 | 图像处理方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114511749B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115375674A (zh) * | 2022-10-21 | 2022-11-22 | 武汉楚精灵医疗科技有限公司 | 胃白光瘤变图像识别方法、装置及存储介质 |
CN115496748A (zh) * | 2022-11-08 | 2022-12-20 | 武汉楚精灵医疗科技有限公司 | 小肠图像的肠段识别方法、装置及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120008860A1 (en) * | 2010-07-07 | 2012-01-12 | Olympus Corporation | Image processing apparatus, image processing method, and computer-readable recording medium |
CN109919212A (zh) * | 2019-02-26 | 2019-06-21 | 中山大学肿瘤防治中心 | 消化道内镜影像中肿瘤的多尺度检测方法及装置 |
CN110866908A (zh) * | 2019-11-12 | 2020-03-06 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、服务器及存储介质 |
US20210052135A1 (en) * | 2018-10-30 | 2021-02-25 | Tencent Technology (Shenzhen) Company Limited | Endoscopic image processing method and system, and computer device |
CN113870209A (zh) * | 2021-09-22 | 2021-12-31 | 武汉大学 | 基于深度学习的内镜影像识别系统及设备 |
CN114022880A (zh) * | 2022-01-07 | 2022-02-08 | 武汉大学 | 食管粘膜平坦程度量化方法、装置、终端及存储介质 |
-
2022
- 2022-04-19 CN CN202210407685.6A patent/CN114511749B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120008860A1 (en) * | 2010-07-07 | 2012-01-12 | Olympus Corporation | Image processing apparatus, image processing method, and computer-readable recording medium |
US20210052135A1 (en) * | 2018-10-30 | 2021-02-25 | Tencent Technology (Shenzhen) Company Limited | Endoscopic image processing method and system, and computer device |
CN109919212A (zh) * | 2019-02-26 | 2019-06-21 | 中山大学肿瘤防治中心 | 消化道内镜影像中肿瘤的多尺度检测方法及装置 |
CN110866908A (zh) * | 2019-11-12 | 2020-03-06 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、服务器及存储介质 |
CN113870209A (zh) * | 2021-09-22 | 2021-12-31 | 武汉大学 | 基于深度学习的内镜影像识别系统及设备 |
CN114022880A (zh) * | 2022-01-07 | 2022-02-08 | 武汉大学 | 食管粘膜平坦程度量化方法、装置、终端及存储介质 |
Non-Patent Citations (3)
Title |
---|
LIANLIAN WU ET AL.: "Real-time artificial intelligence for detecting focal lesions and diagnosing neoplasms of the stomach by white-light endoscopy", 《GASTROINTESTINAL ENDOSCOPY》 * |
XINQI HE ET AL.: "Real-time use of artificial intelligence for diagnosing early gastric cancer by magnifying image-enhanced endoscopy:a multicenter diagnostic study", 《GASROINTESTINAL ENDOSCOPY》 * |
刘勇: "基于深度特征与传统特征融合的胶囊内镜图片识别研究", 《中国优秀博硕士学位论文全文数据库(硕士) 医药卫生科技辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115375674A (zh) * | 2022-10-21 | 2022-11-22 | 武汉楚精灵医疗科技有限公司 | 胃白光瘤变图像识别方法、装置及存储介质 |
CN115496748A (zh) * | 2022-11-08 | 2022-12-20 | 武汉楚精灵医疗科技有限公司 | 小肠图像的肠段识别方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114511749B (zh) | 2022-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107977671B (zh) | 一种基于多任务卷积神经网络的舌象分类方法 | |
CN114511749B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
WO2021139258A1 (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
CN111985536B (zh) | 一种基于弱监督学习的胃镜病理图像分类方法 | |
JP4529172B2 (ja) | デジタル画像における赤目領域の検出方法及び装置 | |
CN111680746B (zh) | 车损检测模型训练、车损检测方法、装置、设备及介质 | |
CN111738064B (zh) | 一种雾霾图像的雾浓度识别方法 | |
CN109635871B (zh) | 一种基于多特征融合的胶囊内窥镜图像分类方法 | |
CN111967465A (zh) | 肿瘤细胞含量评估方法、系统、计算机设备及存储介质 | |
CN114187277B (zh) | 基于深度学习的甲状腺细胞学多种类型细胞的检测方法 | |
CN113962976B (zh) | 用于病理玻片数字图像的质量评估方法 | |
CN112102247B (zh) | 基于机器学习的病理切片质量评价方法及相关设备 | |
CN110021019B (zh) | 一种aga临床图像的ai辅助毛发的粗细分布分析方法 | |
WO2020066257A1 (ja) | 分類装置、分類方法、プログラム、ならびに、情報記録媒体 | |
CN110880177A (zh) | 一种图像识别方法及装置 | |
CN114841947A (zh) | 肺腺癌h&e染色病理图像肿瘤区域多尺度特征提取与预后分析方法、装置 | |
CN115661649B (zh) | 一种基于bp神经网络的船载微波雷达图像溢油探测方法及系统 | |
CN111062953A (zh) | 一种超声图像中甲状旁腺增生的识别方法 | |
CN114972272A (zh) | 一种基于Grad-CAM的新冠肺炎病灶分割方法 | |
CN115375674B (zh) | 胃白光瘤变图像识别方法、装置及存储介质 | |
CN113139931B (zh) | 甲状腺切片图像分类模型训练方法、装置 | |
CN115797246A (zh) | 病理图像质量评估、调节方法和系统、电子设备、介质 | |
CN112927215A (zh) | 一种消化道活检病理切片自动分析方法 | |
CN115294191B (zh) | 基于电子内镜的标志物尺寸测量方法、装置、设备及介质 | |
CN114359279B (zh) | 图像处理方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |