CN110110750A - 一种原始图片的分类方法及装置 - Google Patents
一种原始图片的分类方法及装置 Download PDFInfo
- Publication number
- CN110110750A CN110110750A CN201910252719.7A CN201910252719A CN110110750A CN 110110750 A CN110110750 A CN 110110750A CN 201910252719 A CN201910252719 A CN 201910252719A CN 110110750 A CN110110750 A CN 110110750A
- Authority
- CN
- China
- Prior art keywords
- network model
- picture
- original image
- target
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
Abstract
本发明实施例提供一种原始图片的分类方法及装置，所述方法包括：输入原始图片至初筛网络模型；输入a11至细筛网络模型；输入b11和a12至区域目标识别网络模型；所述b11为所述细筛网络模型输出的包含有点状特征目标图片的输出结果；所述a12为部分第一目标图片和另一部分第二目标图片中的点状特征图片；输入b12和所述另一部分第二目标图片中的面状特征图片至面状目标识别网络模型；所述b12为所述细筛网络模型输出的包含有面状特征目标图片的输出结果；分别对c1和所述点状特征图片、d1和所述面状特征图片进行基于规则的判别，以获取所述原始图片的分类结果。所述装置执行上述方法。本发明实施例提供的方法及装置，能够提高原始图片分类的效率和准确度。
Description
技术领域
本发明实施例涉及图片分类处理技术领域，尤其涉及一种原始图片的分类方法及装置。
背景技术
胶囊内镜具有无痛、无伤、拍摄图像信息量大等优点，具备广泛的应用价值。
但是，识别通过胶囊内镜拍摄的原始图片、并对原始图片进行分类，例如：可以是干扰图片等，由于原始图片较多、人工阅片效率低下，且有些图片极为相似，容易导致分类错误。
因此，如何避免上述缺陷，提高原始图片分类的效率和准确度，成为亟须解决的问题。
发明内容
针对现有技术存在的问题，本发明实施例提供一种原始图片的分类方法及装置。
本发明实施例提供一种原始图片的分类方法，包括：
输入原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；
输入a11至细筛网络模型；所述a11为所述初筛网络模型输出的包含有部分第二目标图片的输出结果；所述部分第二目标图片是根据预设异常特征图片标签识别出的；所述第二目标图片的拍摄物外表面包含异常特征，所述异常特征包括凸起特征和/或指定颜色特征；
输入b11和a12至区域目标识别网络模型；所述b11为所述细筛网络模型输出的包含有点状特征目标图片的输出结果；所述a12为部分第一目标图片和另一部分第二目标图片中的点状特征图片；所述部分第一目标图片为与点状特征区分度低于预设指标参数的第一目标图片；所述第一目标图片的拍摄物外表面不包含所述异常特征；
输入b12和所述另一部分第二目标图片中的面状特征图片至面状目标识别网络模型；所述b12为所述细筛网络模型输出的包含有面状特征目标图片的输出结果；
分别对c1和所述点状特征图片、d1和所述面状特征图片进行基于规则的判别，以获取所述原始图片的分类结果；所述c1为所述区域目标识别网络模型输出的输出结果；所述d1为所述面状目标识别网络模型输出的输出结果。
本发明实施例提供一种原始图片的分类装置，包括：
第一输入单元，用于输入原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；
第二输入单元，用于输入a11至细筛网络模型；所述a11为所述初筛网络模型输出的包含有部分第二目标图片的输出结果；所述部分第二目标图片是根据预设异常特征图片标签识别出的；所述第二目标图片的拍摄物外表面包含异常特征，所述异常特征包括凸起特征和/或指定颜色特征；
第三输入单元，用于输入b11和a12至区域目标识别网络模型；所述b11为所述细筛网络模型输出的包含有点状特征目标图片的输出结果；所述a12为部分第一目标图片和另一部分第二目标图片中的点状特征图片；所述部分第一目标图片为与点状特征区分度低于预设指标参数的第一目标图片；所述第一目标图片的拍摄物外表面不包含所述异常特征；
第四输入单元，用于输入b12和所述另一部分第二目标图片中的面状特征图片至面状目标识别网络模型；所述b12为所述细筛网络模型输出的包含有面状特征目标图片的输出结果；
分类单元，用于分别对c1和所述点状特征图片、d1和所述面状特征图片进行基于规则的判别，以获取所述原始图片的分类结果；所述c1为所述区域目标识别网络模型输出的输出结果；所述d1为所述面状目标识别网络模型输出的输出结果。
本发明实施例提供一种电子设备，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如下方法：
输入原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；
输入a11至细筛网络模型；所述a11为所述初筛网络模型输出的包含有部分第二目标图片的输出结果；所述部分第二目标图片是根据预设异常特征图片标签识别出的；所述第二目标图片的拍摄物外表面包含异常特征，所述异常特征包括凸起特征和/或指定颜色特征；
输入b11和a12至区域目标识别网络模型；所述b11为所述细筛网络模型输出的包含有点状特征目标图片的输出结果；所述a12为部分第一目标图片和另一部分第二目标图片中的点状特征图片；所述部分第一目标图片为与点状特征区分度低于预设指标参数的第一目标图片；所述第一目标图片的拍摄物外表面不包含所述异常特征；
输入b12和所述另一部分第二目标图片中的面状特征图片至面状目标识别网络模型；所述b12为所述细筛网络模型输出的包含有面状特征目标图片的输出结果；
分别对c1和所述点状特征图片、d1和所述面状特征图片进行基于规则的判别，以获取所述原始图片的分类结果；所述c1为所述区域目标识别网络模型输出的输出结果；所述d1为所述面状目标识别网络模型输出的输出结果。
本发明实施例提供一种非暂态计算机可读存储介质，包括：
所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如下方法：
输入原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；
输入a11至细筛网络模型；所述a11为所述初筛网络模型输出的包含有部分第二目标图片的输出结果；所述部分第二目标图片是根据预设异常特征图片标签识别出的；所述第二目标图片的拍摄物外表面包含异常特征，所述异常特征包括凸起特征和/或指定颜色特征；
输入b11和a12至区域目标识别网络模型；所述b11为所述细筛网络模型输出的包含有点状特征目标图片的输出结果；所述a12为部分第一目标图片和另一部分第二目标图片中的点状特征图片；所述部分第一目标图片为与点状特征区分度低于预设指标参数的第一目标图片；所述第一目标图片的拍摄物外表面不包含所述异常特征；
输入b12和所述另一部分第二目标图片中的面状特征图片至面状目标识别网络模型；所述b12为所述细筛网络模型输出的包含有面状特征目标图片的输出结果；
分别对c1和所述点状特征图片、d1和所述面状特征图片进行基于规则的判别，以获取所述原始图片的分类结果；所述c1为所述区域目标识别网络模型输出的输出结果；所述d1为所述面状目标识别网络模型输出的输出结果。
本发明实施例提供的原始图片的分类方法及装置，通过将初筛网络模型、细筛网络模型、区域目标识别网络模型和面状目标识别网络模型进行级联，并对原始图片进行识别、分类，能够提高原始图片分类的效率和准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明原始图片的分类方法实施例流程图；
图2为本发明原始图片的分类方法另一实施例流程图；
图3为本发明原始图片的分类装置实施例结构示意图；
图4为本发明实施例提供的电子设备实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明原始图片的分类方法实施例流程图，如图1所示，本发明实施例提供的一种原始图片的分类方法，包括以下步骤：
S101：输入原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集。
具体的，装置输入原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集。对胶囊内镜的工作过程作如下说明：
·胶囊内镜从口腔进入消化道，再从肛门自然排出体外。
·胶囊内镜的电池续航力有限，其有效工作区间为口腔、食道、胃、十二指肠、小肠和大肠一部分。
·胶囊内镜的每次活动都产生域内检查图片和域外检查图片。
·域内检查图片是对消化道某一段所进行的拍摄结果。
·域外检查图片是除了域内检查图片以外，胶囊内镜顺便拍到的图片。
·全部图片均可自动识别，无需任何人工介入(包括图像预处理)。
·识别图像后，将胶囊内镜拍摄的图片分为六个大类(125个小类)，自动保存于125个图片文件夹中，其中，六个大类可以为：
第一大类：一类域外分类标签(10个类别)。
第二大类：二类域外分类标签(13个类别)。
第三大类：基于局部结构特征的第一目标图片分类标签(14个类别)。
第四大类：洞状结构第一目标图片分类标签(8个类别)。
第五大类：基于全局结构特征的第一目标图片分类标签(24个类别)。
第六大类：第二目标图片分类标签(56个类别)。
·能够自动识别口腔、食道、胃、十二指肠、小肠和大肠等消化道的不同部位。
每粒胶囊内镜每次可以拍摄的原始图片的数量可以为2000～3000张，即胶囊内镜获取到的图片集中的图片数量。
可以从医院信息系统中导出、未经任何处理的胶囊内镜拍摄的原始图片(JPG格式)。
图2为本发明原始图片的分类方法另一实施例流程图，如图2所示，初筛网络模型可以为卷积神经网络inceptionV3，由于，粗筛网络模型输入的图片是整张图片，因此，对一些容易混淆的图片的识别精细度不够。尽管可以通过增加模拟数据(例如模拟图片)的手段来提高初筛网络模型的识别能力，但受限于生成式对抗网络(Generative AdversarialNetworks，简称“GAN”)生成模拟数据的质量，这种识别能力的提高是及其有限的。
S102：输入a11至细筛网络模型；所述a11为所述初筛网络模型输出的包含有部分第二目标图片的输出结果；所述部分第二目标图片是根据预设异常特征图片标签识别出的；所述第二目标图片的拍摄物外表面包含异常特征，所述异常特征包括凸起特征和/或指定颜色特征。
具体的，装置输入a11至细筛网络模型；所述a11为所述初筛网络模型输出的包含有部分第二目标图片的输出结果；所述部分第二目标图片是根据预设异常特征图片标签识别出的；所述第二目标图片的拍摄物外表面包含异常特征，所述异常特征包括凸起特征和/或指定颜色特征。凸起特征可以包括肿胀、颗粒状物凸起。指定颜色特征可以包括红色、白色，不作具体限定。异常特征可以作为某些疾病诊断过程中的中间参考特征，仅仅依赖该异常特征还不足以诊断出疾病。需要说明的是：初筛网络模型的输出结果可以包括a11、a12和a13，其中，a11获取的过程可以包括将原始图片与预设异常特征图片标签进行比对，如果原始图片和预设异常特征图片标签的相似程度较高(可以是高于预设相似度阈值)，则可以直接确定该原始图片为部分第二目标图片，例如预设异常特征图片标签为覆盖物伴随的异常特征图片集，如果原始图片也是覆盖物伴随的异常特征图片集中的图片，则该原始图片为部分第二目标图片；如果原始图片不是覆盖物伴随的异常特征图片集中的图片、也不是其他异常特征图片集中的图片，则该原始图片不是上述部分第二目标图片。其中，a12为部分第一目标图片和另一部分第二目标图片中的点状特征图片；所述部分第一目标图片为与点状特征区分度低于预设指标参数的第一目标图片，所述第一目标图片的拍摄物外表面不包含所述异常特征，异常特征可以包括点状特征和面状特征，即部分第一目标图片可以理解为与点状特征容易混淆的第一目标图片；点状特征可以理解为异常特征所在的区域较小。本发明实施例对衡量点状特征区分度的参变量不作具体限定，预设指标参数可以根据实际情况自主设置。a13为干扰图片，例如拍摄异常图片(过度曝光等)，医疗贡献价值较低的图片(拍摄部位与目标部位无关)等。
细筛网络模型可以为卷积神经网络Resnet，由于，细筛网络模型输入的是a11，即包含有部分第二目标图片的输出结果为整张图片，因此，可以进行进一步识别。
细筛网络模型输出的是b11和b12，其中，b11为包含有点状特征目标图片的输出结果，例如息肉、溃疡等；所述b12为包含有面状特征目标图片的输出结果，面状特征可以理解为异常特征所在的区域较大，例如弥漫性发红等。
S103：输入b11和a12至区域目标识别网络模型；所述b11为所述细筛网络模型输出的包含有点状特征目标图片的输出结果；所述a12为部分第一目标图片和另一部分第二目标图片中的点状特征图片；所述部分第一目标图片为与点状特征区分度低于预设指标参数的第一目标图片；所述第一目标图片的拍摄物外表面不包含所述异常特征。
具体的，装置输入b11和a12至区域目标识别网络模型；所述b11为所述细筛网络模型输出的包含有点状特征目标图片的输出结果；所述a12为部分第一目标图片和另一部分第二目标图片中的点状特征图片；所述部分第一目标图片为与点状特征区分度低于预设指标参数的第一目标图片；所述第一目标图片的拍摄物外表面不包含所述异常特征。所述区域目标识别网络模型可以为Faster RCNN。由于，区域目标识别网络模型输入的是b11和a12，即包含有点状特征目标的区域，因此，可以有针对性地对点状特征目标的区域进行进一步识别，以增加对图片识别的准确度。该Faster RCNN包括ROI Pooling。该层收集输入的feature maps和proposals，综合这些信息后提取proposal feature maps，送入后续全连接层判定目标类别。利用proposal feature maps计算proposal的类别，通过bounding boxregression获得检测框最终的精确位置。ROI pooling层有2个输入：原始的feature maps和RPN输出的proposal。其中，feature maps通过将待识别的图片输入conv层、relu层、pooling层得到，其中conv层、relu层、pooling层的数量不作具体限定。RPN输出的proposal是通过将feature maps输入reshape和soft max得到。区域目标识别网络模型的输出结果为c1，可以理解为对点状特征进一步识别的输出结果。
区域目标识别网络模型的识别对象是图像内的某个局部区域，通常包含100～900个像素点的圆形区域内，具有共同特征的对象，更适合在区域目标识别网络中识别。区域目标的面积小，结构相对简单，特征更容易被算法抽取到。特别是对那些仅有50个以下像素的超级小目标而言，区域目标识别网络更加有效。
S104：输入b12和所述另一部分第二目标图片中的面状特征图片至面状目标识别网络模型；所述b12为所述细筛网络模型输出的包含有面状特征目标图片的输出结果。
具体的，装置输入b12和所述另一部分第二目标图片中的面状特征图片至面状目标识别网络模型；所述b12为所述细筛网络模型输出的包含有面状特征目标图片的输出结果。所述面状目标识别网络模型可以为卷积神经网络Resnet。该面状目标识别网络模型的输入为b12和初筛网络模型输出的另一部分第二目标图片中的面状特征图片、输出结果为d1，可以理解为对面状特征进一步识别的输出结果。
面状目标网络模型识别的对象，是指具有较大面积第二目标图片的识别。在细筛网络模型中，不能有效地兼顾区域目标和大型面状目标的识别，为了保证识别准确度，需要设置一个专用的，用于识别大型面状目标的网络模型。
S105：分别对c1和所述点状特征图片、d1和所述面状特征图片进行基于规则的判别，以获取所述原始图片的分类结果；所述c1为所述区域目标识别网络模型输出的输出结果；所述d1为所述面状目标识别网络模型输出的输出结果。
具体的，装置分别对c1和所述点状特征图片、d1和所述面状特征图片进行基于规则的判别，以获取所述原始图片的分类结果；所述c1为所述区域目标识别网络模型输出的输出结果；所述d1为所述面状目标识别网络模型输出的输出结果。以c1和点状特征图片为例，基于规则的判别可以是：如果c1和点状特征图片识别结果一致，则按照该识别结果对原始图片进行分类；如果c1和点状特征图片识别结果不一致，则按照c1对应的识别结果对原始图片进行分类；d1和面状特征图片的说明，不再赘述。
本发明实施例提供的原始图片的分类方法，通过将初筛网络模型、细筛网络模型、区域目标识别网络模型和面状目标识别网络模型进行级联，并对原始图片进行识别、分类，能够提高原始图片分类的效率和准确度。
在上述实施例的基础上，所述方法还包括：
生成用于模拟所述原始图片的模拟图片。
具体的，装置生成用于模拟所述原始图片的模拟图片。进一步地，所述模拟图片可以是基于GAN生成的，不作具体限定。如图2所示，模拟图片可以作为增补的训练数据，用于训练所述初筛网络模型、所述细筛网络模型和所述目标识别网络模型。
将所述模拟图片作为所述初筛网络模型、所述细筛网络模型和所述目标识别网络模型的训练数据，以优化所述初筛网络模型、所述细筛网络模型和所述目标识别网络模型。
具体的，装置将所述模拟图片作为所述初筛网络模型、所述细筛网络模型和所述目标识别网络模型的训练数据，以优化所述初筛网络模型、所述细筛网络模型和所述目标识别网络模型。上述各模型的训练方法为本领域常用方法，不作论述。
本发明实施例提供的原始图片的分类方法，通过增加模拟数据训练各模型，能够提高各模型的识别能力，进一步能够提高原始图片分类的效率和准确度。
在上述实施例的基础上，所述模拟图片是基于GAN生成的。
具体的，装置中的所述模拟图片是基于GAN生成的。可参照上述实施例，不再赘述。
本发明实施例提供的原始图片的分类方法，通过采用GAN生成模拟数据，能够提高各模型的识别能力，进一步能够提高原始图片分类的效率和准确度。
在上述实施例的基础上，所述初筛网络模型为卷积神经网络inceptionV3。
具体的，装置中的所述初筛网络模型为卷积神经网络inceptionV3。可参照上述实施例，不再赘述。
本发明实施例提供的原始图片的分类方法，进一步能够提高原始图片分类的效率和准确度。
在上述实施例的基础上，所述细筛网络模型和所述面状目标识别网络模型均为卷积神经网络Resnet。
具体的，装置中的所述细筛网络模型和所述面状目标识别网络模型均为卷积神经网络Resnet。可参照上述实施例，不再赘述。
本发明实施例提供的原始图片的分类方法，进一步能够提高原始图片分类的效率和准确度。
在上述实施例的基础上，所述区域目标识别网络模型为Faster RCNN。
具体的，装置中的所述区域目标识别网络模型为Faster RCNN。可参照上述实施例，不再赘述。
本发明实施例提供的原始图片的分类方法，进一步能够提高原始图片分类的效率和准确度。
图3为本发明原始图片的分类装置实施例结构示意图，如图3所示，本发明实施例提供了一种原始图片的分类装置，包括第一输入单元301、第二输入单元302、第三输入单元303、第四输入单元304和分类单元305，其中：
第一输入单元301用于输入原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；第二输入单元302用于输入a11至细筛网络模型；所述a11为所述初筛网络模型输出的包含有部分第二目标图片的输出结果；所述部分第二目标图片是根据预设异常特征图片标签识别出的；所述第二目标图片的拍摄物外表面包含异常特征，所述异常特征包括凸起特征和/或指定颜色特征；第三输入单元303用于输入b11和a12至区域目标识别网络模型；所述b11为所述细筛网络模型输出的包含有点状特征目标图片的输出结果；所述a12为部分第一目标图片和另一部分第二目标图片中的点状特征图片；所述部分第一目标图片为与点状特征区分度低于预设指标参数的第一目标图片；所述第一目标图片的拍摄物外表面不包含所述异常特征；第四输入单元304用于输入b12和所述另一部分第二目标图片中的面状特征图片至面状目标识别网络模型；所述b12为所述细筛网络模型输出的包含有面状特征目标图片的输出结果；分类单元305用于分别对c1和所述点状特征图片、d1和所述面状特征图片进行基于规则的判别，以获取所述原始图片的分类结果；所述c1为所述区域目标识别网络模型输出的输出结果；所述d1为所述面状目标识别网络模型输出的输出结果。
具体的，第一输入单元301用于输入原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；第二输入单元302用于输入a11至细筛网络模型；所述a11为所述初筛网络模型输出的包含有部分第二目标图片的输出结果；所述部分第二目标图片是根据预设异常特征图片标签识别出的；所述第二目标图片的拍摄物外表面包含异常特征，所述异常特征包括凸起特征和/或指定颜色特征；第三输入单元303用于输入b11和a12至区域目标识别网络模型；所述b11为所述细筛网络模型输出的包含有点状特征目标图片的输出结果；所述a12为部分第一目标图片和另一部分第二目标图片中的点状特征图片；所述部分第一目标图片为与点状特征区分度低于预设指标参数的第一目标图片；所述第一目标图片的拍摄物外表面不包含所述异常特征；第四输入单元304用于输入b12和所述另一部分第二目标图片中的面状特征图片至面状目标识别网络模型；所述b12为所述细筛网络模型输出的包含有面状特征目标图片的输出结果；分类单元305用于分别对c1和所述点状特征图片、d1和所述面状特征图片进行基于规则的判别，以获取所述原始图片的分类结果；所述c1为所述区域目标识别网络模型输出的输出结果；所述d1为所述面状目标识别网络模型输出的输出结果。
本发明实施例提供的原始图片的分类装置，通过将初筛网络模型、细筛网络模型、区域目标识别网络模型和面状目标识别网络模型进行级联，并对原始图片进行识别、分类，能够提高原始图片分类的效率和准确度。
本发明实施例提供的原始图片的分类装置具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
图4为本发明实施例提供的电子设备实体结构示意图，如图4所示，所述电子设备包括：处理器(processor)401、存储器(memory)402和总线403；
其中，所述处理器401、存储器402通过总线403完成相互间的通信；
所述处理器401用于调用所述存储器402中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：输入原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；输入a11至细筛网络模型；所述a11为所述初筛网络模型输出的包含有部分第二目标图片的输出结果；所述部分第二目标图片是根据预设异常特征图片标签识别出的；所述第二目标图片的拍摄物外表面包含异常特征，所述异常特征包括凸起特征和/或指定颜色特征；输入b11和a12至区域目标识别网络模型；所述b11为所述细筛网络模型输出的包含有点状特征目标图片的输出结果；所述a12为部分第一目标图片和另一部分第二目标图片中的点状特征图片；所述部分第一目标图片为与点状特征区分度低于预设指标参数的第一目标图片；所述第一目标图片的拍摄物外表面不包含所述异常特征；输入b12和所述另一部分第二目标图片中的面状特征图片至面状目标识别网络模型；所述b12为所述细筛网络模型输出的包含有面状特征目标图片的输出结果；分别对c1和所述点状特征图片、d1和所述面状特征图片进行基于规则的判别，以获取所述原始图片的分类结果；所述c1为所述区域目标识别网络模型输出的输出结果；所述d1为所述面状目标识别网络模型输出的输出结果。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：输入原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；输入a11至细筛网络模型；所述a11为所述初筛网络模型输出的包含有部分第二目标图片的输出结果；所述部分第二目标图片是根据预设异常特征图片标签识别出的；所述第二目标图片的拍摄物外表面包含异常特征，所述异常特征包括凸起特征和/或指定颜色特征；输入b11和a12至区域目标识别网络模型；所述b11为所述细筛网络模型输出的包含有点状特征目标图片的输出结果；所述a12为部分第一目标图片和另一部分第二目标图片中的点状特征图片；所述部分第一目标图片为与点状特征区分度低于预设指标参数的第一目标图片；所述第一目标图片的拍摄物外表面不包含所述异常特征；输入b12和所述另一部分第二目标图片中的面状特征图片至面状目标识别网络模型；所述b12为所述细筛网络模型输出的包含有面状特征目标图片的输出结果；分别对c1和所述点状特征图片、d1和所述面状特征图片进行基于规则的判别，以获取所述原始图片的分类结果；所述c1为所述区域目标识别网络模型输出的输出结果；所述d1为所述面状目标识别网络模型输出的输出结果。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：输入原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；输入a11至细筛网络模型；所述a11为所述初筛网络模型输出的包含有部分第二目标图片的输出结果；所述部分第二目标图片是根据预设异常特征图片标签识别出的；所述第二目标图片的拍摄物外表面包含异常特征，所述异常特征包括凸起特征和/或指定颜色特征；输入b11和a12至区域目标识别网络模型；所述b11为所述细筛网络模型输出的包含有点状特征目标图片的输出结果；所述a12为部分第一目标图片和另一部分第二目标图片中的点状特征图片；所述部分第一目标图片为与点状特征区分度低于预设指标参数的第一目标图片；所述第一目标图片的拍摄物外表面不包含所述异常特征；输入b12和所述另一部分第二目标图片中的面状特征图片至面状目标识别网络模型；所述b12为所述细筛网络模型输出的包含有面状特征目标图片的输出结果；分别对c1和所述点状特征图片、d1和所述面状特征图片进行基于规则的判别，以获取所述原始图片的分类结果；所述c1为所述区域目标识别网络模型输出的输出结果；所述d1为所述面状目标识别网络模型输出的输出结果。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种原始图片的分类方法，其特征在于，包括：
输入原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；
输入a11至细筛网络模型；所述a11为所述初筛网络模型输出的包含有部分第二目标图片的输出结果；所述部分第二目标图片是根据预设异常特征图片标签识别出的；所述第二目标图片的拍摄物外表面包含异常特征，所述异常特征包括凸起特征和/或指定颜色特征；
输入b11和a12至区域目标识别网络模型；所述b11为所述细筛网络模型输出的包含有点状特征目标图片的输出结果；所述a12为部分第一目标图片和另一部分第二目标图片中的点状特征图片；所述部分第一目标图片为与点状特征区分度低于预设指标参数的第一目标图片；所述第一目标图片的拍摄物外表面不包含所述异常特征；
输入b12和所述另一部分第二目标图片中的面状特征图片至面状目标识别网络模型；所述b12为所述细筛网络模型输出的包含有面状特征目标图片的输出结果；
分别对c1和所述点状特征图片、d1和所述面状特征图片进行基于规则的判别，以获取所述原始图片的分类结果；所述c1为所述区域目标识别网络模型输出的输出结果；所述d1为所述面状目标识别网络模型输出的输出结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
生成用于模拟所述原始图片的模拟图片；
将所述模拟图片作为所述初筛网络模型、所述细筛网络模型和所述目标识别网络模型的训练数据，以优化所述初筛网络模型、所述细筛网络模型和所述目标识别网络模型。
3.根据权利要求2所述的方法，其特征在于，所述模拟图片是基于GAN生成的。
4.根据权利要求1至3任一所述的方法，其特征在于，所述初筛网络模型为卷积神经网络inceptionV3。
5.根据权利要求1至3任一所述的方法，其特征在于，所述细筛网络模型和所述面状目标识别网络模型均为卷积神经网络Resnet。
6.根据权利要求1至3任一所述的方法，其特征在于，所述区域目标识别网络模型为Faster RCNN。
7.一种原始图片的分类装置，其特征在于，包括：
第一输入单元，用于输入原始图片至初筛网络模型；所述原始图片是通过胶囊内镜拍摄到的图片集；
第二输入单元，用于输入a11至细筛网络模型；所述a11为所述初筛网络模型输出的包含有部分第二目标图片的输出结果；所述部分第二目标图片是根据预设异常特征图片标签识别出的；所述第二目标图片的拍摄物外表面包含异常特征，所述异常特征包括凸起特征和/或指定颜色特征；
第三输入单元，用于输入b11和a12至区域目标识别网络模型；所述b11为所述细筛网络模型输出的包含有点状特征目标图片的输出结果；所述a12为部分第一目标图片和另一部分第二目标图片中的点状特征图片；所述部分第一目标图片为与点状特征区分度低于预设指标参数的第一目标图片；所述第一目标图片的拍摄物外表面不包含所述异常特征；
第四输入单元，用于输入b12和所述另一部分第二目标图片中的面状特征图片至面状目标识别网络模型；所述b12为所述细筛网络模型输出的包含有面状特征目标图片的输出结果；
分类单元，用于分别对c1和所述点状特征图片、d1和所述面状特征图片进行基于规则的判别，以获取所述原始图片的分类结果；所述c1为所述区域目标识别网络模型输出的输出结果；所述d1为所述面状目标识别网络模型输出的输出结果。
8.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910252719.7A CN110110750B (zh) | 2019-03-29 | 2019-03-29 | 一种原始图片的分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910252719.7A CN110110750B (zh) | 2019-03-29 | 2019-03-29 | 一种原始图片的分类方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110110750A true CN110110750A (zh) | 2019-08-09 |
| CN110110750B CN110110750B (zh) | 2021-03-05 |
Family
ID=67484870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910252719.7A Active CN110110750B (zh) | 2019-03-29 | 2019-03-29 | 一种原始图片的分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110110750B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257704A (zh) * | 2020-09-15 | 2021-01-22 | 深圳视见医疗科技有限公司 | 基于深度学习检测模型子宫颈液基细胞数字图像分类方法 |
| WO2021102844A1 (zh) * | 2019-11-28 | 2021-06-03 | 华为技术有限公司 | 处理图像的方法、装置及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011005865A2 (en) * | 2009-07-07 | 2011-01-13 | The Johns Hopkins University | A system and method for automated disease assessment in capsule endoscopy |
| CN102722735A (zh) * | 2012-05-24 | 2012-10-10 | 西南交通大学 | 一种融合全局和局部特征的内镜图像病变检测方法 |
| CN106373137A (zh) * | 2016-08-24 | 2017-02-01 | 安翰光电技术（武汉）有限公司 | 用于胶囊内窥镜的消化道出血图像检测方法 |
| CN106934799A (zh) * | 2017-02-24 | 2017-07-07 | 安翰光电技术（武汉）有限公司 | 胶囊内窥镜图像辅助阅片系统及方法 |
| CN107240091A (zh) * | 2017-04-21 | 2017-10-10 | 安翰光电技术（武汉）有限公司 | 胶囊内窥镜图像预处理系统及方法 |
| CN108171103A (zh) * | 2016-12-07 | 2018-06-15 | 北京三星通信技术研究有限公司 | 目标检测方法及装置 |
| CN108416003A (zh) * | 2018-02-27 | 2018-08-17 | 百度在线网络技术（北京）有限公司 | 一种图片分类方法和装置、终端、存储介质 |
| CN108446697A (zh) * | 2018-03-06 | 2018-08-24 | 平安科技（深圳）有限公司 | 图片处理方法、电子装置及存储介质 |
-
2019
- 2019-03-29 CN CN201910252719.7A patent/CN110110750B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011005865A2 (en) * | 2009-07-07 | 2011-01-13 | The Johns Hopkins University | A system and method for automated disease assessment in capsule endoscopy |
| CN102722735A (zh) * | 2012-05-24 | 2012-10-10 | 西南交通大学 | 一种融合全局和局部特征的内镜图像病变检测方法 |
| CN106373137A (zh) * | 2016-08-24 | 2017-02-01 | 安翰光电技术（武汉）有限公司 | 用于胶囊内窥镜的消化道出血图像检测方法 |
| CN108171103A (zh) * | 2016-12-07 | 2018-06-15 | 北京三星通信技术研究有限公司 | 目标检测方法及装置 |
| CN106934799A (zh) * | 2017-02-24 | 2017-07-07 | 安翰光电技术（武汉）有限公司 | 胶囊内窥镜图像辅助阅片系统及方法 |
| CN107240091A (zh) * | 2017-04-21 | 2017-10-10 | 安翰光电技术（武汉）有限公司 | 胶囊内窥镜图像预处理系统及方法 |
| CN108416003A (zh) * | 2018-02-27 | 2018-08-17 | 百度在线网络技术（北京）有限公司 | 一种图片分类方法和装置、终端、存储介质 |
| CN108446697A (zh) * | 2018-03-06 | 2018-08-24 | 平安科技（深圳）有限公司 | 图片处理方法、电子装置及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| LIBIN LAN 等: "Deep Convolutional Neural Networks for WCE Abnormality Detection: CNN Architecture,Region Proposal and Transfer Learning", 《SPECIAL SECTION ON DEEP LEARNING FOR COMPUTER-AIDED MEDICAL DIAGNOSIS》 * |
| 李德豆 等: "基于分级策略和规则修正的无线内镜图像出血检测方法", 《科技创新导报 生物医学工程》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021102844A1 (zh) * | 2019-11-28 | 2021-06-03 | 华为技术有限公司 | 处理图像的方法、装置及系统 |
| CN113261012A (zh) * | 2019-11-28 | 2021-08-13 | 华为技术有限公司 | 处理图像的方法、装置及系统 |
| CN112257704A (zh) * | 2020-09-15 | 2021-01-22 | 深圳视见医疗科技有限公司 | 基于深度学习检测模型子宫颈液基细胞数字图像分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110110750B (zh) | 2021-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3553742B1 (en) | Method and device for identifying pathological picture | |
| CN104992430B (zh) | 基于卷积神经网络的全自动的三维肝脏分割方法 | |
| CN106504232B (zh) | 一种基于3d卷积神经网络的肺部结节自动检测系统 | |
| Pogorelov et al. | Deep learning and hand-crafted feature based approaches for polyp detection in medical videos | |
| US9684967B2 (en) | Imaging segmentation using multi-scale machine learning approach | |
| CN106557776A (zh) | 从图像分割对象的设备和方法 | |
| CN107644225A (zh) | 肺部病灶识别方法、装置和实现装置 | |
| CN108319953A (zh) | 目标对象的遮挡检测方法及装置、电子设备及存储介质 | |
| CN106503724A (zh) | 分类器生成装置、有缺陷/无缺陷确定装置和方法 | |
| CN108765392B (zh) | 一种基于滑动窗口的消化道内镜病变检测和识别方法 | |
| CN108986115A (zh) | 医学图像分割方法、装置及智能终端 | |
| CN110084275A (zh) | 一种训练样本的选取方法及装置 | |
| CN109117773A (zh) | 一种图像特征点检测方法、终端设备及存储介质 | |
| JP7019815B2 (ja) | 学習装置 | |
| CN110110750A (zh) | 一种原始图片的分类方法及装置 | |
| WO2019102844A1 (ja) | 分類装置、分類方法、プログラム、ならびに、情報記録媒体 | |
| Roy et al. | Automatic eye type detection in retinal fundus image using fusion of transfer learning and anatomical features | |
| CN111563439A (zh) | 一种水产生物病害检测方法、装置及设备 | |
| CN113052843B (zh) | 辅助内镜检查的方法、装置、系统、存储介质和计算设备 | |
| Sundar et al. | Classification of Diabetic Retinopathy disease levels by extracting topological features using Graph Neural Networks | |
| CN110097080A (zh) | 一种分类标签的构建方法及装置 | |
| CN110110749A (zh) | 一种训练集中的图片处理方法及装置 | |
| CN104899854B (zh) | 堆粮高度线的检测方法和装置 | |
| CN110070112A (zh) | 一种确定分类标签的方法及装置 | |
| CN110083727A (zh) | 一种确定分类标签的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |