CN112734707B - 一种3d内窥镜辅助检测方法、系统、装置及存储介质 - Google Patents

一种3d内窥镜辅助检测方法、系统、装置及存储介质 Download PDF

Info

Publication number
CN112734707B
CN112734707B CN202011620383.4A CN202011620383A CN112734707B CN 112734707 B CN112734707 B CN 112734707B CN 202011620383 A CN202011620383 A CN 202011620383A CN 112734707 B CN112734707 B CN 112734707B
Authority
CN
China
Prior art keywords
lesion
neural network
model
sub
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011620383.4A
Other languages
English (en)
Other versions
CN112734707A (zh
Inventor
郭毅军
陈竹
严崇源
黄潇峰
曹丽媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Xishan Science and Technology Co Ltd
Original Assignee
Chongqing Xishan Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Xishan Science and Technology Co Ltd filed Critical Chongqing Xishan Science and Technology Co Ltd
Priority to CN202011620383.4A priority Critical patent/CN112734707B/zh
Publication of CN112734707A publication Critical patent/CN112734707A/zh
Application granted granted Critical
Publication of CN112734707B publication Critical patent/CN112734707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及医学辅助诊断技术领域，具体涉及一种3D内窥镜辅助检测方法、系统、装置及存储介质。方法包括实时获取待检测区域的目标图像；将目标图像输入到预先训练好的神经网络模型中得到病变信息；其中，神经网络模型通过多个不同结构的子神经网络模型融合得到，多个不同结构的子神经网络模型可以分别提取到不同的特征信息，通过对这些特征信息进行融合得到最终的病变信息，提高了特征提取的效率，使得3D标注视图显示的实时性更好，最终的病变信息更加精确、泛化能力强、鲁棒性也更好；实时显示该3D标注视图，医生通过适配的设备即可实时清楚的观测到当前检测区域的病变情况，对医生的诊断起到辅助和参考的作用，提高了诊断效率。

Description

一种3D内窥镜辅助检测方法、系统、装置及存储介质
技术领域
本发明涉及医学辅助诊断技术领域，具体涉及一种3D内窥镜辅助检测方法、系统、装置及存储介质。
背景技术
内窥镜可以经人体的天然孔道或者是经手术微创创口进入患者体内，为医生提供清晰、稳定的高质量画面来完成手术。3D内窥镜是一种新型的立体成像内窥镜，能够直观反映观察区域的景深特征，利于诊断。
在3D内窥镜辅助诊断中，临床医生通过内窥镜观察患者体内情况判断诊断结果。但是人工分析存在以下显而易见的缺陷：(1)不够精确，医生仅能凭借经验去辨别，由于缺乏量化的标准，容易造成误诊；(2)不可避免地会出现人眼视力产生的误差及视力疲劳；(3)海量的图像信息容易产生漏诊。
传统计算机辅助诊断技术(Computer Aided Diagnosis，CAD)通过医学图像处理技术结合计算机分析计算来辅助发现病灶，需人工提取特征，存在泛化能力差、鲁棒性差、精度低等缺点，并且特征提取效率低，实时性差，在复杂的背景中很难使用。
发明内容
本发明主要解决的技术问题是医学图像处理技术中采用人工进行特征提取来辅助发现病灶时实时性差以及容易漏诊。
一种3D内窥镜辅助检测方法,其包括：
实时获取待检测区域的目标图像；
将所述目标图像输入到预先训练好的神经网络模型中得到病变信息；其中，所述神经网络模型通过多个不同结构的子神经网络模型融合得到；
将所述目标图像转换成3D视图并在所述3D视图上对所述病变信息进行标注，得到3D标注视图；
实时显示所述3D标注视图。
在一种实施例中，所述多个不同结构的子神经网络模型至少包括：ResNet模型、Inception模型和/或MobileNet模型；
所述神经网络模型通过多个不同结构的子神经网络模型融合得到包括：
采用迁移学习训练的方法对多个不同结构的初始化模型进行训练，得到多个训练好的子神经网络模型；
通过投票法、均方误差法和概率组合法中的一种或者多种将多个不同结构的子神经网络模型进行融合得到所述神经网络模型。
在一种实施例中，所述病变信息至少包括表示病变区域的病变标注框、该病变区域的病变类型和病变的概率；
所述将所述目标图像转换成3D视图并在所述3D视图上对所述病变区域进行标注，得到3D标注视图包括：
将目标图像转换成3D视图；
将所述病变标注框转换成3D标注框，在所述3D视图上采用所述3D标注框标注出病变区域，以及标注出该病变区域的病变类型和病变的概率，以得到3D标注视图。
在一种实施例中，将所述目标图像输入到预先训练好的神经网络模型中得到病变信息包括：
将所述目标图像输入到预先训练好的神经网络模型中后，神经网络模型中的多个子神经网络模型会分别输出一个特征提取结果；
对所述多个特征提取结果进行融合后得到一个目标特征提取结果；
通过Softmax函数得到所述目标特征提取结果是病变区域的概率；
若所述概率大于预设值则确定所述目标特征提取结果是病变区域并输出用于表示该病变区域的病变标注框。
一种3D内窥镜辅助检测系统，包括：
图像获取模块，用于实时获取待检测区域的目标图像；
检测模块，用于将所述目标图像输入到预先训练好的神经网络模型中得到病变信息；其中，所述神经网络模型通过多个不同结构的子神经网络模型融合得到；
3D标注显示单元，用于将所述目标图像转换成3D视图并在所述3D视图上对所述病变信息进行标注，得到3D标注视图；
显示模块，用于实时显示所述3D标注视图。
在一种实施例中，所述多个不同结构的子神经网络模型至少包括：ResNet模型、Inception模型和/或MobileNet模型；
所述神经网络模型通过多个不同结构的子神经网络模型融合得到包括：
采用迁移学习训练的方法对多个不同结构的初始化模型进行训练，得到多个训练好的子神经网络模型；
通过投票法、均方误差法和概率组合法中的一种或者多种将多个不同结构的子神经网络模型进行融合得到所述神经网络模型。
所述病变信息至少包括表示病变区域的病变标注框、该病变区域的病变类型和病变的概率；
在一种实施例中，所述3D标注显示单元包括：
3D转换模块，用于将目标图像转换成3D视图；
3D标注模块，用于将所述病变标注框转换成3D标注框，在所述3D视图上采用所述3D标注框标注出病变区域，以及标注出该病变区域的病变类型和病变的概率，以得到3D标注视图。
在一种实施例中，将所述目标图像输入到预先训练好的神经网络模型中得到病变信息包括：
将所述目标图像输入到预先训练好的神经网络模型中后，神经网络模型中的多个子神经网络模型会分别输出一个特征提取结果；
对所述多个特征提取结果进行融合后得到一个目标特征提取结果；
通过Softmax函数得到所述目标特征提取结果是病变区域的概率；
若所述概率大于预设值则确定所述目标特征提取结果是病变区域并输出用于表示该病变区域的病变标注框。
一种3D内窥镜辅助检测装置，包括：
内窥镜，用于实时获取待检测区域的目标图像；
处理器，用于将所述目标图像输入到预先训练好的神经网络模型中得到病变信息，并将所述目标图像以及其上的病变信息转换成3D标注视图；其中，所述神经网络模型通过多个不同结构的子神经网络模型融合得到；
显示器，用于实时显示所述3D标注视图。
一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现如上所述的方法。
依据上述实施例的3D内窥镜辅助检测方法、系统、装置及存储介质。其中，方法包括实时获取待检测区域的目标图像；将目标图像输入到预先训练好的神经网络模型中得到病变信息；其中，神经网络模型通过多个不同结构的子神经网络模型融合得到，多个不同结构的子神经网络模型可以分别提取到不同的特征信息，通过对这些特征信息进行融合得到最终的病变信息，提高了特征提取的效率，使得3D标注视图显示的实时性更好，并且最终的病变信息更加精确、泛化能力强、鲁棒性也更好；将目标图像转换成3D视图并在3D视图上对病变信息进行标注，得到3D标注视图，并实时显示该3D标注视图，医生通过适配的设备即可实时清楚的观测到当前检测区域的病变情况，对医生的诊断起到辅助和参考的作用，提高了诊断效率。
附图说明
图1为本申请实施例的辅助检测方法流程图；
图2为本申请实施例的神经网络模型训练方法流程图；
图3为本申请实施例的神经网络模型数据处理过程流程图；
图4为本申请实施例的2D-3D转换方法流程图；
图5为本申请实施例的模型训练过程以及检测过程总体流程图；
图6为本申请实施例的模型训练过程以及检测过程详细流程图；
图7为本申请实施例的辅助检测系统结构框图；
图8为本申请实施例的3D标注显示单元结构框图；
图9为本申请实施例的辅助检测装置结构框图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
在本发明实施例中，为了能够快速且精确的提取目标图像中的特征信息，采用的检测模型为多个不同结构的子神经网络模型融合得到，这样在对目标图像进行特征提取时，多个不同结构的子神经网络模型可以分别提取到不同的特征信息，通过对这些特征信息进行融合得到最终的病变标注框，提高了特征提取的效率，并且最终的病变标注框位置更加精确、泛化能力强、鲁棒性也更好。
进一步的，为了提高诊断效率，本申请还实时的将将目标图像以及其上的病变区域转换成3D标注视图，并实时显示该3D标注视图，医生通过适配的设备即可实时清楚的观测到当前检测区域的病变情况，对医生的诊断起到辅助和参考的作用。
实施例一：
请参考图1、图5和图6，本实施例提供一种3D内窥镜辅助检测方法，其包括：
步骤101：实时获取待检测区域的目标图像。
步骤102：将目标图像输入到预先训练好的神经网络模型中得到病变信息；其中，神经网络模型通过多个不同结构的子神经网络模型融合得到。其中，本实施例的病变信息包括表示病变区域的病变标注框、该病变区域的病变类型和病变的概率；病变类型包括癌变、息肉或者糜烂等。
步骤103：将目标图像转换成3D视图并在3D视图上对病变信息进行标注，得到3D标注视图。
步骤104：实时显示3D标注视图。
其中，在步骤101中，本实施例通过内窥镜实时获取待检测区域的目标图像，例如获取患者体内各部位的目标图像。
其中，在步骤102中，本实施例的神经网络模型为深度卷积神经网络，其采用ResNet模型、Inception模型和MobileNet模型中的多个不同结构的模型，即多个子神经网络模型分别为ResNet模型、Inception模型和MobileNet模型中的不同结构的模型。然后经过融合得到。例如，多个子神经网络模型可以为VGG模型、Inception模型、ResNet模型、MobileNet模型、ShuffleNet模型、DenseNet模型等；其中每一个模型的层数、结构等也可以根据不同的应用场景进行一点的变化。本实施例中具体采用ResNet、Inception和MobileNet三种模型进行融合得到最终的神经网络模型。其中，多个子神经网络模型中包括主要用于检测病变类型、主要用于检测病变区域的模型以及主要用于检测病变的概率的模型。
其中，如图2，本实施例中神经网络模型的训练方法包括：
步骤201：获取大量的医学图像，并对其中的病变图形进行识别标注，将这些带标注的图像组成训练样本集；识别标注的类型包括病变区域、病变类型和病变的概率；例如得到的病变类型为癌变、息肉或者糜烂，得到的某一个病变区域的病变类型为癌变的概率为百分之九十九。其中，识别标注的具体方式可以是智能运算的，当然也可是人工的。
步骤202：采用迁移学习训练的方法采用训练样本集对多个不同结构的初始化模型进行训练，得到多个训练好的子神经网络模型；采用迁移学习训练的方法可以快速的训练好各个子神经网络模型。
步骤203：通过投票法、均方误差法和概率组合法中的一种或者多种将多个不同结构的子神经网络模型进行融合得到神经网络模型。
其中在另一种实施例中，得到训练集后还可以通过图像增强的方法对训练集中的图像进行扩展，以增加训练集中的图像。例如对训练样本集中的图像进行缩放、旋转、翻转和改变亮度以扩展该训练样本集，这样使得训练好的模型鲁棒性更好，且检测结果更加精确。
其中，在训练子神经网络模型时，当训练精度没有明显提升时，智能降低学习率，直到损失函数达到最小化，完成训练，以获得每个子神经网络模型的最佳识别结果。
其中，如图3，本实施例中将目标图像输入到预先训练好的神经网络模型中得到病变信息包括：
步骤1021：将目标图像输入到预先训练好的神经网络模型中后，神经网络模型中的多个子神经网络模型会分别输出一个特征提取结果。
步骤1022：对多个特征提取结果进行融合后得到一个目标特征提取结果。即将多个提取的多个特征信息进行融合得到最终的目标特征提取结果，这样先采用多个子神经网络模型提取特征信息再对提取结果进行特征融合的方式，首先可以节约特征提取时间，即减少计算量，提高了特征提取效率；并且对多个特征融合后得到一个最终目标特征提取结果可以提高特征提取的精度。
步骤1023：通过Softmax函数得到目标特征提取结果是病变区域的概率，即将融合后得到的目标特征提取结果通过Softmax函数将输出分数投影到范围[0,1]，然后将其作为输入的目标图像的病变概率。
步骤1024：若概率大于预设值则确定目标特征提取结果是病变区域并输出用于表示该病变区域的病变标注框，例如概率大于0.7则认为当前目标图像存在病变区域。
例如，如图4，本实施例中提供一种将目标图像以及其上的病变区域转换成3D标注视图具体包括：
步骤1031：获取目标图像的深度信息；
步骤1032：依据深度信息将目标图像转换成3D视图；
步骤1033：将病变标注框转换成3D标注框，在3D视图上采用3D标注框标注出病变区域，以及标注出该病变区域的病变类型和病变的概率，以得到3D标注视图。
其中，在步骤1031中，获取目标图像的深度信息可以采用图像处理中的多种方法，例如，本实施例中通过将目标图像输入到无监督深度学习模型中得到深度信息。具体的，首先使用多个子神经网络模型提取高维特征进行特征融合得到融合后的特征信息，再利用编码-解码器和3D卷积神经网络根据融合后的特征信息得到深度图，最后通过2D-3D转换得到3D标注视图，以实现病变区域的3D显示。本实施例采用的先对二维图像经过多个子神经网络模型提取特征，再对特征进行融合的方式得到二维病变标注框，再将二维图像和二维病变标注框转换成3D视图进行显示，这种数据处理方式和直接得到3D视图，然后再在3D视图上进行特征提取以标注出病变区域的方式相比，计算量更小，特征提取效率更快，实时性更好。本实施例在3D视图上对病变区域进行立体标注，在3D视图上显示一个3D立体框用于表示病变区域，医生或者专家佩戴专门的3D眼镜即可实时且清楚的观察到检测区域的立体图，这样显示的病变信息更加清晰，方便医生查看，对医生进行诊断或者手术都起到一定的辅助作用。
其中，本实施例的多个子神经网络模型的损失函数可以根据需要选用，本实施例中，ResNet模型、Inception模型、MobileNet模型可基于Faster RCNN模型实现，其中，Faster RCNN模型选用多任务损失函数来计算，图像的损失函数定义为：
Figure BDA0002875988330000071
其中i表示每个小批次中锚框的序列号，pi表示第i个锚框包含目标的预测概率；pi *代表锚框的设置标签(0/1)，如果锚框是正样本，则pi *＝1；如果锚框是负样本，则pi *＝0；ti表示预测边框的4个坐标向量，ti *表示与一个正锚框相关的GT框。
其中，本实施例的多个子神经网络模型中包括重点针对于目标区域检测的目标区域检测模型，该目标区域检测模型中的目标检测算法通常会在输入图像中采集大量的区域，然后判断这些区域中是否包含我们感兴趣的目标，并调整区域边缘从而更准确预测目标的真实边界框(ground-truth bounding box)。不同的模型所使用的区域采样方法可能不同。这里我们介绍其中的一种方法：它以每个像素为中心生成多个大小和宽高比(aspectratio)不同的边界框。这些边界框称为锚框(anchor box)。
本实施例中的目标区域检测模型训练时还采用分类损失函数，主要针对检测病变类型，用于分类，如癌变、息肉或糜烂。分类损失函数Lcls是两个类(即对象或非对象)的对数损失函数。例如本实施例的目标区域检测模型采用如下式所示的分类损失函数：
Figure BDA0002875988330000081
本实施例采用的回归损失函数Lreg为：
Figure BDA0002875988330000082
其中R是一个鲁棒损失函数(smoothL1)：
Figure BDA0002875988330000083
其中，若果pi *＝0，使回归损失函数失效，如果pi *＝1，使回归损失函数有效。cls层和reg层的输出分别由{pi}和{ti}组成，这两个项通过Ncls和Nreg进行归一化，并用平衡参数λ加权。参考相关研究，Ncls的值设置为256，Nreg的值设置为2400，这是模型中锚框数量的近似值。平衡参数λ设置为10，使得cls和reg项的权重大致相等。
边框回归是为了让预测的病变标注框达到最接近GT框的位置。锚框的坐标按下列方程式计算：
tx＝(x-xa)/wa,ty＝(y-ya)/ha
tw＝log(w/wa),th＝log(h/ha)
Figure BDA0002875988330000084
Figure BDA0002875988330000085
/>
其中x、y代表边框的中心坐标，w和h分别代表边框的宽度和高度。x、xa和x*分别代表预测的病变标注、锚框和GT框的对应值。其他三个变量y、w和h使用相同的注释方法。
在本实施例方法中还包括对融合后的神经网络模型还进行评估和测试，以验证融合后神经网络模型的性能。本实施例中主要获取该神经网络模型的精度、平均精度和速度等；通过使用测试集来测试融合后模型对新样本的识别能力和实时性，再根据混淆矩阵，计算出精度(Precision)和召回率(Recall)，绘制出P-R曲线。在绘制出平滑的P-R曲线后，通过积分的方法计算平滑曲线下方的面积作为最终的AP值，该AP值用于表征当前神经网络模型的精度。
其中混淆函数中：
Figure BDA0002875988330000091
Figure BDA0002875988330000092
Figure BDA0002875988330000093
其中，TP表示正确地预测为正例(真正例)、FP表示正确地预测为反例(真反例)、FP表示错误地预测为正例(假正例)、FN表示错误地预测为反例(假反例)。
本实施例中神经网络模型通过多个不同结构的子神经网络模型融合得到，多个不同结构的子神经网络模型可以分别提取到不同的特征信息，通过对这些特征信息进行融合得到最终的病变标注框，提高了特征提取的效率，并且最终的病变标注框位置更加精确、泛化能力强、鲁棒性也更好；将目标图像以及其上的病变区域转换成3D标注视图，并实时显示该3D标注视图，医生通过适配的设备即可实时清楚的观测到当前检测区域的病变情况，对医生的诊断起到辅助和参考的作用，提高了诊断效率。
本实施例的目标图像可以是单目内窥镜获取的图像，根据单目内窥镜获取的图像即可实现病变区域检测和3D显示功能，不依赖于双目内窥镜。
实施例二：
请参考图7，本实施例提供一种3D内窥镜辅助检测系统，其包括：图像获取模块301、检测模块302、3D标注显示单元303、显示模块304。
其中，图像获取模块301用于实时获取待检测区域的目标图像；检测模块302用于将目标图像输入到预先训练好的神经网络模型中得到病变类型、病变的概率以及表示病变区域的病变标注框；其中，本实施例的神经网络模型通过多个不同结构的子神经网络模型融合得到。3D标注显示单元303用于将目标图像转换成3D视图并在3D视图上对所述病变区域、病变类型和病变的概率进行标注，得到3D标注视图；显示模块304用于实时显示3D标注视图。
其中，本实施例中多个不同结构的子神经网络模型包括：ResNet模型、Inception模型和MobileNet模型中的多个不同结构的模型，在对目标图像进行特征提取时，多个不同结构的子神经网络模型可以分别提取到不同的特征信息，通过对这些特征信息进行融合得到最终的病变标注框，提高了特征提取的效率，并且最终的病变标注框位置更加精确、泛化能力强、鲁棒性也更好。本实施例的神经网络模型的训练方法和实施例一中相同，此处不再赘述。
其中，如图8，本实施例的3D标注显示单元303包括：深度信息获取模块3031、3D转换模块3032、3D标注模块3033。其中，深度信息获取模块3031用于获取目标图像的深度信息；3D转换模块3032用于依据深度信息将目标图像转换成3D视图；3D标注模块3033用于将病变标注框转换成3D标注框，在3D视图上采用3D标注框标注出病变区域以及标注出病变类型和病变的概率，以得到3D标注视图。
采用本实施例的辅助检测系统，对于输入的目标图像，多个不同结构的子神经网络模型可以分别提取到不同的特征信息，通过对这些特征信息进行融合得到最终的病变标注框，提高了特征提取的效率，使得3D标注视图显示的实时性更好，并且最终的病变标注框位置更加精确、泛化能力强、鲁棒性也更好；将目标图像以及其上的病变区域转换成3D标注视图，并实时显示该3D标注视图，医生通过适配的设备即可实时清楚的观测到当前检测区域的病变情况，对医生的诊断起到辅助和参考的作用，提高了诊断效率。
实施例三：
本实施例提供一种3D内窥镜辅助检测装置，如图9，该装置包括内窥镜401、处理器402和显示器403。
其中，内窥镜401用于实时获取待检测区域的目标图像；处理器402用于将目标图像输入到预先训练好的神经网络模型中得到病变类型、病变的概率以及表示病变区域的病变标注框，并将目标图像以及其上的病变区域转换成3D标注视图；其中，神经网络模型通过多个不同结构的子神经网络模型融合得到；显示器403用于实时显示所述3D标注视图。
通过本实施例的辅助检测装置，可以快速且实时的获取待检测区域的3D标注视图以呈现给医生，对医生的诊断起到辅助的作用，避免误诊。
实施例四：
本实施例提供一种计算机可读存储介质，其包括程序，程序能够被处理器执行以实现如实施例一提供的辅助检测方法。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (8)

1.一种3D内窥镜辅助检测方法,其特征在于，包括：
实时获取待检测区域的目标图像；
将所述目标图像输入到预先训练好的神经网络模型中得到病变信息；其中，所述神经网络模型通过多个不同结构的子神经网络模型融合得到；所述病变信息至少包括表示病变区域的病变标注框、该病变区域的病变类型和病变的概率；
获取目标图像的深度信息；
依据深度信息将目标图像转换成3D视图；
将所述病变标注框转换成3D标注框，在所述3D视图上采用所述3D标注框标注出病变区域，以及标注出该病变区域的病变类型和病变的概率，以得到3D标注视图；
实时显示所述3D标注视图；
其中，所述多个不同结构的子神经网络模型分别提取到不同的特征信息，通过对这些特征信息进行融合得到最终的病变标注框；所述多个不同结构的子神经网络模型至少包括：ResNet模型、Inception模型和/或MobileNet模型，所述ResNet模型、Inception模型和MobileNet模型基于Faster RCNN模型实现，其中，Faster RCNN模型选用多任务损失函数进行计算，图像的损失函数定义为：
Figure FDA0003990864740000011
其中i表示每个小批次中锚框的序列号，pi表示第i个锚框包含目标的预测概率；
Figure FDA0003990864740000012
代表锚框的设置标签，如果锚框是正样本，则pi＝1；如果锚框是负样本，则
Figure FDA0003990864740000013
ti表示预测边框的4个坐标向量，
Figure FDA0003990864740000014
表示与一个正锚框相关的GT框；
多个所述子神经网络模型中包括针对于目标区域检测的目标区域检测模型，所述目标区域检测模型训练时采用分类损失函数以及回归损失函数进行训练，所述分类损失函数Lcls为：
Figure FDA0003990864740000015
所述回归损失函数Lreg为：
Figure FDA0003990864740000016
其中R为鲁棒损失函数smooth L1：
Figure FDA0003990864740000021
其中，若果
Figure FDA0003990864740000022
使回归损失函数失效，如果
Figure FDA0003990864740000023
使回归损失函数有效，cls层和reg层的输出分别由{pi}和{ti}组成，这两个项通过Ncls和Nreg进行归一化，并用平衡参数λ加权，x表示预测的病变标注对应值。
2.如权利要求1所述的辅助检测方法,其特征在于，所述神经网络模型通过多个不同结构的子神经网络模型融合得到包括：
采用迁移学习训练的方法对多个不同结构的初始化模型进行训练，得到多个训练好的子神经网络模型；
通过投票法、均方误差法和概率组合法中的一种或者多种将多个不同结构的子神经网络模型进行融合得到所述神经网络模型。
3.如权利要求1所述的辅助检测方法,其特征在于，将所述目标图像输入到预先训练好的神经网络模型中得到病变信息包括：
将所述目标图像输入到预先训练好的神经网络模型中后，神经网络模型中的多个子神经网络模型会分别输出一个特征提取结果；
对所述多个特征提取结果进行融合后得到一个目标特征提取结果；
通过Softmax函数得到所述目标特征提取结果是病变区域的概率；
若所述概率大于预设值则确定所述目标特征提取结果是病变区域并输出用于表示该病变区域的病变标注框。
4.一种3D内窥镜辅助检测系统，其特征在于，包括：
图像获取模块，用于实时获取待检测区域的目标图像；
检测模块，用于将所述目标图像输入到预先训练好的神经网络模型中得到病变信息；其中，所述神经网络模型通过多个不同结构的子神经网络模型融合得到；多个不同结构的子神经网络模型分别提取到不同的特征信息，通过对这些特征信息进行融合得到最终的病变标注框；所述病变信息至少包括表示病变区域的病变标注框、该病变区域的病变类型和病变的概率；所述多个不同结构的子神经网络模型至少包括：ResNet模型、Inception模型和/或MobileNet模型，所述ResNet模型、Inception模型和MobileNet模型基于Faster RCNN模型实现，其中，Faster RCNN模型选用多任务损失函数进行计算，图像的损失函数定义为：
Figure FDA0003990864740000024
其中i表示每个小批次中锚框的序列号，pi表示第i个锚框包含目标的预测概率；
Figure FDA0003990864740000031
代表锚框的设置标签，如果锚框是正样本，则pi＝1；如果锚框是负样本，则
Figure FDA0003990864740000032
ti表示预测边框的4个坐标向量，
Figure FDA0003990864740000033
表示与一个正锚框相关的GT框；
多个所述子神经网络模型中包括针对于目标区域检测的目标区域检测模型，所述目标区域检测模型训练时采用分类损失函数以及回归损失函数进行训练，所述分类损失函数Lcls为：
Figure FDA0003990864740000034
所述回归损失函数Lreg为：
Figure FDA0003990864740000035
其中R为鲁棒损失函数smoothL1：
Figure FDA0003990864740000036
其中，若果
Figure FDA0003990864740000037
使回归损失函数失效，如果
Figure FDA0003990864740000038
使回归损失函数有效，cls层和reg层的输出分别由{pi}和{ti}组成，这两个项通过Ncls和Nreg进行归一化，并用平衡参数λ加权，x表示预测的病变标注对应值；
3D标注显示单元，用于将所述目标图像转换成3D视图并在所述3D视图上对所述病变信息进行标注，得到3D标注视图；
所述3D标注显示单元包括：
深度信息获取模块，用于获取目标图像的深度信息；
3D转换模块，依据深度信息将目标图像转换成3D视图；
3D标注模块，用于将所述病变标注框转换成3D标注框，在所述3D视图上采用所述3D标注框标注出病变区域，以及标注出该病变区域的病变类型和病变的概率，以得到3D标注视图；
显示模块，用于实时显示所述3D标注视图。
5.如权利要求4所述的辅助检测系统，其特征在于，所述多个不同结构的子神经网络模型至少包括：ResNet模型、Inception模型和/或MobileNet模型；
所述神经网络模型通过多个不同结构的子神经网络模型融合得到包括：
采用迁移学习训练的方法对多个不同结构的初始化模型进行训练，得到多个训练好的子神经网络模型；
通过投票法、均方误差法和概率组合法中的一种或者多种将多个不同结构的子神经网络模型进行融合得到所述神经网络模型。
6.如权利要求4所述的辅助检测系统，其特征在于，将所述目标图像输入到预先训练好的神经网络模型中得到病变信息包括：
将所述目标图像输入到预先训练好的神经网络模型中后，神经网络模型中的多个子神经网络模型会分别输出一个特征提取结果；
对所述多个特征提取结果进行融合后得到一个目标特征提取结果；
通过Softmax函数得到所述目标特征提取结果是病变区域的概率；
若所述概率大于预设值则确定所述目标特征提取结果是病变区域并输出用于表示该病变区域的病变标注框。
7.一种3D内窥镜辅助检测装置，其特征在于，包括：
内窥镜，用于实时获取待检测区域的目标图像；
处理器，用于将所述目标图像输入到预先训练好的神经网络模型中得到病变信息，并将所述目标图像以及其上的病变信息转换成3D标注视图；其中，所述神经网络模型通过多个不同结构的子神经网络模型融合得到；多个不同结构的子神经网络模型分别提取到不同的特征信息，通过对这些特征信息进行融合得到最终的病变标注框；所述病变信息至少包括表示病变区域的病变标注框、该病变区域的病变类型和病变的概率；所述多个不同结构的子神经网络模型至少包括：ResNet模型、Inception模型和/或MobileNet模型，所述ResNet模型、Inception模型和MobileNet模型基于Faster RCNN模型实现，其中，FasterRCNN模型选用多任务损失函数进行计算，图像的损失函数定义为：
Figure FDA0003990864740000041
其中i表示每个小批次中锚框的序列号，pi表示第i个锚框包含目标的预测概率；
Figure FDA0003990864740000042
代表锚框的设置标签，如果锚框是正样本，则pi＝1；如果锚框是负样本，则
Figure FDA0003990864740000043
ti表示预测边框的4个坐标向量，
Figure FDA0003990864740000044
表示与一个正锚框相关的GT框；
多个所述子神经网络模型中包括针对于目标区域检测的目标区域检测模型，所述目标区域检测模型训练时采用分类损失函数以及回归损失函数进行训练，所述分类损失函数Lcls为：
Figure FDA0003990864740000045
所述回归损失函数Lreg为：
Figure FDA0003990864740000051
其中R为鲁棒损失函数smoothL1：
Figure FDA0003990864740000052
其中，若果
Figure FDA0003990864740000053
使回归损失函数失效，如果
Figure FDA0003990864740000054
使回归损失函数有效，cls层和reg层的输出分别由{pi}和{ti}组成，这两个项通过Ncls和Nreg进行归一化，并用平衡参数λ加权，x表示预测的病变标注对应值；
所述处理器还用于：获取目标图像的深度信息；依据深度信息将目标图像转换成3D视图；将所述病变标注框转换成3D标注框，在所述3D视图上采用所述3D标注框标注出病变区域，以及标注出该病变区域的病变类型和病变的概率，以得到3D标注视图；
显示器，用于实时显示所述3D标注视图。
8.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-3中任一项所述的方法。
CN202011620383.4A 2020-12-31 2020-12-31 一种3d内窥镜辅助检测方法、系统、装置及存储介质 Active CN112734707B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011620383.4A CN112734707B (zh) 2020-12-31 2020-12-31 一种3d内窥镜辅助检测方法、系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011620383.4A CN112734707B (zh) 2020-12-31 2020-12-31 一种3d内窥镜辅助检测方法、系统、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112734707A CN112734707A (zh) 2021-04-30
CN112734707B true CN112734707B (zh) 2023-03-24

Family

ID=75609588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011620383.4A Active CN112734707B (zh) 2020-12-31 2020-12-31 一种3d内窥镜辅助检测方法、系统、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112734707B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114569043A (zh) * 2022-01-29 2022-06-03 重庆天如生物科技有限公司 一种基于人工智能的内窥镜辅助检查方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300530A (zh) * 2018-08-08 2019-02-01 北京肿瘤医院 病理图片的识别方法及装置
CN109841272A (zh) * 2019-02-18 2019-06-04 广州明医医疗科技有限公司 实时图像识别显示设备
CN109948557A (zh) * 2019-03-22 2019-06-28 中国人民解放军国防科技大学 多网络模型融合的烟雾检测方法
CN109993733A (zh) * 2019-03-27 2019-07-09 上海宽带技术及应用工程研究中心 肺部病灶的检测方法、系统、存储介质、终端及显示系统
CN110648762A (zh) * 2019-09-06 2020-01-03 苏州浪潮智能科技有限公司 病灶区识别模型生成方法、装置及病灶区识别方法、装置
CN111340094A (zh) * 2020-02-21 2020-06-26 湘潭大学 基于深度学习的胶囊内窥镜图像辅助分类系统和分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110007954A1 (en) * 2009-07-07 2011-01-13 Siemens Corporation Method and System for Database-Guided Lesion Detection and Assessment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300530A (zh) * 2018-08-08 2019-02-01 北京肿瘤医院 病理图片的识别方法及装置
CN109841272A (zh) * 2019-02-18 2019-06-04 广州明医医疗科技有限公司 实时图像识别显示设备
CN109948557A (zh) * 2019-03-22 2019-06-28 中国人民解放军国防科技大学 多网络模型融合的烟雾检测方法
CN109993733A (zh) * 2019-03-27 2019-07-09 上海宽带技术及应用工程研究中心 肺部病灶的检测方法、系统、存储介质、终端及显示系统
CN110648762A (zh) * 2019-09-06 2020-01-03 苏州浪潮智能科技有限公司 病灶区识别模型生成方法、装置及病灶区识别方法、装置
CN111340094A (zh) * 2020-02-21 2020-06-26 湘潭大学 基于深度学习的胶囊内窥镜图像辅助分类系统和分类方法

Also Published As

Publication number Publication date
CN112734707A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN110599448B (zh) 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统
CN110197493B (zh) 眼底图像血管分割方法
CN109544526B (zh) 一种慢性萎缩性胃炎图像识别系统、装置和方法
CN109523535B (zh) 一种病变图像的预处理方法
CN109493308A (zh) 基于条件多判别生成对抗网络的医疗图像合成与分类方法
CN109754007A (zh) 前列腺手术中外包膜智能检测和预警方法及系统
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN111814768B (zh) 基于ai复合模型的图像识别方法、装置、介质和设备
CN111340937A (zh) 一种脑肿瘤医学影像三维重建显示交互方法及系统
CN112200091A (zh) 舌头区域识别的方法、装置及计算机存储介质
CN114693933A (zh) 基于生成对抗网络和多尺度特征融合的医学影像分割装置
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断系统
CN111931751A (zh) 深度学习训练方法、目标物识别方法、系统和存储介质
CN114581375A (zh) 一种无线胶囊内窥镜病灶自动检测方法、装置及存储介质
Arjmand et al. Deep learning in liver biopsies using convolutional neural networks
CN111916206A (zh) 一种基于级联的ct影像辅助诊断系统
Kromp et al. Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation
CN112734707B (zh) 一种3d内窥镜辅助检测方法、系统、装置及存储介质
CN112862746B (zh) 基于人工神经网络的组织病变识别的识别方法及识别系统
Qin et al. Residual block-based multi-label classification and localization network with integral regression for vertebrae labeling
CN112651400B (zh) 一种立体内窥镜辅助检测方法、系统、装置及存储介质
CN116703837B (zh) 一种基于mri图像的肩袖损伤智能识别方法及装置
CN115880266B (zh) 一种基于深度学习的肠道息肉检测系统和方法
CN112861942A (zh) 医学影像图像处理方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant