CN112651400B - 一种立体内窥镜辅助检测方法、系统、装置及存储介质 - Google Patents

一种立体内窥镜辅助检测方法、系统、装置及存储介质 Download PDF

Info

Publication number
CN112651400B
CN112651400B CN202011625385.2A CN202011625385A CN112651400B CN 112651400 B CN112651400 B CN 112651400B CN 202011625385 A CN202011625385 A CN 202011625385A CN 112651400 B CN112651400 B CN 112651400B
Authority
CN
China
Prior art keywords
lesion
model
training
depth information
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011625385.2A
Other languages
English (en)
Other versions
CN112651400A (zh
Inventor
郭毅军
陈竹
黄潇峰
严崇源
曹丽媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Xishan Science and Technology Co Ltd
Original Assignee
Chongqing Xishan Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Xishan Science and Technology Co Ltd filed Critical Chongqing Xishan Science and Technology Co Ltd
Priority to CN202011625385.2A priority Critical patent/CN112651400B/zh
Publication of CN112651400A publication Critical patent/CN112651400A/zh
Application granted granted Critical
Publication of CN112651400B publication Critical patent/CN112651400B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

本发明涉及医学辅助诊断技术领域，具体涉及一种立体内窥镜辅助检测方法、系统、装置及存储介质。其包括：实时获取待检测区域的目标图像；将目标图像输入到预先训练好的神经网络模型中得到3D标注视图，3D标注视图上包括用于表示病变区域的3D病变标注框，实时显示所述3D标注视图。病变检测模型用于得到病变信息，深度信息获取模型用于获取目标图像的深度信息；3D转换模块用于根据深度信息将目标图像转换成3D视图，并在3D视图上对病变信息进行标注，得到3D标注视图。这样将深度信息和病变区域检测分开处理，然后在进行融合得到3D标注视图，也可以提高数据处理的效率，使得3D标注视图能够实时显示，对医生的辅助诊断效果好，以帮助医生提高诊断效率。

Description

一种立体内窥镜辅助检测方法、系统、装置及存储介质
技术领域
本发明涉及医学辅助诊断技术领域，具体涉及一种立体内窥镜辅助检测方法、系统、装置及存储介质。
背景技术
内窥镜可以经人体的天然孔道或者是经手术微创创口进入患者体内，为医生提供清晰、稳定的高质量画面来完成手术。立体内窥镜(也简称为3D内窥镜)是一种新型的立体成像内窥镜，能够直观反映观察区域的景深特征，利于诊断。
在3D内窥镜辅助诊断中，临床医生通过内窥镜观察患者体内情况判断诊断结果。但是人工分析存在以下显而易见的缺陷：(1)不够精确，医生仅能凭借经验去辨别，由于缺乏量化的标准，容易造成误诊；(2)不可避免地会出现人眼视力产生的误差及视力疲劳；(3)海量的图像信息容易产生漏诊；(4)图像显示以及病变区域显示都是二维平面的，不利于医生清楚的观察病变情况。
另外，传统计算机辅助诊断技术(Computer Aided Diagnosis，CAD)通过医学图像处理技术结合计算机分析计算来辅助发现病灶，需人工提取特征，存在泛化能力差、鲁棒性差、精度低等缺点，并且特征提取效率低，实时性差，在复杂的背景中很难使用。
发明内容
本发明主要解决的技术问题是现有的医学图像处理技术中人工提取特征来辅助确定病灶时工作效率低以及容易漏诊。
一种立体内窥镜辅助检测方法,包括：
实时获取待检测区域的目标图像；
将所述目标图像输入到预先训练好的神经网络模型中得到3D标注视图，所述3D标注视图上包括用于表示病变区域的3D病变标注框；
实时显示所述3D标注视图；
其中，所述神经网络模型包括病变检测模型、深度信息获取模型和3D转换模块；所述病变检测模型用于对输入的目标图像进行特征检测得到病变信息；所述深度信息获取模型用于获取输入的目标图像的深度信息；所述3D转换模块用于根据所述深度信息将所述目标图像转换成3D视图，并在所述3D视图上对所述病变信息进行标注，得到所述3D标注视图。
所述病变信息至少包括表示病变区域的病变标注框、该病变区域的病变类型和病变的概率；
在一种实施例中，所述神经网络模型还包括特征提取网络；
所述特征提取网络用于对输入的目标图像进行特征提取，并将提取的特征信息分别输入所述病变检测模型和深度信息获取模型中；
所述病变检测模型用于根据所述特征信息进行病变检测，得到病变类型、病变的概率以及用于表示病变区域的病变标注框；
所述深度信息获取模型用于根据所述特征信息得到所述目标图像的深度信息。
在一种实施例中，所述病变检测模型通过以下方法训练得到：
采用COCO预训练Faster RCNN目标检测模型的初始化参数得到初始检测模型；
获取多个病变图像并对其上的病变信息进行标注后以组成第一训练集；
采用迁移学习法利用所述第一训练集训练所述初始检测模型得到所述病变检测模型。
在一种实施例中，所述深度信息获取模型通过以下方法训练得到：
获取RGB图像和与之对应的深度图像组成RGB-D图像对；
获取多个RGB-D图像对组成第二训练集；
采用迁移学习法利用所述第二训练集训练初始化后的深度信息估计模型得到所述深度信息获取模型。
一种立体内窥镜辅助检测系统,包括:
图像获取模块，用于实时获取待检测区域的目标图像；
病变检测单元，用于将所述目标图像输入到预先训练好的神经网络模型中得到3D标注视图，所述3D标注视图上包括用于表示病变区域的3D病变标注框；
显示模块，用于实时显示所述3D标注视图；
其中，所述神经网络模型包括病变检测模型、深度信息获取模型和3D转换模块；所述病变检测模型用于对输入的目标图像进行特征检测得到病变信息；所述深度信息获取模型用于获取输入的目标图像的深度信息；所述3D转换模块用于根据所述深度信息将所述目标图像转换成3D视图，并在所述3D视图上对所述病变信息进行标注，得到所述3D标注视图。
所述病变信息至少包括表示病变区域的病变标注框、该病变区域的病变类型和病变的概率；
在一种实施例中，还包括特征提取模块；
所述特征提取模块用于对输入的目标图像进行特征提取，并将提取的特征信息分别输入所述病变检测模型和深度信息获取模型中；
所述病变检测模型用于根据所述特征信息进行病变检测，得到表示病变区域的病变标注框、该病变区域的病变类型和病变的概率；
所述深度信息获取模型用于根据所述特征信息得到所述目标图像的深度信息。
在一种实施例中，还包括第一训练模块，用于采用预设的第一训练方法训练得到所述病变检测模型；
所述采用预设的神经网络训练方法训练得到所述病变检测模型包括：
采用COCO预训练Faster RCNN目标检测模型的初始化参数得到初始检测模型；
获取多个病变图像并对其上的病变信息进行标注后以组成第一训练集；
采用迁移学习法利用所述第一训练集训练所述初始检测模型得到所述病变检测模型。
在一种实施例中，还包括第二训练模块，用于采用预设的第二训练方法训练得到所述深度信息获取模型；
所述采用预设的第二训练方法训练得到所述深度信息获取模型包括：
获取RGB图像和与之对应的深度图像组成RGB-D图像对；
获取多个RGB-D图像对组成第二训练集；
采用所述第二训练集训练初始化后的深度信息估计模型得到所述深度信息获取模型。
一种立体内窥镜辅助检测装置，包括：
内窥镜，用于实时获取待检测区域的目标图像；
处理器，用于将所述目标图像输入到预先训练好的神经网络模型中得到3D标注视图，所述3D标注视图上包括用于表示病变区域的3D病变标注框；
显示器，用于实时显示所述3D标注视图；
其中，所述神经网络模型包括病变检测模型、深度信息获取模型和3D转换模块；所述病变检测模型用于对输入的目标图像进行特征检测得到病变信息；所述深度信息获取模型用于获取输入的目标图像的深度信息；所述3D转换模块用于根据所述深度信息将所述目标图像转换成3D视图，并在所述3D视图上对所述病变信息进行标注，得到所述3D标注视图。
一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现如上所述的方法。
依据上述实施例的辅助检测方法，其包括：实时获取待检测区域的目标图像；将目标图像输入到预先训练好的神经网络模型中得到3D标注视图，3D标注视图上包括用于表示病变区域的3D病变标注框，实时显示所述3D标注视图。其中，神经网络模型包括病变检测模型、深度信息获取模型和3D转换模块；病变检测模型用于对输入的目标图像进行特征检测得到病变信息，本申请采用神经网络模型检测病变区域的方法和现在有的人工进行特征以识别病变区域相比，识别效率更快以保证实时性好，同时避免了人眼疲劳以导致漏诊的情况发生。本申请的深度信息获取模型用于获取输入的目标图像的深度信息；3D转换模块用于根据深度信息将目标图像转换成3D视图，并在3D视图上对病变信息进行标注，得到3D标注视图。这样将深度信息和病变区域检测分开处理，然后在进行融合得到3D标注视图，也可以提高数据处理的效率，使得3D标注视图能够实时显示，对医生的辅助诊断效果好，以帮助医生提高诊断效率。
附图说明
图1为本申请实施例的辅助检测方法流程图；
图2为本申请实施例的病变检测模型训练方法流程图；
图3为本申请实施例的深度信息获取模型训练方法流程图；
图4为本申请实施例的辅助检测方法流程框图；
图5为本申请实施例的神经网络模型训练及检测过程流程图；
图6为本申请实施例的辅助检测系统结构框图；
图7为本申请实施例的辅助检测装置结构框图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
实施例一：
请参考图1、图4和图5，本实施例提供一种立体内窥镜辅助检测方法,其包括：
步骤101：实时获取待检测区域的目标图像；
步骤102：将目标图像输入到预先训练好的神经网络模型中得到3D标注视图，3D标注视图上包括用于表示病变区域的3D病变标注框；
步骤103：实时显示3D标注视图。
本实施例中为了保证病变检测的实时性以及可以实时的3D显示以方便医生观察的目的，神经网络模型为多个神经网络子模型经过融合得到的，这样每个神经网络子模型分别可以获取不同的信息，再将获取的信息融合后直接可以得到3D标注视图，提高了运算效率，保证了3D标注视图显示的实时性。
具体的，本实施例的神经网络模型为深度神经网络模型，其包括病变检测模型、深度信息获取模型和3D转换模块。病变检测模型用于对输入的目标图像进行特征检测得到病变信息。本实施例的病变信息至少包括表示病变区域的病变标注框、该病变区域的病变类型和病变的概率。例如得到一个病变标注框，即在二维图像上采用一个病变标注框标出病变区域，例如得到的病变类型为癌变、息肉或者糜烂，得到的某一个病变区域的病变类型为癌变的概率为百分之九十九。其中，深度信息获取模型也叫图像深度信息获取模型，其用于获取输入的目标图像的深度信息；这样病变检测和深度信息获取分别同时进行，提高了神经网络模型的运算效率。其中，3D转换模块用于根据深度信息将目标图像转换成3D视图，并在3D视图上对病变区域、病变类型和病变的概率进行标注，得到3D标注视图。获取深度信息后也可以将二维的标注框转换成3D的标注框，即在3D视图上对病变区域进行立体标注，在3D视图上显示一个3D立体框用于表示病变区域，医生或者专家佩戴专门的3D眼镜即可实时且清楚的观察到检测区域的立体图，这样显示的病变信息更加清晰，方便医生查看，对医生进行诊断或者手术都起到一定的辅助作用。这样将深度信息和病变区域检测分开处理，然后在进行融合得到3D标注视图，也可以提高数据处理的效率，使得3D标注视图能够实时显示，对医生的辅助诊断效果好，以帮助医生提高诊断效率。
其中，病变检测模型在对目标图像进行病变检测时可能对于同一个区域的病变目标先检测到多个标注框，此时病变检测模型会对多个标注框进行评估，选择包括病变目标特征最多的标注框作为最终输出的标注框。如果对于不同的病变目标可能还会输出多个病变标注框。
若对于目标图像包括两张图像的情况来说，还可以分别获取两张图像上的病变标注框，例如两个图上的病变区域分别对应第一病变标注框和第二病变标注框，将第一病变标注框和第二病变标注框进行关联度计算，若关联度达到预设区间，则将第一病变标注框和第二病变标注框关联得到3D标注框，例如关联度达到0.7-1之间，则将第一病变标注框和第二病变标注框关联得到3D标注框；在3D视图中标注3D标注框得到3D病变标注视图，该3D标注框所在的区域为病变区域。若关联度未达到预设区间，则表示第一病变标注框和第二病变标注框中标注的可能不是同一个病变目标，若在预设次数(例如20次)内，模型计算的关联度始终不能达到预设区间，则不对两个病变标注框进行关联操作，同时不输出3D标注框。
进一步的，本实施例中还包括特征提取网络，为了简化模型结构，本实施例中病变检测模型和深度信息获取模型共享一个特征提取网络。特征提取网络用于对输入的目标图像进行特征信息提取，并将提取的特征信息分别输入病变检测模型和深度信息获取模型中；病变检测模型用于根据特征信息进行病变检测，得到用于表示病变区域的病变标注框以及该病变区域的病变类型和病变的概率；深度信息获取模型用于根据特征信息得到目标图像的深度信息。这样简化可了神经网络模型，减少了计算量，也有助于提高检测的实时性。
其中，如图2，本实施例中的病变检测模型通过以下方法训练得到：
步骤201：采用COCO预训练ResNet特征提取网络的Faster RCNN目标检测模型的初始化参数得到初始检测模型。
步骤202：获取大量的病变图像并对其上的病变信息进行标注后以组成第一训练集。例如：通过对特定病变图像的收集与整理得到大量病变图像，如对病变图像上的病变区域、病变类型和病变的概率进行标注后以组成第一训练集。
步骤203：采用迁移学习法利用第一训练集训练初始检测模型得到病变检测模型。迁移学习法在已经训练好的模型基础上进行微调训练，有助于提高训练时间和精度，快速布置深度学习框架。本实施例采用迁移学习训练的方法可以快速的训练好模型。
其中，如图3，本实施例的深度信息获取模型通过以下方法训练得到：
步骤301：获取RGB图像和与之对应的深度图像组成RGB-D图像对；具体的，采用未做标注的RGB图像和与之对应的深度(Depth)图像形成RGB-D图像对。其中本实施例训练用的RGB图像对来源于训练数据集，有专门的训练数据集可以下载，本实施例中用的是现有的NYU Depth数据集。其中，RGB图像指具有三个彩色通道的真彩图像，深度图像(depthimage)也被称为距离影像(range image)，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。深度图像经过坐标转换可以计算为点云数据，有规则及必要信息的点云数据也可以反算为深度图像数据。
步骤302：获取大量的RGB-D图像对组成第二训练集；第二训练集用于深度信息获取模型的训练和测试。其中，一般获取至少几千个RGB-D图像对组成第二训练集，如果采用预训练模型，则至少需要获取几百张RGB-D图像。
步骤303：采用迁移学习法利用第二训练集训练初始化后的深度信息估计模型得深度信息获取模型。本实施例采用迁移学习训练的方法可以快速的训练好模型。
其中，在获取训练集时候，还可以通过图像增强的方法对训练集中的图像进行扩展，以增加训练集中的图像。例如对训练样本集中的图像进行缩放、旋转、翻转和改变亮度以扩展该训练样本集，这样使得训练好的模型鲁棒性更好，且检测结果更加精确。
进一步的，在训练好病变检测模型和深度信息获取模型之后还包括：获取当前模型(病变检测模型或深度信息获取模型)的精度、平均精度和速度等，来验证当前模型的性能是否满足要求。具体的，可以通过测试集来测试训练好的模型对新样本的识别能力以及识别的实时性。再根据混淆矩阵，计算出精度(Precision)和召回率(Recall)，绘制出P-R曲线。在绘制出平滑的P-R曲线后，通过积分的方法计算平滑曲线下方的面积作为最终的AP值，该AP值可以计算出召回率。若当前训练好的神经网络模型评估结果达到要求，保留该神经网络模型的参数；若评估结果未能满足要求，调整超参数、网络结构或者增加训练样本的数量进行重新训练，直到模型满足要求为止。
其中混淆函数中：
Figure BDA0002879154390000071
Figure BDA0002879154390000072
Figure BDA0002879154390000073
其中，TP表示正确地预测为正例(真正例)、FP表示正确地预测为反例(真反例)、FP表示错误地预测为正例(假正例)、FN表示错误地预测为反例(假反例)。
其中，在病变检测模型训练过程中采用的损失函数可以根据需要选用。例如，选用多任务损失函数来计算，图像的损失函数定义为：
Figure BDA0002879154390000081
其中i表示每个小批次中锚框的序列号，pi表示第i个锚框包含目标的预测概率；pi *代表锚框的设置标签(0/1)，如果锚框是正样本，则pi *＝1；如果锚框是负样本，则pi *＝0；ti表示预测边框的4个坐标向量，ti *表示与一个正锚框相关的GT框。
病变检测模型训练过程中采用目标检测算法，目标检测算法通常会在输入图像中采集大量的区域，然后判断这些区域中是否包含我们感兴趣的目标，并调整区域边缘从而更准确预测目标的真实边界框(ground-truth bounding box)。不同的模型所使用的区域采样方法可能不同。这里我们介绍其中的一种方法：它以每个像素为中心生成多个大小和宽高比(aspect ratio)不同的边界框。这些边界框称为锚框(anchor box)。
本实施例中病变检测模型训练过程中还采用分类损失函数，主要针对检测病变类型，用于分类，如癌变、息肉或糜烂。分类损失函数Lcls是两个类(即对象或非对象)的对数损失函数。例如采用如下式所示的分类损失函数：
Figure BDA0002879154390000082
本实施例采用的回归损失函数Lreg为：
Figure BDA0002879154390000083
其中R是一个鲁棒损失函数(smoothL1)：
Figure BDA0002879154390000084
其中，若果pi *＝0，使回归损失函数失效，如果pi *＝1，使回归损失函数有效。cls层和reg层的输出分别由{pi}和{ti}组成，这两个项通过Ncls和Nreg进行归一化，并用平衡参数λ加权。参考相关研究，Ncls的值设置为256，Nreg的值设置为2400，这是模型中锚框数量的近似值。平衡参数λ设置为10，使得cls和reg项的权重大致相等。
本实施例中病变检测模型训练时采用边框回归，边框回归是为了让预测的病变标注达到最接近GT框的位置。锚框的坐标按下列方程式计算：
tx＝(x-xa)/wa,ty＝(y-ya)/ha
tw＝log(w/wa),th＝log(h/ha)
Figure BDA0002879154390000097
Figure BDA0002879154390000098
其中x、y代表边框的中心坐标，w和h分别代表边框的宽度和高度。x、xa和x*分别代表预测的病变标注、锚框和GT框的对应值。其他三个变量y、w和h使用相同的注释方法。
其中，本实施例的深度信息获取模型使用NYU Depth数据集通过监督学习的训练方法训练得到，监督学习侧重在训练样本。对于预测的深度图y和地面真实度y*，我们将尺度不变均方误差定义为：
Figure BDA0002879154390000091
其中，
Figure BDA0002879154390000092
将
Figure BDA0002879154390000093
设置为像素i处的预测值与地面真实值之间的差值，我们得到：
Figure BDA0002879154390000094
使用尺度不变误差作为训练损失，我们设定了每个样本的训练损失：
Figure BDA0002879154390000095
其中
Figure BDA0002879154390000096
和λ∈[0，1]。设置λ＝1正好是尺度不变误差，使用这些值的平均值，即λ＝0.5，则会产生良好的绝对尺度预测。
基于上述方法对病变检测模型、深度信息获取模型以及融合后得到的神经网络模型进行反复训练，使各模型参数调整到最佳，然后将训练好的神经网络模型参数进行冻结(即训练后各模型的各参数保持不变)，得到最终的多模型融合后的神经网络模型。通过本实施例的神经网络模型可以直接对输入的二维图像进行检测输出一个3D的带标注的图，3D视图上采用3D的框标注出病变区域，整个处理过程实时性好。即该模型将诊断技术和3D显示技术结合，可以直接输出带标注的3D视图，方便医生观察输出的3D视图以作为诊断的参考，且采用深度学习模型来检测病变区域，避免了医生由于眼镜疲惫而出现的漏诊情况。
本实施例的目标图像可以是单目内窥镜获取的图像，根据单目内窥镜获取的图像即可实现病变区域检测和3D显示功能，不依赖于双目内窥镜。
实施例二：
本实施例提供一种立体内窥镜辅助检测系统，如图6，包括：图像获取模块401、病变检测单元402、显示模块403。
其中，图像获取模块401用于实时获取待检测区域的目标图像；病变检测单元402用于将目标图像输入到预先训练好的神经网络模型中得到3D标注视图，3D标注视图上包括用于表示病变区域的3D病变标注框；显示模块403用于实时显示3D标注视图。
其中，本申请的神经网络模型包括病变检测模型、深度信息获取模型和3D转换模块；病变检测模型用于对输入的目标图像进行特征检测得到病变信息；深度信息获取模型用于获取输入的目标图像的深度信息；3D转换模块用于根据深度信息将目标图像转换成3D视图，并在3D视图上对病变信息进行标注，得到3D标注视图。
其中，本实施例的病变信息至少包括表示病变区域的病变标注框、该病变区域的病变类型和病变的概率。
进一步的，本实施例的辅助检测系统还包括特征提取模块404，特征提取模块404用于对输入的目标图像进行特征提取，并将提取的特征信息分别输入病变检测模型和深度信息获取模型中。病变检测模型用于根据特征信息进行病变检测，得到用于表示病变区域的病变标注框、该病变区域的病变类型以及病变的概率；深度信息获取模型用于根据特征信息得到目标图像的深度信息。本实施例中病变检测模型和深度信息获取模型共享一个特征提取网络，这样简化可了神经网络模型，减少了计算量，也有助于提高检测的实时性。
进一步的，本实施例的辅助检测系统还包括第一训练模块405，第一训练模块405用于采用预设的第一训练方法训练得到所述病变检测模型。本实施例的病变检测模型训练方法和实施例一中相同，此处不再赘述。
进一步的，本实施例的辅助检测系统还包括第二训练模块406，第二训练模块406用于采用预设的第二训练方法训练得到深度信息获取模型。本实施例的深度信息获取模型训练方法和实施例一中相同，此处不再赘述。
采用本实施例的辅助检测系统，可快速处理海量数据，输出目标图像的3D标注视图，3D视图上采用3D的框标注出病变区域，整个处理过程实时性好，有助于医生提高工作效率。另外，采用本申请的系统采用融合后的神经网络模型来进行病变特征的检测，避免了医生的主观预判，避免了医生由于眼镜疲惫而出现的漏诊情况。本实施例的系统将疾病辅助诊断技术与3D可视化技术两者相融合，形成一体化融合模型，实现端到端病变部位自动识别并3D显示，它能直接输出临床医生病变器官组织的病变区域，同时3D显示也便于观察，极大地提高了医生的工作效率，还可提高诊断的精度，也降低了漏诊误诊的发生，使精准医疗真正成为可能。
实施例三：
本实施例提供一种立体内窥镜辅助检测装置，如图7，其包括：内窥镜501、处理器502、显示器503。其中，内窥镜501用于实时获取待检测区域的目标图像，本实施例的内窥镜采用单目内窥镜；处理器502用于将目标图像输入到预先训练好的神经网络模型中得到3D标注视图，所述3D标注视图上包括用于表示病变区域的3D病变标注框；显示器503用于实时显示所述3D标注视图。
其中，本实施例的神经网络模型是采用多个模型融合得到的，其包括病变检测模型、深度信息获取模型和3D转换模块；病变检测模型用于对输入的目标图像进行特征检测得到病变信息，病变信息至少包括病变区域以及该病变区域的病变类型以及病变的概率；深度信息获取模型用于获取输入的目标图像的深度信息；3D转换模块用于根据深度信息将目标图像转换成3D视图，并在3D视图上对病变区域进行标注，得到3D标注视图。
实施例四：
本实施例提供一种计算机可读存储介质，其包括程序，程序能够被处理器执行以实现如实施例一提供的辅助检测方法。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (6)

1.一种立体内窥镜辅助检测方法,其特征在于，包括：
实时获取待检测区域的目标图像；
将所述目标图像输入到预先训练好的神经网络模型中得到3D标注视图，所述3D标注视图上包括用于表示病变区域的3D病变标注框；
实时显示所述3D标注视图；
其中，所述神经网络模型包括病变检测模型、深度信息获取模型和3D转换模块；所述病变检测模型用于对输入的目标图像进行特征检测得到病变信息；所述深度信息获取模型用于获取输入的目标图像的深度信息；所述3D转换模块用于根据所述深度信息将所述目标图像转换成3D视图，并在所述3D视图上对所述病变信息进行标注，得到所述3D标注视图；
所述神经网络模型中，在训练好所述病变检测模型和所述深度信息获取模型之后，还包括：
获取所述病变检测模型或所述深度信息获取模型的精度、平均精度和速度，用以验证所述病变检测模型或所述深度信息获取模型的性能是否满足要求，具体包括：
通过测试集来测试训练好的模型对新样本的识别能力以及识别的实时性；再根据混淆矩阵，计算出精度P和召回率R，绘制出P-R曲线；在绘制出平滑的P-R曲线后，通过积分的方法计算平滑曲线下方的面积作为最终的AP值，所述AP值用于计算出召回率；若当前训练好的神经网络模型评估结果达到要求，保留该神经网络模型的参数；若评估结果未能满足要求，调整超参数、网络结构或者增加训练样本的数量进行重新训练，直到模型满足要求为止；
所述病变检测模型通过以下方法训练得到：
采用COCO预训练Faster RCNN目标检测模型的初始化参数得到初始检测模型；
获取多个病变图像并对其上的病变信息进行标注后以组成第一训练集；
采用迁移学习方法利用所述第一训练集训练所述初始检测模型得到所述病变检测模型；
所述病变检测模型训练过程中还采用分类损失函数，用于针对检测病变类型，用于分类癌变、息肉或糜烂；且所述病变检测模型训练时采用边框回归，用于让预测的病变标注达到最接近GT框的位置；
所述深度信息获取模型通过以下方法训练得到：
获取RGB图像和与之对应的深度图像组成RGB-D图像对；
获取多个RGB-D图像对组成第二训练集；
采用迁移学习法利用所述第二训练集训练初始化后的深度信息估计模型得到所述深度信息获取模型；
所述深度信息获取模型还使用NYU Depth数据集通过监督学习的训练方法训练得到，监督学习用于训练样本。
2.如权利要求1所述的辅助检测方法,其特征在于，所述病变信息至少包括表示病变区域的病变标注框、该病变区域的病变类型和病变的概率；
所述神经网络模型还包括特征提取网络；
所述特征提取网络用于对输入的目标图像进行特征提取，并将提取的特征信息分别输入所述病变检测模型和深度信息获取模型中；
所述病变检测模型用于根据所述特征信息进行病变检测，得到表示病变区域的病变标注框、该病变区域的病变类型和病变的概率；
所述深度信息获取模型用于根据所述特征信息得到所述目标图像的深度信息。
3.一种立体内窥镜辅助检测系统,其特征在于，包括:
图像获取模块，用于实时获取待检测区域的目标图像；
病变检测单元，用于将所述目标图像输入到预先训练好的神经网络模型中得到3D标注视图，所述3D标注视图上包括用于表示病变区域的3D病变标注框；
显示模块，用于实时显示所述3D标注视图；
其中，所述神经网络模型包括病变检测模型、深度信息获取模型和3D转换模块；所述病变检测模型用于对输入的目标图像进行特征检测得到病变信息；所述深度信息获取模型用于获取输入的目标图像的深度信息；所述3D转换模块用于根据所述深度信息将所述目标图像转换成3D视图，并在所述3D视图上对所述病变信息进行标注，得到所述3D标注视图；
所述神经网络模型中，在训练好所述病变检测模型和所述深度信息获取模型之后，所述病变检测单元还包括：用于获取所述病变检测模型或所述深度信息获取模型的精度、平均精度和速度，以验证所述病变检测模型或所述深度信息获取模型的性能是否满足要求，具体包括：
通过测试集来测试训练好的模型对新样本的识别能力以及识别的实时性；再根据混淆矩阵，计算出精度P和召回率R，绘制出P-R曲线；在绘制出平滑的P-R曲线后，通过积分的方法计算平滑曲线下方的面积作为最终的AP值，所述AP值用于计算出召回率；若当前训练好的神经网络模型评估结果达到要求，保留该神经网络模型的参数；若评估结果未能满足要求，调整超参数、网络结构或者增加训练样本的数量进行重新训练，直到模型满足要求为止；
还包括第一训练模块和第二训练模块，第一训练模块用于采用预设的第一训练方法训练得到所述病变检测模型；第二训练模块用于采用预设的第二训练方法训练得到所述深度信息获取模型；
所述病变检测模型通过以下方法训练得到：
采用COCO预训练Faster RCNN目标检测模型的初始化参数得到初始检测模型；
获取多个病变图像并对其上的病变信息进行标注后以组成第一训练集；
采用迁移学习方法利用所述第一训练集训练所述初始检测模型得到所述病变检测模型；
所述病变检测模型训练过程中还采用分类损失函数，用于针对检测病变类型，用于分类癌变、息肉或糜烂；且所述病变检测模型训练时采用边框回归，用于让预测的病变标注达到最接近GT框的位置；
所述深度信息获取模型通过以下方法训练得到：
获取RGB图像和与之对应的深度图像组成RGB-D图像对；
获取多个RGB-D图像对组成第二训练集；
采用迁移学习法利用所述第二训练集训练初始化后的深度信息估计模型得到所述深度信息获取模型；
所述深度信息获取模型还使用NYU Depth数据集通过监督学习的训练方法训练得到，监督学习用于训练样本。
4.如权利要求3所述的辅助检测系统,其特征在于，所述病变信息至少包括表示病变区域的病变标注框、该病变区域的病变类型和病变的概率；
还包括特征提取模块；
所述特征提取模块用于对输入的目标图像进行特征提取，并将提取的特征信息分别输入所述病变检测模型和深度信息获取模型中；
所述病变检测模型用于根据所述特征信息进行病变检测，得到表示病变区域的病变标注框、该病变区域的病变类型和病变的概率；
所述深度信息获取模型用于根据所述特征信息得到所述目标图像的深度信息。
5.一种立体内窥镜辅助检测装置，其特征在于，包括：
内窥镜，用于实时获取待检测区域的目标图像；
处理器，用于将所述目标图像输入到预先训练好的神经网络模型中得到3D标注视图，所述3D标注视图上包括用于表示病变区域的3D病变标注框；
显示器，用于实时显示所述3D标注视图；
其中，所述神经网络模型包括病变检测模型、深度信息获取模型和3D转换模块；所述病变检测模型用于对输入的目标图像进行特征检测得到病变信息；所述深度信息获取模型用于获取输入的目标图像的深度信息；所述3D转换模块用于根据所述深度信息将所述目标图像转换成3D视图，并在所述3D视图上对所述病变信息进行标注，得到所述3D标注视图；
所述神经网络模型中，在训练好所述病变检测模型和所述深度信息获取模型之后，所述处理器还包括：用于获取所述病变检测模型或所述深度信息获取模型的精度、平均精度和速度，以验证所述病变检测模型或所述深度信息获取模型的性能是否满足要求，具体包括：
通过测试集来测试训练好的模型对新样本的识别能力以及识别的实时性；再根据混淆矩阵，计算出精度P和召回率R，绘制出P-R曲线；在绘制出平滑的P-R曲线后，通过积分的方法计算平滑曲线下方的面积作为最终的AP值，所述AP值用于计算出召回率；若当前训练好的神经网络模型评估结果达到要求，保留该神经网络模型的参数；若评估结果未能满足要求，调整超参数、网络结构或者增加训练样本的数量进行重新训练，直到模型满足要求为止；
所述病变检测模型通过以下方法训练得到：
采用COCO预训练Faster RCNN目标检测模型的初始化参数得到初始检测模型；
获取多个病变图像并对其上的病变信息进行标注后以组成第一训练集；
采用迁移学习方法利用所述第一训练集训练所述初始检测模型得到所述病变检测模型；
所述病变检测模型训练过程中还采用分类损失函数，用于针对检测病变类型，用于分类癌变、息肉或糜烂；且所述病变检测模型训练时采用边框回归，用于让预测的病变标注达到最接近GT框的位置；
所述深度信息获取模型通过以下方法训练得到：
获取RGB图像和与之对应的深度图像组成RGB-D图像对；
获取多个RGB-D图像对组成第二训练集；
采用迁移学习法利用所述第二训练集训练初始化后的深度信息估计模型得到所述深度信息获取模型；
所述深度信息获取模型还使用NYU Depth数据集通过监督学习的训练方法训练得到，监督学习用于训练样本。
6.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1或2述的方法。
CN202011625385.2A 2020-12-31 2020-12-31 一种立体内窥镜辅助检测方法、系统、装置及存储介质 Active CN112651400B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011625385.2A CN112651400B (zh) 2020-12-31 2020-12-31 一种立体内窥镜辅助检测方法、系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011625385.2A CN112651400B (zh) 2020-12-31 2020-12-31 一种立体内窥镜辅助检测方法、系统、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112651400A CN112651400A (zh) 2021-04-13
CN112651400B true CN112651400B (zh) 2022-11-15

Family

ID=75366701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011625385.2A Active CN112651400B (zh) 2020-12-31 2020-12-31 一种立体内窥镜辅助检测方法、系统、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112651400B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117398042B (zh) * 2023-12-14 2024-03-19 深圳市博盛医疗科技有限公司 一种ai辅助检测的3d内窥镜系统及成像方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598708A (zh) * 2018-11-28 2019-04-09 武汉大学人民医院（湖北省人民医院） 一种超声内镜下识别和定位胰腺癌的系统及方法
CN109841272A (zh) * 2019-02-18 2019-06-04 广州明医医疗科技有限公司 实时图像识别显示设备
CN110009599A (zh) * 2019-02-01 2019-07-12 腾讯科技（深圳）有限公司 肝占位检测方法、装置、设备及存储介质
CN110993067A (zh) * 2019-12-05 2020-04-10 上海杏脉信息科技有限公司 医学影像标注系统
CN111242926A (zh) * 2020-01-13 2020-06-05 北京妙医佳健康科技集团有限公司 病灶检测方法、装置及电子设备
CN111292318A (zh) * 2020-03-12 2020-06-16 深圳智信生物医疗科技有限公司 内窥镜系统及内窥镜图像识别方法、设备、可存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3756129A1 (en) * 2018-02-21 2020-12-30 Robert Bosch GmbH Real-time object detection using depth sensors
JP7037220B2 (ja) * 2018-11-21 2022-03-16 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援システム、診断支援システムの作動方法、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
CN109447183B (zh) * 2018-11-27 2020-10-16 东软集团股份有限公司 预测模型训练方法、装置、设备以及介质
CN109859184B (zh) * 2019-01-29 2020-11-17 牛旗 一种连续扫描乳腺超声图像的实时检测与决策融合方法
CN110309329A (zh) * 2019-05-09 2019-10-08 河南萱闱堂医疗信息科技有限公司 内镜检查中智能化识别和记录消化道组织和异物的方法
CN110942446A (zh) * 2019-10-17 2020-03-31 付冲 一种基于ct影像的肺结节自动检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598708A (zh) * 2018-11-28 2019-04-09 武汉大学人民医院（湖北省人民医院） 一种超声内镜下识别和定位胰腺癌的系统及方法
CN110009599A (zh) * 2019-02-01 2019-07-12 腾讯科技（深圳）有限公司 肝占位检测方法、装置、设备及存储介质
CN109841272A (zh) * 2019-02-18 2019-06-04 广州明医医疗科技有限公司 实时图像识别显示设备
CN110993067A (zh) * 2019-12-05 2020-04-10 上海杏脉信息科技有限公司 医学影像标注系统
CN111242926A (zh) * 2020-01-13 2020-06-05 北京妙医佳健康科技集团有限公司 病灶检测方法、装置及电子设备
CN111292318A (zh) * 2020-03-12 2020-06-16 深圳智信生物医疗科技有限公司 内窥镜系统及内窥镜图像识别方法、设备、可存储介质

Also Published As

Publication number Publication date
CN112651400A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN110599448B (zh) 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统
CN110197493B (zh) 眼底图像血管分割方法
EP3989119A1 (en) Detection model training method and apparatus, computer device, and storage medium
CN110338841B (zh) 三维成像数据的显示处理方法和三维超声成像方法及系统
CN109544526B (zh) 一种慢性萎缩性胃炎图像识别系统、装置和方法
CN110600122B (zh) 一种消化道影像的处理方法、装置、以及医疗系统
CN109523535B (zh) 一种病变图像的预处理方法
CN110853011B (zh) 用于肺结节检测的卷积神经网络模型的构建方法
CN110736747B (zh) 一种细胞液基涂片镜下定位的方法及系统
CN115345819A (zh) 一种胃癌图像识别系统、装置及其应用
CN110619318B (zh) 基于人工智能的图像处理方法、显微镜、系统和介质
CN111931751B (zh) 深度学习训练方法、目标物识别方法、系统和存储介质
CN112672691B (zh) 一种超声成像方法及设备
CN103458765B (zh) 图像处理装置
CN111916206B (zh) 一种基于级联的ct影像辅助诊断系统
CN112200091A (zh) 舌头区域识别的方法、装置及计算机存储介质
CN102567734A (zh) 基于比值的视网膜细小血管分割方法
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
US20240005494A1 (en) Methods and systems for image quality assessment
CN114821189A (zh) 一种基于眼底图像的病灶图像分类与识别方法
Arjmand et al. Deep learning in liver biopsies using convolutional neural networks
CN114332132A (zh) 图像分割方法、装置和计算机设备
CN112651400B (zh) 一种立体内窥镜辅助检测方法、系统、装置及存储介质
CN112734707B (zh) 一种3d内窥镜辅助检测方法、系统、装置及存储介质
CN115880266B (zh) 一种基于深度学习的肠道息肉检测系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant