CN109063740A - 超声影像关键目标的检测模型构建及检测方法、装置 - Google Patents
超声影像关键目标的检测模型构建及检测方法、装置 Download PDFInfo
- Publication number
- CN109063740A CN109063740A CN201810730409.7A CN201810730409A CN109063740A CN 109063740 A CN109063740 A CN 109063740A CN 201810730409 A CN201810730409 A CN 201810730409A CN 109063740 A CN109063740 A CN 109063740A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- detected
- denominator
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种超声影像关键目标的检测模型构建及检测方法、装置模型,该方法包括:获取原始超声图像;对原始超声图像进行分类及目标区域标注,生成包含目标位置信息及目标类型信息的已标注训练数据;根据已标注训练数据训练分类网络模型,并确定各原始图像的特征图,建立超声图像特征数据库;根据超声图像特征数据库及目标位置信息训练目标区域检测模型;根据超声图像特征数据库及目标类型信息训练目标细分类模型;根据分类网络模型、目标区域检测模型及目标细分类模型构建超声影像关键目标检测模型。通过实施本发明,实现了从图像处理、目标位置检测、位置标注、目标类型细分等多任务的无缝衔接与联合处理,可以有效提高检测效率及准确度。
Description
技术领域
本发明涉及图像检测技术领域,具体涉及一种超声影像关键目标的检测模型构建及检测方法、装置。
背景技术
超声检测技术在工业、医疗等领域的应用已经较为成熟,其主要利用超声成像技术,借助超声波的方向性及高穿透性等特点,从探头设备中发射超声并在待检测物体中传播,通过采集透过材料的信号或者回声信号,对相关内容进行成像,从而在不破坏物体的情况下,对物体内部结构进行观察。
然而,因为在检测过程中往往会面临大量待检测物体,且一个小的疏漏就可能带来灾难性后果,例如对锅炉压力容器和管道腐蚀位置的漏检,可能会导致石油或者天然气大量泄漏等,从而引发环境污染并破坏社会稳定,漏检或者误检都会带来不必要的损失。并且,传统检测过程往往需要消耗大量时间,因为其成像与传统的可见光图像差异较大,所以,往往需要专业且富有经验的人员进行操作和分析确定结果,成本较高。
发明内容
有鉴于此,本发明实施例提供了一种超声影像关键目标的检测模型构建及检测方法、装置,以解决现有的超声检测技术存在的容易出现漏检、误差较大等问题。
根据第一方面,本发明实施例提供了一种超声影像关键目标检测模型构建方法,包括:获取原始超声图像;对所述原始超声图像进行分类及目标区域标注,生成包含目标位置信息及目标类型信息的已标注训练数据;根据所述已标注训练数据训练分类网络模型,并确定各所述原始图像的特征图,建立超声图像特征数据库;根据所述超声图像特征数据库及所述目标位置信息训练目标区域检测模型;根据所述超声图像特征数据库及所述目标类型信息训练目标细分类模型;根据所述分类网络模型、目标区域检测模型及目标细分类模型构建超声影像关键目标检测模型。
通过本发明实施例的超声影像关键目标检测模型构建方法所构建的关键目标检测模型,结合计算机图像处理及深度学习技术,构建分类网络模型、目标区域检测模型及目标细分类模型,将多个预测模型相结合,实现了对超声图像中目标位置的智能定位和标注,采用了自动化方式完成对目标区域的检测及类型细分,实现了从图像处理、目标位置检测、位置标注、目标类型细分等多任务的无缝衔接与联合处理,可以有效提高检测效率及准确度。
结合第一方面,在第一方面第一实施方式中,对所述原始超声图像进行分类及目标区域标注,包括:对所述原始超声图像进行二值化处理,并提取二值化处理后图像的边沿线段;根据所述边沿线段在所述二值化处理后图像中提取图像区域;判断所述图像区域中是否包含待检测目标;当所述图像区域中包含待检测目标时,根据所述待检测目标的参考像素与周围像素的差异构建备选目标区域;根据所述备选目标区域进行待检测目标的分析及目标区域标注。
结合第一方面,在第一方面第二实施方式中,所述已标注训练数据包括:包含待检测目标的第一类图像及未包含待检测目标的第二类图像;根据所述已标注训练数据训练分类网络模型,并确定各所述原始图像的特征图,包括:根据所述第一类图像及第二类图像训练基于深度卷积神经网络搭建的所述分类网络模型;提取所述分类网络模型中的其中一卷积层的输出结果作为所述特征图,或提取所述分类网络模型中的多个卷积层通过反卷积连接,累加融合后的输出结果作为所述特征图。
结合第一方面,在第一方面第三实施方式中,根据所述超声图像特征数据库及所述目标位置信息训练目标区域检测模型,包括:根据所述原始超声图像与特征图之间的位置映射关系在所述特征图上设定滑动窗口;根据所述分类网络模型判断所述滑动窗口对应的原始超声图像位置是否为待检测目标图像;如果所述滑动窗口对应的原始超声图像位置是待检测目标图像,则确定所述滑动窗口对应的原始超声图像位置与待检测目标图像的偏移量;根据所述偏移量、超声图像特征数据库及目标位置信息训练目标区域检测模型。
根据第二方面,本发明实施例提供了一种超声影像关键目标检测方法,包括:采集待检测超声波图像;根据所述超声波图像及如第一方面或第一方面任意一项实施方式所述的超声影像关键目标检测模型检测所述超声波图像中的待检测目标。
通过本发明实施例的超声影像关键目标检测模型构建方法所构建的关键目标检测模型,结合计算机图像处理及深度学习技术,构建分类网络模型、目标区域检测模型及目标细分类模型,将多个预测模型相结合,实现了对超声图像中目标位置的智能定位和标注,采用了自动化方式完成对目标区域的检测及类型细分,实现了从图像处理、目标位置检测、位置标注、目标类型细分等多任务的无缝衔接与联合处理,可以有效提高检测效率及准确度。
结合第二方面,在第二方面第一实施方式中,根据所述超声波图像及如第一方面或第一方面任意一项实施方式所述的超声影像关键目标检测模型检测所述超声波图像中的待检测目标,具体包括:对所述待检测超声波图像进行分类及目标区域标注,生成包含目标位置信息及目标类型信息的第一图像;使用所述分类网络模型提取所述第一图像中的第一特征图;使用所述目标区域检测模型检测所述第一特征图中的目标位置区域;使用所述目标细分类模型对所述目标位置区域进行细分类,确定所述待检测目标的目标类型;根据所述目标位置区域及目标类型在所述待检测超声波图像的对应位置进行标记。
结合第二方面,在第二方面第二实施方式中,该超声影像关键目标检测方法还包括:将检测后的待检测超声波图像输入所述已标记训练数据构成的关键目标超声影像数据库中,更新所述关键目标超声影像数据库。
根据第三方面,本发明实施例提供了一种超声影像关键目标检测模型构建装置,包括:图像获取模块,用于获取原始超声图像;已标注训练数据生成模块,用于对所述原始超声图像进行分类及目标区域标注,生成包含目标位置信息及目标类型信息的已标注训练数据;超声图像特征数据库建立模块,用于根据所述已标注训练数据训练分类网络模型,并确定各所述原始图像的特征图,建立超声图像特征数据库;目标区域检测模型训练模块,用于根据所述超声图像特征数据库及所述目标位置信息训练目标区域检测模型;目标细分类模型训练模块,用于根据所述超声图像特征数据库及所述目标类型信息训练目标细分类模型;超声影像关键目标检测模型构建模块,用于根据所述分类网络模型、目标区域检测模型及目标细分类模型构建超声影像关键目标检测模型。
根据第四方面,本发明实施例提供了超声影像关键目标检测装置,包括:待测图像采集模块,用于采集待检测超声波图像;目标检测模块,用于根据所述待检测超声波图像及如第一方面或第一方面任意一项实施方式所述的超声影像关键目标检测模型检测所述待检测超声波图像中的待检测目标。
根据第五方面,本发明实施例提供了一种超声影像关键目标检测设备,包括:超声图像采集设备、存储器和处理器,所述超声图像采集设备、所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面或者第一方面的任意一种实施方式中所述的超声影像关键目标检测模型构建方法;或是执行第二方面或者第二方面的任意一种实施方式中所述的超声影像关键目标检测方法。
根据第六方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的超声影像关键目标检测模型构建方法;或是执行第二方面或者第二方面的任意一种实施方式中所述的超声影像关键目标检测方法。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
图1示出了本发明实施例的超声影像关键目标检测模型构建方法的流程示意图;
图2A及图2B示出了本发明实施例的包含待检测目标的超声图像示意图;
图3示出了本发明实施例的对原始超声图像进行分类及目标区域标注的流程示意图;
图4示出了本发明实施例中所构建的深度卷积神经网络模型示意图;
图5示出了本发明实施例的使用超声影像关键目标检测模型进行检测的流程示意图;
图6示出了本发明实施例的超声影像关键目标检测模型构建装置的结构示意图;
图7示出了本发明实施例的超声影像关键目标检测装置的结构示意图;
图8示出了本发明实施例的超声影像关键目标检测设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种超声影像关键目标检测模型构建方法,如图1所示,该超声影像关键目标检测模型构建方法主要包括:
步骤S1:获取原始超声图像。在本发明实施例中,可以是使用传统的超声采集设备采集并积累大量应用场景的超声图像。其中,可调整超声图像的采集比例,使其中一半数量的影像包含有待检测目标,而另一半并不含有任何待检测目标。包含待检测目标的超声图像例如是如图2A及图2B所示,其中,图2A示出的是工业石油管道内部腐蚀位置的超声影像(待检测的关键目标为腐蚀位置),图2B示出的是对人体某组织扫描的结果(待检测的关键目标为人体内某组织器官),但上述原始超声图像仅为举例说明,并非用以限制本发明。
在本发明实施例中,还可通过使用对应应用场景中获得的超声图像,可将其中一些偏差较大(例如,图像尺寸相对于其他过小)的图像进行清洗,保留较为规则、清晰的原始图像资源。
步骤S2:对原始超声图像进行分类及目标区域标注,生成包含目标位置信息及目标类型信息的已标注训练数据。
具体地,如图3所示,对原始超声图像进行分类及目标区域标注的过程包括:
步骤S21:对原始超声图像进行二值化处理(例如利用基于双峰平均值的二值化方法),使得背景图像与感兴趣区域基本分离,采用直线检测算法等方法,从二值化处理后图像中提取关键的边沿线段;
步骤S22:根据边沿线段在二值化处理后图像中提取图像区域,从而最终确定出感兴趣区域的关键位置坐标。其中,可采用以下步骤实现图像区域的检测及裁剪过程:
(1)利用基于Canny算法进行边缘提取操作;
(2)将图像映射到霍夫空间,利用霍夫变换方法检测直线位置;
(3)根据直线的相对位置坐标及方向,确定垂直相交和相互平行的边沿线段;
(4)利用SOD(Salient Object Detection)显著性提取方法提取原始图像前景信息,并根据提取到的内容位置区域与(3)中检测的直线位置关系,过滤干扰直线;
(5)绘制过滤后的直线位置,并获取角点位置;
(6)根据角点位置及相对位置关系等,在原图上进行对应的裁剪,提取图像区域。
在实际应用中,由于采集原始超声图像所采用的B超设备可能存在差异,会导致所采集到的图像存在差别,例如主要影像区域位置以及图像整体亮度差异等。因此,为了避免这些因素影响模型训练过程,在本发明实施例中,还可对原始超声图像进行亮度调整,利用常用的均衡化方法调整,例如直方图均衡化方法等。
步骤S23:在提取了图像区域后,判断图像区域中是否包含待检测目标;
步骤S24:当图像区域中包含待检测目标时,根据待检测目标的参考像素与周围像素的差异构建备选目标区域。具体地,是选择出该图像区域中待检测目标中的一个像素作为参考像素(以该像素为中心),按照预设阈值,并根据周围像素与该点像素间的差异,向四周进行腐蚀性扩散,直到遇到不满足扩散条件的像素;将所有扩散获得的像素区域当成一个整体,作为备选的目标区域。
步骤S25:根据备选目标区域进行待检测目标的分析及目标区域标注。
在本发明实施例中,可将完成预处理和图像区域、目标区域与目标类型标注的超声图像统一存储,建立结构化的关键目标超声影像数据库。
步骤S3:根据已标注训练数据训练分类网络模型,并确定各原始图像的特征图,建立超声图像特征数据库。
具体地,是根据步骤S2所建立的关键目标超声影像数据库)其中含有两类数据,其中一类为影像中包含有待检测目标,而另一类是完全不包含有任何待检测目标的普通超声影像),将这两类数据作为训练数据,输入分类网络模型进行训练,例如,如图4所示,建立一个包含三层卷积层、三层池化层、一层全连接层、一层结果输出层的深度卷积神经网络模型用于对超声图像的分类,或者利用ResNet等网络模型进行fine-tuning之后,训练分类训练。在完成分类训练之后,将关键目标超声影像数据库中的超声图像输入训练好的网络中,取最后一个卷积层或者某一个卷积层输出的结果,作为该原始超声图像所对应的特征图,或者提取该分类网络模型中的多个卷积层通过反卷积连接,累加融合后的输出结果作为该原始超声图像所对应的特征图。在完成每张原始超声图像的特征图提取后,组成并构建超声图像特征数据库。
其中,深度卷积神经网络是人工神经网络结构的一种,在处理多维图像时,可以直接将图像作为输入矩阵进行训练,从而避免传统识别算法中复杂的特征提取和数据重建过程。卷积层通过利用滑动窗口的方法构建“卷积”运算,其将图像的局部信息与下一层中的部分节点相互连接,从而改变原有全连接的方法,大幅度减少训练参数。池化层通过在空间维度上进行降采样获得下层节点结果;全连接层则会将两层之间的所有节点进行相互连接。在深度卷积神经网络的建立中,还可用例如Relu激活函数、Dropout等,用于防止网络训练过拟合。
步骤S4:根据超声图像特征数据库及目标位置信息训练目标区域检测模型。
具体地,搭建目标检测深度神经网络模型,完成对目标区域的检测。根据特征与原图之间的位置映射关系,在特征图上设置不同大小的滑动窗口,例如5×5、7×7、9×9等尺寸,并进一步设置分类网络和位置精修网络。通过分类网络预测该滑动窗口所对应的原始图像位置是否为待检测目标图像,而利用位置精修网络,对其对应的原图位置进行偏移量计算。在网络训练中,分类网络与位置精修网络均采用浅层网络结构,共同使用超声图像特征数据库中该原始超声图像所对应的超声特征图,共同训练并调整网络参数,从而训练目标区域检测模型。
步骤S5:根据超声图像特征数据库及目标类型信息训练目标细分类模型。
具体地,可以是利用支持向量机(SVM)方法搭建目标细分类模型,完成对目标区域的细分类。将步骤S3中建立的超声图像特征数据库与已标注训练数据中的目标类型信息相结合,构成训练数据集,利用支持向量机(SVM)算法进行训练,获得目标类型的细分模型。
步骤S6:根据分类网络模型、目标区域检测模型及目标细分类模型构建超声影像关键目标检测模型。
通过上述步骤S1-步骤S5训练后的分类网络模型、目标区域检测模型及目标细分类模型构建超声影像关键目标检测模型,可用以后续对待检测的超声图像进行目标检测。
本发明实施例的超声影像关键目标检测模型构建方法所构建的超声影像关键目标检测模型,将多个预测模型相结合,实现了对超声图像中目标位置的智能定位和标注,采用了自动化方式完成对目标区域的检测及类型细分,实现了从图像处理、目标位置检测、位置标注、目标类型细分等多任务的无缝衔接与联合处理,可以有效提高检测效率及准确度。
本发明实施例还提供一种超声影像关键目标检测方法,用以检测超声波图像中是否有需要检测的目标对象(例如工业石油管道内部的腐蚀位置、人体某组织扫描的结果等)。该检测方法包括:采集待检测超声波图像,该待检测超声波图像可以是使用超声波采集设备接口所采集到的图像。然后,将该待检测超声波图像输入至上述任意实施例所述的超声影像关键目标检测模型构建方法所训练构建的超声影像关键目标检测模型中,对该待检测超声波图像进行检测。
具体地,如图5所示,使用该超声影像关键目标检测模型进行检测的过程主要包括:
步骤S51:对待检测超声波图像进行分类及目标区域标注,生成包含目标位置信息及目标类型信息的第一图像;具体可以是预处理并提取图像区域。
步骤S52:使用分类网络模型提取第一图像中的第一特征图。
步骤S53:使用目标区域检测模型检测第一特征图中的目标位置区域;
步骤S54:使用目标细分类模型对目标位置区域进行细分类,确定待检测目标的目标类型;
步骤S55:根据目标位置区域及目标类型在待检测超声波图像的对应位置进行标记,生成检测结果。
在实际应用中,可以是将该超声影像关键目标检测模型嵌入到扫描设备中,供超声检查人员使用,并可将该检测结果通过显示屏幕显示给检查人员。
可选地,在本发明的一些实施例中,还可将经过确认的实际检测结果及其对应的待检测超声波图像输入至关键目标超声影像数据库中,更新该关键目标超声影像数据库,从而基于更新后的关键目标超声影像数据库对后续训练的分类网络模型、目标区域检测模型及目标细分类模型进行更新及调整。在实际应用中,可采用一些方法对实际检测结果进行核对并确认。例如,在医疗超声影像检测中,可以是经过有经验的医生进行核对,并由病理报告确诊核对。而在管道泄漏检测中,则可以是由专业且富有经验的人员进行确认。经过确认的检测结果,可以用于训练并更新该超声影像关键目标检测模型,提高模型精度。
本发明实施例的超声影像关键目标检测方法,结合计算机图像处理及深度学习技术,构建分类网络模型、目标区域检测模型及目标细分类模型,将多个预测模型相结合,实现了对超声图像中目标位置的智能定位和标注,采用了自动化方式完成对目标区域的检测及类型细分,实现了从图像处理、目标位置检测、位置标注、目标类型细分等多任务的无缝衔接与联合处理,可以有效提高检测效率及准确度。
本发明实施例还提供一种超声影像关键目标检测模型构建装置,如图6所示,该超声影像关键目标检测模型构建装置包括:
图像获取模块61,用于获取原始超声图像;详细内容请参见上述方法实施例的步骤S1。
已标注训练数据生成模块62,用于对原始超声图像进行分类及目标区域标注,生成包含目标位置信息及目标类型信息的已标注训练数据;详细内容请参见上述方法实施例的步骤S2。
超声图像特征数据库建立模块63,用于根据已标注训练数据训练分类网络模型,并确定各原始图像的特征图,建立超声图像特征数据库;详细内容请参见上述方法实施例的步骤S3。
目标区域检测模型训练模块64,用于根据超声图像特征数据库及目标位置信息训练目标区域检测模型;详细内容请参见上述方法实施例的步骤S4。
目标细分类模型训练模块65,用于根据超声图像特征数据库及目标类型信息训练目标细分类模型;详细内容请参见上述方法实施例的步骤S5。
超声影像关键目标检测模型构建模块66,用于根据分类网络模型、目标区域检测模型及目标细分类模型构建超声影像关键目标检测模型。详细内容请参见上述方法实施例的步骤S6。
本发明实施例还提供一种超声影像关键目标检测装置,如图7所示,该超声影像关键目标检测装置包括:待测图像采集模块71,用于采集待检测超声波图像;目标检测模块72,用于根据待检测超声波图像及上述任意方法实施例所述的超声影像关键目标检测模型构建方法所构建的超声影像关键目标检测模型检测待检测超声波图像中的待检测目标,详细内容请参见上述方法实施例的步骤S51-步骤S55。
本发明实施例还提供了一种超声影像关键目标检测设备,如图8所示,该超声影像关键目标检测设备可以包括处理器81、存储器82及超声图像采集设备83,其中处理器81、存储器82及超声图像采集设备83可以通过总线或者其他方式连接,图8中以通过总线连接为例。
其中,超声图像采集设备83用以采集待检测的超声波图像,并将该待检测的超声波图像至处理器81。
处理器81可以为中央处理器(Central Processing Unit,CPU)。处理器81还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器82作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施例中的超声影像关键目标检测模型构建方法或超声影像关键目标检测方法对应的程序指令/模块(例如,图6所示的图像获取模块61、已标注训练数据生成模块62、超声图像特征数据库建立模块63、目标区域检测模型训练模块64、目标细分类模型训练模块65及超声影像关键目标检测模型构建模块66,或图7所示的待测图像采集模块71及目标检测模块72)。处理器81通过运行存储在存储器82中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的超声影像关键目标检测模型构建方法或超声影像关键目标检测方法。
存储器82可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器81所创建的数据等。此外,存储器82可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器82可选包括相对于处理器81远程设置的存储器,这些远程存储器可以通过网络连接至处理器81。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器82中,当被所述处理器81执行时,执行如图1-图5所示实施例中的超声影像关键目标检测模型构建方法或超声影像关键目标检测方法。
上述超声影像关键目标检测设备具体细节可以对应参阅图1至图5所示的实施例中对应的相关描述和效果进行理解,此处不再赘述。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random AccessMemory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (11)
1.一种超声影像关键目标检测模型构建方法,其特征在于,包括:
获取原始超声图像;
对所述原始超声图像进行分类及目标区域标注,生成包含目标位置信息及目标类型信息的已标注训练数据;
根据所述已标注训练数据训练分类网络模型,并确定各所述原始图像的特征图,建立超声图像特征数据库;
根据所述超声图像特征数据库及所述目标位置信息训练目标区域检测模型;
根据所述超声图像特征数据库及所述目标类型信息训练目标细分类模型;
根据所述分类网络模型、目标区域检测模型及目标细分类模型构建超声影像关键目标检测模型。
2.根据权利要求1所述的超声影像关键目标检测模型构建方法,其特征在于,对所述原始超声图像进行分类及目标区域标注,包括:
对所述原始超声图像进行二值化处理,并提取二值化处理后图像的边沿线段;
根据所述边沿线段在所述二值化处理后图像中提取图像区域;
判断所述图像区域中是否包含待检测目标;
当所述图像区域中包含待检测目标时,根据所述待检测目标的参考像素与周围像素的差异构建备选目标区域;
根据所述备选目标区域进行待检测目标的分析及目标区域标注。
3.根据权利要求1所述的超声影像关键目标检测模型构建方法,其特征在于,所述已标注训练数据包括:包含待检测目标的第一类图像及未包含待检测目标的第二类图像;
根据所述已标注训练数据训练分类网络模型,并确定各所述原始图像的特征图,包括:
根据所述第一类图像及第二类图像训练基于深度卷积神经网络搭建的所述分类网络模型;
提取所述分类网络模型中的其中一卷积层的输出结果作为所述特征图,或提取所述分类网络模型中的多个卷积层通过反卷积连接,累加融合后的输出结果作为所述特征图。
4.根据权利要求1所述的超声影像关键目标检测模型构建方法,其特征在于,根据所述超声图像特征数据库及所述目标位置信息训练目标区域检测模型,包括:
根据所述原始超声图像与特征图之间的位置映射关系在所述特征图上设定滑动窗口;
根据所述分类网络模型判断所述滑动窗口对应的原始超声图像位置是否为待检测目标图像;
如果所述滑动窗口对应的原始超声图像位置是待检测目标图像,则确定所述滑动窗口对应的原始超声图像位置与待检测目标图像的偏移量;
根据所述偏移量、超声图像特征数据库及目标位置信息训练目标区域检测模型。
5.一种超声影像关键目标检测方法,其特征在于,包括:
采集待检测超声波图像;
根据所述待检测超声波图像及如权利要求1-4中任一项所述的超声影像关键目标检测模型检测所述待检测超声波图像中的待检测目标。
6.根据权利要求5所述的超声影像关键目标检测方法,其特征在于,根据所述待检测超声波图像及如权利要求1-4中任一项所述的超声影像关键目标检测模型检测所述待检测超声波图像中的待检测目标,包括:
对所述待检测超声波图像进行分类及目标区域标注,生成包含目标位置信息及目标类型信息的第一图像;
使用所述分类网络模型提取所述第一图像中的第一特征图;
使用所述目标区域检测模型检测所述第一特征图中的目标位置区域;
使用所述目标细分类模型对所述目标位置区域进行细分类,确定所述待检测目标的目标类型;
根据所述目标位置区域及目标类型在所述待检测超声波图像的对应位置进行标记。
7.根据权利要求5所述的超声影像关键目标检测方法,其特征在于,还包括:
将检测后的待检测超声波图像输入所述已标记训练数据构成的关键目标超声影像数据库中,更新所述关键目标超声影像数据库。
8.一种超声影像关键目标检测模型构建装置,其特征在于,包括:
图像获取模块,用于获取原始超声图像;
已标注训练数据生成模块,用于对所述原始超声图像进行分类及目标区域标注,生成包含目标位置信息及目标类型信息的已标注训练数据;
超声图像特征数据库建立模块,用于根据所述已标注训练数据训练分类网络模型,并确定各所述原始图像的特征图,建立超声图像特征数据库;
目标区域检测模型训练模块,用于根据所述超声图像特征数据库及所述目标位置信息训练目标区域检测模型;
目标细分类模型训练模块,用于根据所述超声图像特征数据库及所述目标类型信息训练目标细分类模型;
超声影像关键目标检测模型构建模块,用于根据所述分类网络模型、目标区域检测模型及目标细分类模型构建超声影像关键目标检测模型。
9.一种超声影像关键目标检测装置,其特征在于,包括:
待测图像采集模块,用于采集待检测超声波图像;
目标检测模块,用于根据所述待检测超声波图像及如权利要求1-4中任一项所述的超声影像关键目标检测模型检测所述待检测超声波图像中的待检测目标。
10.一种超声影像关键目标检测设备,其特征在于,包括:
超声图像采集设备、存储器和处理器,所述超声图像采集设备、所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行如权利要求1-4中任一项所述的超声影像关键目标检测模型构建方法,或,执行如权利要求5-7中任一项所述的超声影像关键目标检测方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行如权利要求1-4中任一项所述的超声影像关键目标检测模型构建方法,或,执行如权利要求5-7中任一项所述的超声影像关键目标检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810730409.7A CN109063740A (zh) | 2018-07-05 | 2018-07-05 | 超声影像关键目标的检测模型构建及检测方法、装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810730409.7A CN109063740A (zh) | 2018-07-05 | 2018-07-05 | 超声影像关键目标的检测模型构建及检测方法、装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109063740A true CN109063740A (zh) | 2018-12-21 |
Family
ID=64819315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810730409.7A Pending CN109063740A (zh) | 2018-07-05 | 2018-07-05 | 超声影像关键目标的检测模型构建及检测方法、装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109063740A (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110110652A (zh) * | 2019-05-05 | 2019-08-09 | 达闼科技(北京)有限公司 | 一种目标检测方法、电子设备及存储介质 |
CN110378420A (zh) * | 2019-07-19 | 2019-10-25 | Oppo广东移动通信有限公司 | 一种图像检测方法、装置及计算机可读存储介质 |
CN110613480A (zh) * | 2019-01-14 | 2019-12-27 | 广州爱孕记信息科技有限公司 | 基于深度学习的胎儿超声动态影像检测方法及系统 |
CN111291799A (zh) * | 2020-01-21 | 2020-06-16 | 青梧桐有限责任公司 | 房间窗户分类模型构建方法、房间窗户分类方法及系统 |
CN111403007A (zh) * | 2018-12-29 | 2020-07-10 | 深圳迈瑞生物医疗电子股份有限公司 | 一种超声成像的优化方法、超声成像系统和计算机可读存储介质 |
CN111462865A (zh) * | 2020-02-28 | 2020-07-28 | 平安国际智慧城市科技股份有限公司 | 医疗影像识别模型生成方法、装置、计算机设备和介质 |
CN111753857A (zh) * | 2019-03-26 | 2020-10-09 | 北京地平线机器人技术研发有限公司 | 一种应用于目标物的自动分类的模型训练方法、装置及电子设备 |
CN112102230A (zh) * | 2020-07-24 | 2020-12-18 | 湖南大学 | 超声切面识别方法、系统、计算机设备和存储介质 |
CN112164446A (zh) * | 2020-10-13 | 2021-01-01 | 电子科技大学 | 一种基于多网络融合的医疗影像报告生成方法 |
CN112381006A (zh) * | 2020-11-17 | 2021-02-19 | 深圳度影医疗科技有限公司 | 一种超声影像的分析方法、存储介质及终端设备 |
CN112465786A (zh) * | 2020-12-01 | 2021-03-09 | 平安科技(深圳)有限公司 | 模型训练方法、数据处理方法、装置、客户端及存储介质 |
CN112652390A (zh) * | 2019-10-11 | 2021-04-13 | 无锡祥生医疗科技股份有限公司 | 超声影像调节自定义方法、存储介质及超声诊断设备 |
WO2021098779A1 (zh) * | 2019-11-20 | 2021-05-27 | Oppo广东移动通信有限公司 | 目标检测方法、装置、设备及计算机可读存储介质 |
CN113408533A (zh) * | 2021-08-23 | 2021-09-17 | 首都医科大学附属北京妇产医院 | 基于胎儿超声影像特征组学的染色体异常预测模型的构建方法及诊断设备 |
CN113762292A (zh) * | 2020-06-03 | 2021-12-07 | 杭州海康威视数字技术股份有限公司 | 一种训练数据获取方法、装置及模型训练方法、装置 |
CN113822839A (zh) * | 2020-06-18 | 2021-12-21 | 飞依诺科技(苏州)有限公司 | 医学图像的处理方法、装置、计算机设备和存储介质 |
CN114240947A (zh) * | 2022-02-28 | 2022-03-25 | 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) | 声扫图像数据库的构建方法、装置、计算机设备 |
CN116385814A (zh) * | 2023-03-07 | 2023-07-04 | 广州市妇女儿童医疗中心 | 一种检测目标的超声筛查方法、系统、装置及介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101660932A (zh) * | 2009-06-15 | 2010-03-03 | 浙江大学 | 一种指针式汽车仪表自动校验方法 |
CN102509457A (zh) * | 2011-10-09 | 2012-06-20 | 青岛海信网络科技股份有限公司 | 一种车辆跟踪的方法及装置 |
CN103020658A (zh) * | 2012-12-31 | 2013-04-03 | 中国科学院自动化研究所 | 二维图像中的物体识别方法 |
CN105930791A (zh) * | 2016-04-19 | 2016-09-07 | 重庆邮电大学 | 基于ds证据理论的多摄像头融合的路面交通标志识别方法 |
CN106971167A (zh) * | 2017-03-30 | 2017-07-21 | 北京兴农丰华科技有限公司 | 基于无人机平台的作物生长分析方法及其分析系统 |
US9739783B1 (en) * | 2016-03-15 | 2017-08-22 | Anixa Diagnostics Corporation | Convolutional neural networks for cancer diagnosis |
CN107610113A (zh) * | 2017-09-13 | 2018-01-19 | 北京邮电大学 | 一种图像中基于深度学习的小目标的检测方法及装置 |
CN108121986A (zh) * | 2017-12-29 | 2018-06-05 | 深圳云天励飞技术有限公司 | 目标检测方法及装置、计算机装置和计算机可读存储介质 |
CN108229244A (zh) * | 2016-12-14 | 2018-06-29 | 贵港市瑞成科技有限公司 | 一种智能车前方运动车辆的检测方法 |
-
2018
- 2018-07-05 CN CN201810730409.7A patent/CN109063740A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101660932A (zh) * | 2009-06-15 | 2010-03-03 | 浙江大学 | 一种指针式汽车仪表自动校验方法 |
CN102509457A (zh) * | 2011-10-09 | 2012-06-20 | 青岛海信网络科技股份有限公司 | 一种车辆跟踪的方法及装置 |
CN103020658A (zh) * | 2012-12-31 | 2013-04-03 | 中国科学院自动化研究所 | 二维图像中的物体识别方法 |
US9739783B1 (en) * | 2016-03-15 | 2017-08-22 | Anixa Diagnostics Corporation | Convolutional neural networks for cancer diagnosis |
CN105930791A (zh) * | 2016-04-19 | 2016-09-07 | 重庆邮电大学 | 基于ds证据理论的多摄像头融合的路面交通标志识别方法 |
CN108229244A (zh) * | 2016-12-14 | 2018-06-29 | 贵港市瑞成科技有限公司 | 一种智能车前方运动车辆的检测方法 |
CN106971167A (zh) * | 2017-03-30 | 2017-07-21 | 北京兴农丰华科技有限公司 | 基于无人机平台的作物生长分析方法及其分析系统 |
CN107610113A (zh) * | 2017-09-13 | 2018-01-19 | 北京邮电大学 | 一种图像中基于深度学习的小目标的检测方法及装置 |
CN108121986A (zh) * | 2017-12-29 | 2018-06-05 | 深圳云天励飞技术有限公司 | 目标检测方法及装置、计算机装置和计算机可读存储介质 |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111403007A (zh) * | 2018-12-29 | 2020-07-10 | 深圳迈瑞生物医疗电子股份有限公司 | 一种超声成像的优化方法、超声成像系统和计算机可读存储介质 |
CN110613480B (zh) * | 2019-01-14 | 2022-04-26 | 广州爱孕记信息科技有限公司 | 基于深度学习的胎儿超声动态影像检测方法及系统 |
CN110613480A (zh) * | 2019-01-14 | 2019-12-27 | 广州爱孕记信息科技有限公司 | 基于深度学习的胎儿超声动态影像检测方法及系统 |
CN111753857A (zh) * | 2019-03-26 | 2020-10-09 | 北京地平线机器人技术研发有限公司 | 一种应用于目标物的自动分类的模型训练方法、装置及电子设备 |
CN110110652A (zh) * | 2019-05-05 | 2019-08-09 | 达闼科技(北京)有限公司 | 一种目标检测方法、电子设备及存储介质 |
CN110378420A (zh) * | 2019-07-19 | 2019-10-25 | Oppo广东移动通信有限公司 | 一种图像检测方法、装置及计算机可读存储介质 |
CN112652390B (zh) * | 2019-10-11 | 2023-11-24 | 无锡祥生医疗科技股份有限公司 | 超声影像调节自定义方法、存储介质及超声诊断设备 |
CN112652390A (zh) * | 2019-10-11 | 2021-04-13 | 无锡祥生医疗科技股份有限公司 | 超声影像调节自定义方法、存储介质及超声诊断设备 |
WO2021098779A1 (zh) * | 2019-11-20 | 2021-05-27 | Oppo广东移动通信有限公司 | 目标检测方法、装置、设备及计算机可读存储介质 |
CN111291799A (zh) * | 2020-01-21 | 2020-06-16 | 青梧桐有限责任公司 | 房间窗户分类模型构建方法、房间窗户分类方法及系统 |
CN111462865A (zh) * | 2020-02-28 | 2020-07-28 | 平安国际智慧城市科技股份有限公司 | 医疗影像识别模型生成方法、装置、计算机设备和介质 |
CN113762292A (zh) * | 2020-06-03 | 2021-12-07 | 杭州海康威视数字技术股份有限公司 | 一种训练数据获取方法、装置及模型训练方法、装置 |
CN113762292B (zh) * | 2020-06-03 | 2024-02-02 | 杭州海康威视数字技术股份有限公司 | 一种训练数据获取方法、装置及模型训练方法、装置 |
CN113822839B (zh) * | 2020-06-18 | 2024-01-23 | 飞依诺科技股份有限公司 | 医学图像的处理方法、装置、计算机设备和存储介质 |
CN113822839A (zh) * | 2020-06-18 | 2021-12-21 | 飞依诺科技(苏州)有限公司 | 医学图像的处理方法、装置、计算机设备和存储介质 |
CN112102230A (zh) * | 2020-07-24 | 2020-12-18 | 湖南大学 | 超声切面识别方法、系统、计算机设备和存储介质 |
CN112164446A (zh) * | 2020-10-13 | 2021-01-01 | 电子科技大学 | 一种基于多网络融合的医疗影像报告生成方法 |
CN112164446B (zh) * | 2020-10-13 | 2022-04-22 | 电子科技大学 | 一种基于多网络融合的医疗影像报告生成方法 |
CN112381006A (zh) * | 2020-11-17 | 2021-02-19 | 深圳度影医疗科技有限公司 | 一种超声影像的分析方法、存储介质及终端设备 |
CN112465786A (zh) * | 2020-12-01 | 2021-03-09 | 平安科技(深圳)有限公司 | 模型训练方法、数据处理方法、装置、客户端及存储介质 |
CN113408533A (zh) * | 2021-08-23 | 2021-09-17 | 首都医科大学附属北京妇产医院 | 基于胎儿超声影像特征组学的染色体异常预测模型的构建方法及诊断设备 |
CN114240947A (zh) * | 2022-02-28 | 2022-03-25 | 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) | 声扫图像数据库的构建方法、装置、计算机设备 |
CN116385814A (zh) * | 2023-03-07 | 2023-07-04 | 广州市妇女儿童医疗中心 | 一种检测目标的超声筛查方法、系统、装置及介质 |
CN116385814B (zh) * | 2023-03-07 | 2023-12-05 | 广州市妇女儿童医疗中心 | 一种检测目标的超声筛查方法、系统、装置及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109063740A (zh) | 超声影像关键目标的检测模型构建及检测方法、装置 | |
Zhang et al. | A review of deep learning-based semantic segmentation for point cloud | |
Armeni et al. | 3d scene graph: A structure for unified semantics, 3d space, and camera | |
Hu et al. | Learning semantic segmentation of large-scale point clouds with random sampling | |
Liu et al. | Floornet: A unified framework for floorplan reconstruction from 3d scans | |
CN109241967B (zh) | 基于深度神经网络的甲状腺超声图像自动识别系统、计算机设备、存储介质 | |
US20230033601A1 (en) | Dynamic self-learning medical image method and system | |
CN106971152B (zh) | 一种基于航拍图像的检测输电线路中鸟巢的方法 | |
JP7099509B2 (ja) | 産業機器ゲージのデジタル化及びアラームのためのコンピュータビジョンシステム | |
CN109583457A (zh) | 一种机器人定位与地图构建的方法及机器人 | |
US8319793B2 (en) | Analyzing pixel data by imprinting objects of a computer-implemented network structure into other objects | |
Zhao et al. | Reconstructing BIM from 2D structural drawings for existing buildings | |
CN110232383A (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统 | |
Huang et al. | Deep learning-based instance segmentation of cracks from shield tunnel lining images | |
CN109815770A (zh) | 二维码检测方法、装置及系统 | |
Rodriguez et al. | Optical fish trajectory measurement in fishways through computer vision and artificial neural networks | |
Hétroy-Wheeler et al. | Segmentation of tree seedling point clouds into elementary units | |
CN112614133B (zh) | 一种无锚点框的三维肺结节检测模型训练方法及装置 | |
Yang et al. | Visual anomaly detection for images: A systematic survey | |
CN109522963A (zh) | 一种单机运行的特征建筑目标检测方法和系统 | |
CN108171702A (zh) | 易损斑块识别方法、应用服务器及计算机可读存储介质 | |
Kharroubi et al. | Three dimensional change detection using point clouds: A review | |
CN109086649A (zh) | 卫星遥感图像水体识别方法 | |
Hu et al. | PolyBuilding: Polygon transformer for building extraction | |
CN111639668A (zh) | 一种基于深度学习的人群密度检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181221 |
|
RJ01 | Rejection of invention patent application after publication |