CN112990367A - 一种图像处理方法、装置、设备以及存储介质 - Google Patents

一种图像处理方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN112990367A
CN112990367A CN202110447215.8A CN202110447215A CN112990367A CN 112990367 A CN112990367 A CN 112990367A CN 202110447215 A CN202110447215 A CN 202110447215A CN 112990367 A CN112990367 A CN 112990367A
Authority
CN
China
Prior art keywords
image
result
coordinate information
pixel coordinate
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110447215.8A
Other languages
English (en)
Inventor
高琪
方存亮
鲁云霞
魏润杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shengshi Technology Co ltd
Original Assignee
Hangzhou Shengshi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shengshi Technology Co ltd filed Critical Hangzhou Shengshi Technology Co ltd
Priority to CN202110447215.8A priority Critical patent/CN112990367A/zh
Publication of CN112990367A publication Critical patent/CN112990367A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Abstract

本申请实施例公开了一种图像处理方法、装置、设备以及存储介质,所述方法包括:对待处理图像进行处理,得到第一结果;其中,所述第一结果,包含至少一个第一对象的像素坐标信息;所述待处理图像,为至少包含所述第一对象的医疗图像;对所述第一结果中的像素坐标信息进行层次聚类,得到聚类结果;基于所述聚类结果,对所述待处理图像进行标记处理,以确定所述第一对象在所述待处理图像中的位置信息。

Description

一种图像处理方法、装置、设备以及存储介质
技术领域
本申请涉及医疗图像处理技术领域,尤其涉及一种图像处理方法、装置、设备以及存储介质。
背景技术
冠状动脉,用于为心脏提供血液,其起于主动脉根部主动脉窦内,分左右两支,分布在心脏表面,在心脏的血液循环中具有重要的地位。因此,在临床实践中,对冠脉(冠状动脉的简称)入口点的准确查找,对心脏类疾病的诊断、冠脉重构等具有重要的影响。然而,现代医疗图像处理技术的发达,虽然可以为冠脉入口点确定提供便利的条件,但是由于冠脉入口点位置的特殊性,使得医疗图像中的主动脉与冠脉之间没有明显的界限,再加上医疗图像特征的特殊性,使得相关技术无法准确的获知医疗图像中的冠脉入口点。
发明内容
基于以上问题,本申请实施例提供了一种图像处理方法、装置、设备以及存储介质。
本申请实施例提供的图像处理方法,在获取第一对象的像素坐标信息之后,通过层次聚类方法,能够获取各个像素坐标信息之间的层次关系,从而提高了冠脉入口点的定位精度。
本申请实施例提供的技术方案是这样的:
本申请实施例提供了一种图像处理方法,所述方法包括:
对待处理图像进行处理,得到第一结果;其中,所述第一结果,包含至少一个第一对象的像素坐标信息;所述待处理图像,为至少包含所述第一对象的医疗图像;
对所述第一结果中的像素坐标信息进行层次聚类,得到聚类结果;
基于所述聚类结果,对所述待处理图像进行标记处理,以确定所述第一对象在所述待处理图像中的位置信息。
在一些实施方式中,所述对所述第一结果中的像素坐标信息进行层次聚类,得到聚类结果,包括:
获取所述第一结果中的所述像素坐标信息之间的距离信息;
基于所述距离信息,对所述第一结果中的所述像素坐标信息进行层次聚类,确定像素坐标信息的数量最多的至少两个像素坐标信息集合;其中,所述至少两个像素坐标集合中的像素坐标信息的数量,大于第一阈值;
对像素坐标信息数量最多的至少两个所述像素坐标信息集合中的像素坐标信息进行统计,得到所述聚类结果。
在一些实施方式中,所述基于所述距离信息,对所述第一结果中的所述像素坐标信息进行层次聚类,包括:
确定第二阈值;其中,所述第二阈值,表示所述层次聚类过程中不同类之间的距离阈值;
基于所述距离信息、以及所述第二阈值,对所述第一结果中的像素坐标信息进行层次聚类。
在一些实施方式中,所述对所述第一结果中的像素坐标信息进行层次聚类,包括:
确定目标聚合策略;其中,所述目标聚合策略,包括自下而上的聚合策略;
基于所述目标聚合策略,对所述第一结果中的像素坐标信息进行层次聚类处理。
在一些实施方式中,所述对待处理图像进行处理,得到第一结果,包括:
通过训练完成的识别网络,对所述待处理图像进行识别处理,得到所述第一结果;其中,所述训练完成的识别网络,是基于样本数据对识别网络进行训练得到的;所述识别网络,包括BasicBlock模块;所述BasicBlock模块,至少包括三维卷积单元以及正则处理单元;所述样本数据,包括包含所述第一对象的医疗图像。
在一些实施方式中,所述训练完成的识别网络,是通过以下方式训练得到的:
对所述样本数据进行分析,确定第一标签以及第二标签;其中,所述第一标签,包括所述第一对象在所述样本数据中的区域标签;所述第二标签,包括第二对象在所述样本数据中的区域标签;所述第一对象连通至所述第二对象的指定位置;
基于所述第二标签,对所述样本数据进行处理,得到第二结果;其中,所述第二结果,包含至少一个第一对象的像素坐标信息;所述第二结果的像素数量,少于所述样本数据的像素数量;
基于所述第二结果以及所述第一标签,对所述识别网络进行训练,得到所述训练完成的识别网络。
在一些实施方式中,所述基于所述第二标签,对所述样本数据进行处理,得到第二结果,包括:
基于所述第二标签,对所述样本数据进行划分,得到第一图像;其中,所述第一图像,至少包含所述第一对象以及所述第二对象的像素区域信息;
对所述第一图像进行处理,得到所述第二结果。
在一些实施方式中,所述对所述第一图像进行处理,得到所述第二结果,包括:
确定膨胀参数;
基于所述膨胀参数,对所述第一图像进行膨胀处理,得到膨胀结果;
对所述第一图像以及所述膨胀结果进行处理,得到所述第二结果。
在一些实施方式中,所述基于所述第二结果以及所述第一标签,对所述识别网络进行训练,得到所述训练完成的识别网络,包括:
对所述第一标签进行分析,确定标签属性信息;其中,所述标签属性信息,至少包括所述第一标签对应的像素梯度信息;
基于所述标签属性信息,确定目标损失函数;其中,所述目标损失函数,用于均衡所述样本数据的像素差异;
基于所述目标损失函数、所述第二结果以及所述第一标签,对所述识别网络进行训练,得到所述训练完成的识别网络。
在一些实施方式中,所述待处理图像包括心脏医疗图像;所述第一对象包括冠脉入口点。
本申请实施例还提供了一种图像处理装置,所述图像处理装置包括:图像处理模块以及聚类处理模块,其中:
所述图像处理模块,用于对待处理图像进行处理,得到第一结果;其中,所述第一结果,包含至少一个第一对象的像素坐标信息;所述待处理图像,为至少包含所述第一对象的特征信息的医疗图像;
所述聚类处理模块,用于对所述第一结果中的像素坐标信息进行层次聚类,得到聚类结果;
所述图像处理模块,还用于基于所述聚类结果,对所述待处理图像进行标记处理,以确定所述第一对象在所述待处理图像中的位置信息。
本申请实施例还提供了一种图像处理设备,所述图像处理设备包括处理器和存储器以及通信总线,其中,所述通信总线用于实现所述处理器与所述存储器之间的通信连接;所述处理器用于执行所述存储器中存储的计算机程序,以实现如前任一所述的图像处理方法。
本申请实施例还提供了一种计算机可读存储介质,所述可读存储介质能够被处理器执行,以实现如前任一所述的图像处理方法。
本申请实施例提供的图像处理方法,在对待处理图像进行处理,得到包含与至少一个第一对象相关的像素坐标信息的第一结果之后,能够对第一结果中的像素坐标信息进行层次聚类,然后基于聚类结果,对待处理图像进行标记处理,以确定第一对象在待处理图像中的位置信息。如此,在本申请实施例中,通过对第一结果中的像素坐标信息进行层次聚类,能够快速精准而客观地获取第一结果中各个像素坐标信息之间的层次关系,从而提高了第一对象位置确定的精准度;在第一对象为冠脉入口点的情况下,本申请实施例提供的图像处理方法,能够提高冠脉入口点的定位精度。
附图说明
图1为本申请实施例提供的第一种图像处理方法的流程示意图;
图2为相关技术中心脏主动脉与冠脉结构示意图;
图3为本申请实施例提供的层次聚类的流程示意图;
图4为本申请实施例提供的识别网络的结构示意图;
图5为本申请实施例提供的立体结构的主动脉和冠脉、与计算机断层扫描血管造影(Computed Tomography Angiography,CTA)图像中主动脉和冠脉的对应标记示意图;
图6为本申请实施例提供的对样本数据预处理以及第一标签优化的流程示意图;
图7为本申请实施例提供的第二种图像处理方法的流程示意图;
图8a为本申请实施例提供的在待处理图像中标记左冠脉入口点坐标的标记结果示意图;
图8b为本申请实施例提供的在待处理图像中标记右冠脉入口点坐标的标记结果示意图;
图9为本申请实施例提供的图像处理装置的结构示意图;
图10为本申请实施例提供的图像处理设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请涉及信息技术领域,尤其涉及一种图像处理方法、图像处理装置、图像处理设备以及计算机可读存储介质。
在临床实践中,对冠脉入口点的准确查找,对心脏类疾病的诊断、冠脉重构等具有重要的影响。然而,现代医疗图像处理技术的发达,虽然可以为冠脉入口点确定提供便利的条件,但是由于冠脉入口点位置的特殊性,使得医疗图像中的主动脉与冠脉之间没有明显的界限,再加上医疗图像特征的特殊性,使得相关技术无法准确的获知医疗图像中的冠脉入口点。
基于以上问题,本申请实施例提供了一种图像处理方法,该图像处理方法可以是由图像处理设备的处理器来实现的,上述处理器可以为特定用途集成电路(ApplicationSpecific Integrated Circuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(Programmable Logic Device,PLD)、现场可编程逻辑门阵列(Field Programmable GateArray,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。
图1为本申请实施例提供的第一种图像处理方法的流程示意图。如图1所示,该图像处理方法可以包括步骤101至步骤103:
步骤101、对待处理图像进行处理,得到第一结果。
其中,第一结果,包含至少一个第一对象的像素坐标信息;待处理图像,为至少包含第一对象的医疗图像。
在一种实施方式中,像素坐标信息,可以为包含像素值的坐标信息。示例性地,像素坐标信息,可以以三维坐标的形式体现,比如三维矩阵。
在一种实施方式中,像素坐标信息中的坐标信息,可以是以像素点数量的形式体现的,比如,坐标信息的第一维度坐标值可以为20个像素、第二维度坐标值可以为30个像素。
在一种实施方式中,像素坐标信息中的像素值,可以是连续的,也可以是以较大的梯度跳跃的。
在一种实施方式中,医疗图像,可以为CTA图像。
在一种实施方式中,待处理图像的数量,可以为至少一个。
在一种实施方式中,在待处理图像的数量为多个的情况下,多个待处理图像可以为一组待处理图像。示例性地,以待处理图像为CTA图像为例,CTA图像采集过程中,同一组CTA图像可以是图像采集设备在指定方向上对器官或部位的不同截面进行多次采集的结果。因此,一组待处理图像中,可以携带有对应器官或部位的结构信息。
在一种实施方式中,待处理图像,可以为包括指定部位或器官的医疗图像。
在一种实施方式中,待处理图像,可以为包括病变部位的图像和/或未病变部位的医疗图像。
在一种实施方式中,待处理图像,还可以包括与第一对象关联的其它对象或部位。
在一种实施方式中,待处理图像中,包含的其它对象或部位的数量,可以为多个。
在一种实施方式中,至少一个第一对象,在待处理图像中,可以是相互隔离的,也可以具备连接关系的。
在一种实施方式中,第一结果,还可以包括与至少一个第一对象相关的其它对象或部位的像素坐标信息。
在一种实施方式中,第一结果,除了包含至少一个第一对象的像素坐标信息,还可以包含噪声像素坐标信息。示例性地,噪声像素坐标信息,可以包括对待处理图像处理的过程中产生的噪声像素信息。
在一种实施方式中,对待处理图像进行处理,得到第一结果,可以是通过以下任一方式实现的:
基于图像识别算法,对待处理图像进行处理,得到第一结果。
在第一对象对应的像素数量较少且识别较为困难的条件下,可以对待处理图像中的其它容易识别的对象进行识别处理,并根据识别处理的结果以及待处理图像之间的做差结果,得到第一结果。
步骤102、对第一结果中的像素坐标信息进行层次聚类,得到聚类结果。
在一种实施方式中,聚类结果,可以包括至少一个第一对象的边缘区域的坐标信息,示例性地,聚类结果,可以是连续分布的坐标信息的集合。
在一种实施方式中,聚类结果,可以表示至少一个第一对象的整体分布区域的坐标信息。
在一种实施方式中,聚类结果,可以表示至少一个第一对象的几何中心点的坐标信息。
在一种实施方式中,聚类结果,还可以表示至少一个第一对象的形态信息。
在一种实施方式中,多个聚类结果,可以携带有至少一个第一对象的结构信息。
在一种实施方式中,对第一结果中的像素坐标信息进行层次聚类,得到聚类结果,可以是通过以下任一方式实现的:
对第一结果中的全部或部分像素坐标信息依次进行层次聚类,得到聚类结果。
对第一结果中所包含的像素坐标信息进行筛选,得到目标像素坐标信息,并对目标像素坐标信息进行层次聚类,得到聚类结果;示例性地,目标像素坐标信息,可以为去除第一结果中的异常像素坐标信息的像素坐标信息集合;示例性地,异常像素坐标信息,可以包括第一结果中突变的像素坐标信息。
对第一结果中分布较为集中的像素坐标信息进行层次聚类,得到聚类结果。
步骤103、基于聚类结果,对待处理图像进行标记处理,以确定第一对象在待处理图像中的位置信息。
在一种实施方式中,第一对象在待处理图像中的位置信息,可以是第一对象在待处理图像中的轮廓位置信息。
在一种实施方式中,第一对象在待处理图像中的位置信息,可以是第一对象的中心点在待处理图像中的位置信息。
在一种实施方式中,第一对象在待处理图像中的位置信息,可以是第一对象在待处理图像中的整体分布区域的位置信息。
在一种实施方式中,第一对象在待处理图像中的位置信息,可以是至少一个第一对象中的任一第一对象在待处理图像中的位置信息。
在一种实施方式中,基于聚类结果,对待处理图像进行标记处理,以确定第一对象的位置信息,可以是通过以下任一方式实现的:
获取聚类结果对应的坐标信息,基于坐标信息与待处理图像的对应关系,对待处理图像中的像素点进行标记处理,将标记处理的结果连接起来,以确定第一对象的位置信息。
对聚类结果对应的坐标信息进行分析,确定坐标信息中的中心坐标信息,并基于中心坐标信息,对待处理图像中的对应像素点进行标记处理,以确定第一对象在待处理图像中的几何中心位置。
由以上可知,本申请实施例提供的图像处理方法,在对待处理图像进行处理,得到包含与至少一个第一对象相关的像素坐标信息的第一结果之后,能够对第一结果中的像素坐标信息进行层次聚类,然后基于聚类结果,对待处理图像进行标定处理,以确定第一对象在待处理图像中的位置信息。如此,在本申请实施例中,通过对第一结果中的像素坐标信息进行层次聚类,能够快速精准而客观地获取第一结果中各个像素坐标信息之间的层次关系,从而提高了第一对象位置确定的精准度;在第一对象为冠脉入口点的情况下,本申请实施例提供的图像处理方法,能够提高冠脉入口点的定位精度。
在本申请实施例中,待处理图像,包括心脏医疗图像;相应地,第一对象,包括冠脉入口点。
示例性地,第一对象,可以包括至少一个冠脉入口点。
在一种实施方式中,第一对象,还可以为具备与冠脉入口点相似特征的对象。示例性地,上述相似特征,可以包括在CTA图像中所占据的图像区域较小、且与其它器官或组织直接相连。
图2为相关技术中心脏主动脉与冠脉结构示意图。
在图2中,主动脉201的侧面分别与左冠脉202以及右冠脉203相连,左冠脉202通过左冠脉入口点204连接至主动脉201;右冠脉203通过右冠脉入口点205连接至主动脉201。
从图2中可以看出,左冠脉入口点204以及右冠脉入口点205所占的面积较小,且与主动脉201直接相连,因此,基于CTA图像识别和确定左右冠脉入口点的位置的挑战很大。
而通过本申请实施例所提供的图像处理方法,首先对待处理图像进行处理,得到与至少一个冠脉入口点相关的像素坐标信息的第一结果,经过以上处理,第一结果中所包含的像素数量以及坐标信息的数量、较待处理图像的像素数量以及坐标信息的数量,有大幅度的减少,并且还能够缩小至少一个冠脉入口点的图像确定范围,在此基础上,再对第一结果中的像素坐标信息进行层次聚类,就可以准确的提取得到至少一个冠脉入口点在待处理图像中的位置信息。
在本申请实施例中,步骤102,可以通过步骤A1至步骤A3实现:
步骤A1、获取第一结果中的像素坐标信息之间的距离信息。
在一种实施方式中,距离信息,可以包括像素坐标信息之间的直线距离;示例性地的,距离信息可以为欧式距离。
在一种实施方式中,距离信息,可以包括第一结果中除去异常像素坐标信息之外的、有效像素坐标信息之间的欧式距离。
在本申请实施例中,除去第一结果中的异常像素值,可以通过带有统计参数的离群值检测方法实现。示例性地,首先可以使用3σ标准(即
Figure 383785DEST_PATH_IMAGE001
)在第一结果中初步找到密度峰值,上述操作可以通过式(1)至式(2)实现:
Figure 217704DEST_PATH_IMAGE002
(1)
Figure 341649DEST_PATH_IMAGE003
(2)
在式(1)至式(2)中,T表示第一结果中的像素坐标信息集合;N表示第一结果中像素坐标信息的总数量;δ i 表示其它像素坐标信息与第i个像素坐标信息之间的最小距离;
Figure 110760DEST_PATH_IMAGE004
以及σ δ 分别表示δ i 的均值和标准差;i为大于或等于0的整数。
然后,可以根据密度峰值将数据进行集群分配,并标记相邻的像素坐标信息;最后,使用切比雪夫不等式和密度峰值的可达性,识别像素坐标信息中的离群值,并将其从第一结果中剔除,剩余的像素坐标信息的集合,可以记为有效像素坐标信息集合。此时,相对于第一结果,有效像素坐标信息集合的数据量有所减少,从而改善了有效像素坐标集合中数据的有效性,为后续的层次聚类的高效运算奠定基础。
步骤A2、基于距离信息,对第一结果中的像素坐标信息进行层次聚类,确定像素坐标信息的数量最多的至少两个像素坐标信息集合。
其中,至少两个像素坐标信息集合中的像素坐标信息的数量,大于第一阈值。
在一种实施方式中,基于距离信息,对第一结果中的像素坐标信息进行层次聚类,可以是通过以下方式实现的:
基于距离信息,将相近的两个类合并成一个新的类,然后再根据欧式距离集合,持续迭代上述过程,以得到多个类的集合。
在一种实施方式中,第一阈值,可以是预先设置的固定的阈值。
在一种实施方式中,第一阈值,可以根据待处理图像的状态和/或第一对象的特征而灵活的调整。
在一种实施方式中,在第一对象为冠脉入口点、且需要确定两个冠脉入口点的情况下,可以从多个类中选取像素坐标信息数量最多的两个类。
步骤A3、对像素坐标信息数量最多的至少两个像素坐标信息集合中的像素坐标信息进行统计,得到聚类结果。
在一种实施方式中,对像素坐标信息数量最多的至少两个像素坐标信息集合中的像素坐标信息进行统计,可以是通过以下任一方式实现的:
对像素坐标信息集合中的所有像素坐标信息进行统计平均。
根据像素坐标信息集合中所包含的像素坐标信息的数量,确定像素坐标信息集合对应的权重信息,并基于权重信息,对与权重信息相对应的像素坐标信息集合中的像素坐标信息进行加权统计平均。
通过以上方式,本申请实施例提供的图像处理方法,对第一结果中的像素坐标信息进行层次聚类的过程,是依据每一像素坐标信息之间的实际距离信息进行的,在层次聚类结束之后,还要选取像素坐标信息数量最多的至少两个类,并对选取得到的至少两个类中的像素坐标信息进行统计,得到聚类结果。由此,本申请实施例提供的图像处理方法中的聚类方法得到的聚类结果,能够更贴合至少一个第一对象即冠脉入口点在待处理图像中的实际像素分布状态,从而能够提高的冠脉入口点的精准度。
在本申请实施例中,步骤A2中基于距离信息,对第一结果中的像素坐标信息进行层次聚类,还可以通过步骤B1至步骤B2实现:
步骤B1、确定第二阈值。
其中,第二阈值,表示层次聚类过程中不同类之间的距离阈值。
在一种实施方式中,第二阈值,可以是固定的不可调整的。
在一种实施方式中,第二阈值,可以根据第一对象的结构特征、第一对象与其它对象之间的相对连接关系、待处理图像的像素特征、多个待处理图像之间的层间距等任一因素而确定。
在一种实施方式中,第二阈值,可以表示层次聚类过程中、划分不同类的距离阈值。示例性地,第二阈值,可以表示第一聚类中心与第二聚类中心之间的距离阈值。
在一种实施方式中,第二阈值,可以以像素点数量的形式体现,示例性地,第二阈值,可以为15个像素点数量。
步骤B2、基于距离信息、以及第二阈值,对第一结果中的像素坐标信息进行层次聚类。
在一种实施方式中,经过层次聚类可以得到多个类,示例性地,以层次聚类得到的第一类以及第二类为例,若第一类的第一聚类中心与第二类的第二聚类中心之间的距离,大于第二阈值,那么,在层次聚类过程中,第一类与第二类无法合并为一个新的类;反之,第一类的第一聚类中心与第二类的第二聚类中心之间的距离小于或等于第二阈值,那么,在层次聚类的过程中,第一类与第二类可以合并为一个新的类。
在本申请实施例中,步骤102中对第一结果中的像素坐标信息进行层次聚类的操作,还可以通过步骤C1至步骤C2实现:
步骤C1、确定目标聚合策略。
其中,目标聚合策略,包括自下而上的聚合策略。
在一种实施方式中,聚合策略,可以包括合并的聚合策略、分裂的聚合策略。
在一种实施方式中,聚合策略,可以包括自下而上的聚合策略、以及自上而下的聚合策略。
在一种实施方式中,目标聚合策略,可以是根据第一对象的结构特征而确定的。
在一种实施方式中,目标聚合策略,可以是根据第一对象与其它对象或其它部位之间的相对结构关系而确定的。
在一种实施方式中,目标聚合策略,可以是根据待处理图像的整体像素特征而确定的。
在一种实施方式中,待处理图像的数量,可以为多个,并且,多个待处理图像对应于第一对象在指定方向上的不同截面,示例性地,在指定方向上不同截面之间的距离,可以为CTA图像采集时的层间距,也就是说,目标聚合策略,可以根据待处理图像之间的层间距确定。
步骤C2、基于目标聚合策略,对第一结果中的像素坐标信息进行层次聚类处理。
在一种实施方式中,步骤C2,可以是通过以下任一方式实现:
获取第一结果中的像素坐标信息之间的距离信息,然后通过目标聚合策略,基于距离信息,对像素坐标信息进行层次聚类。
获取像素坐标信息之间的距离信息,然后采用自下而上的聚合策略进行层次聚类,将距离信息最相近的两个类合并成一个新的类,并迭代此过程,直至新的类无法合并为止。
在本申请实施例中,在获取与第一对象相关的像素坐标信息之后,还可以根据第一对象与其它部位或对象之间的相对结构特征、和/或第一对象的结构特征确定目标聚合策略,再根据目标聚合策略,对第一结果中的像素坐标信息进行层次聚类处理。由以上可知,由于目标聚合策略,是根据第一对象与其它部位或对象之间的相对结构特征、和/或第一对象的结构特征确定的,因此,基于目标聚合策略对像素坐标信息进行层次聚类之后得到的聚类结果,能够更准确的反应出第一对象的结构特征、及其在待处理图像中的实际位置信息。
图3为本申请实施例提供的层次聚类的流程示意图。如图3所示,该流程可以包括步骤301至步骤304:
步骤301、提取第一结果的像素坐标信息。
在一种实施方式中,第一结果的像素坐标信息,可以是以二维矩阵的形式体现的。
步骤302、利用带有统计参数的离群值检测方法,去除第一结果的像素坐标信息中的异常值。
示例性地,步骤302,可以通过前述实施例提供的去除异常像素坐标信息的方式实现。
步骤303、对去除异常值的第一结果的像素坐标信息进行层次聚类,从聚类结果中选出像素坐标信息数量最多的两类,得到冠脉入口点的两个坐标值。
示例性地,像素坐标信息数量最多的两类确定之后,还可以计算每一类中像素坐标信息的平均值,并将两个平均值作为冠脉入口点的坐标值。
步骤304、在待处理图像中标记冠脉入口点的坐标值。
示例性地,在实际应用中,若冠脉入口点坐标值的计算过程,涉及到了对待处理图像的缩放处理,则此处需要将冠脉入口点的坐标值进行对应的放缩处理,以使得两个坐标值能够与待处理图像中的冠脉入口点在像素密度上保持一致。
示例性地,还可以在待处理图像上标记冠脉入口点的区域轮廓信息。
示例性地,还可以将冠脉入口点的两个坐标值,标记至待处理图像中,从而得到直观的二维展示效果。
在本申请实施例中,对第一结果中的像素坐标信息进行的层次聚类操作所依据的第二阈值,是根据第一对象在待处理图像中客观特性而确定的,因此,基于第二阈值以及像素坐标信息之间的距离信息,对第一结果中的像素坐标信息进行层次聚类得到的聚类结果,就能够更贴合第一对象在待处理图像中的实际特性,从而为待处理图像中第一对象的精准定位奠定了基础。
在本申请实施例中,步骤101,可以通过以下方式实现:
通过训练完成的识别网络,对待处理图像进行识别,得到第一结果。
其中,训练完成的识别网络,是基于样本数据对识别网络进行训练得到的;识别网络,包括BasicBlock模块;BasicBlock模块,至少包括三维卷积单元以及正则处理单元;样本数据,包括包含第一对象的特征信息的医疗图像。
在一种实施方式中,样本数据,可以包括与待处理图像相同的采集参数采集得到的医疗图像。
在一种实施方式中,样本数据之间的采集参数,可以是不同的。
在一种实施方式中,样本数据中的医疗图像,可以是以分组的形式体现的。
在一种实施方式中,样本数据中每一组医疗图像,可以是针对包含第一对象的指定部位、在指定方向上按照指定的间隔如层间距采集得到的。
在一种实施方式中,样本数据中,任意两组医疗图像对应的层间距,可以不同。
在一种实施方式中,样本数据,可以包括多组人类胸部的CTA图像,其中,CTA图像可以为医学数字成像和通信(Digital Imaging and Communications in Medicine,DICOM)格式,在该格式的靶区头文件中携带有CTA图像的属性信息。
在本申请实施例中,每一组CTA图像的数量,可以都不同;每一CTA图像的分辨率可以相同,示例性地,为了后续识别网络训练的方便,每一CTA图像的分辨率可以均为512*512。
图4为本申请实施例提供的识别网络4的结构示意图。
如图4所示,识别网络4可以包括卷积层401、BasicBlock层402以及输出层403。
在图4中,卷积层401,可以包含至少一个卷积处理单元,示例性地,卷积层401,可以包含第一卷积处理单元4011、池化处理单元4012以及第二卷积处理单元4013。其中,池化处理单元4012,可以对第一卷积处理单元4011的输出数据进行正则处理以及池化处理操作。
在图4中,BasicBlock层402,可以为前述实施例所述的BasicBlock模块。示例性地,BasicBlock层402中,可以包含第一BasicBlock单元4021、第二BasicBlock单元4022以及第三BasicBlock单元4023。以第一BasicBlock单元4021为例,其包含第三卷积处理单元40211、第一正则池化单元40212、第四卷积处理单元40213、第二正则池化单元40214以及第五卷积处理单元40215。其中,第一正则池化单元40212,可以依次实现正则处理(BatchNormlization)以及池化处理;而第二正则池化单元40214,在执行正则处理之后,还能够接收通过下采样的残差连接输入的、第三卷积处理单元40211的输入数据,并且,第二正则池化单元40214,对正则处理的结果以及第三卷积处理单元40211的输入数据进行池化处理之后,还可以将池化处理的结果输入至第五卷积处理单元40215。
在图4中,下采样,可以是通过1*1的卷积实现的,通过这样的处理方法,在实现数据降维的同时,还不会损失特征信息;示例性地,下采样之后的数据再经过第二正则池化单元40214的正则处理,还可以加快识别网络的训练速度和收敛速度。
在本申请实施例中,残差连接,可以将后续对识别网络参数调节的反向传播由连乘形式更改为加法形式,从而使得识别网络的损失在反向传播的过程中,能够无损的直达每一模块;并且,残差连接,还可以将每个模块和单元的权重的更新部分都直接的作用在识别网络的整体损失中;另一方面,残差连接的存在,也使得识别网络在训练过程中的恒等映射简化,使得信息前后向传播更加顺畅,从而为识别网络的充分训练提供了条件,进而能够降低识别网络退化的风险。
在图4中,第三卷积处理单元40211、以及第五卷积处理单元40215,可以为前述实施例所述的三维卷积单元,从而能够从各自的输入数据中提取出样本图像的三维特征。
在图4中,第一正则池化单元40212以及第二正则池化单元40214,可以包括前述实施例所述的正则处理单元。
在本申请实施例中,正则处理单元执行的正则处理操作,可以缓解深度学习而产生的梯度消失与梯度爆炸的问题;另外,卷积操作之后的正则处理操作,还可以加快识别网络的训练和收敛的速度。
在图4中,输出层403可以包括数据接收单元4031、全连接单元4032以及激活单元4033。其中,数据接收单元4031,用于接收BasicBlock模块402的输出数据;全连接单元4032用于对BasicBlock层402的输出数据进行全连接处理;激活单元4033,可以通过Sigmoid函数实现,其用于对全连接单元4032输出数据进行特征激活。
在本申请实施例中,对各个处理环节的模块化划分,能够提高识别网络的训练效率。
由以上可知,本申请实施例提供的识别网络,是对ResNet10的网络结构进行改进而得到的,与ResNet10相比,本申请实施例提供的识别网络中引入了三维卷积操作和正则处理操作,从而使得识别网络能够更快捷的捕捉第一对象的空间信息,也能够加快识别网络的训练速度;并且,通过残差连接,还可以将样本数据中的浅层特征与深层特征相结合,使得识别网络能够学习到第一对象更多的特征信息。
在本申请实施例中,训练完成的识别网络,可以是通过步骤D1至步骤D3实现的:
步骤D1、对样本数据进行分析,确定第一标签以及第二标签。
其中,第一标签,包括第一对象在样本数据中的区域标签;第二标签,包括第二对象在样本数据中的区域标签;第一对象连通至第二对象的指定位置。
在一种实施方式中,第一标签,可以包括第一对象在样本数据中的立体分布区域标签;示例性地,每一组样本数据中,携带有第一对象的立体结构信息,根据第一图像的立体结构信息,就可以获得第一图像的立体分布区域标签。
在一种实施方式中,第一标签,可以包括第一对象在样本图像的任一医疗图像中的平面分布区域标签。示例性地,在任一样本数据中,第一对象是以二维信息的形式体现的,因此,第一标签,可以为封闭的或开放的区域标签。
在一种实施方式中,第一标签,可以包括第一对象在任一样本数据中的边缘分布标签。示例性地,第一标签,可以为闭合的曲线。
在一种实施方式中,第二对象,可以为与第一对象相连的对象,示例性地, 第一对象为左/右冠脉入口点的情况下,第二对象,可以为图2所示的主动脉201。
在一种实施方式中,第二对象的指定位置,可以为较为隐蔽的位置。
在一种实施方式中,第二标签与第一标签的含义相同,此处不再赘述。
在本申请实施例中,样本数据,可以包含740组CTA图像;并且,可以采用人工干预的方式,对CTA图像中的主动脉以及冠脉部分进行手动标记。示例性地,可以首先利用Ostu阈值分割和连通区域搜索,将CTA图像中的主动脉和冠脉部分还原为精确的三维心脏模型,然后将三维心脏模型,映射至不同的CTA图像中,并根据三维心脏模型中主动脉以及冠脉的实际位置,在CTA图像的对应位置中标记出标签颜色。重复操作以上步骤,就可以为所有的样本数据标记出标签颜色。
图5为本申请实施例提供的立体结构的主动脉和冠脉、与CTA图像中主动脉和冠脉的对应标记示意图。
在图5中,左侧的立体结构图,为三维心脏模型中主动脉201与左右冠脉的结构示意图;右侧为样本数据中的任一CTA图像。如图5所示,立体结构图中的主动脉201,与右侧CTA图像中面积较大的灰色区域对应;立体结构图中的左冠脉202,与右侧CTA图像中面积较小、且相互独立的两个白色点状区域对应;立体结构图中的右冠脉203,与右侧CTA图像中面积较小、且相互独立的两个白色闭合区域对应。
在一种实施方式中,第一标签,可以为图5中CTA图像中所标记的白色区域;第二标签,可以为图5中CTA图像中所标记的灰色区域。
在一种实施方式中,第一标签和第二标签,可以是对图5中的白色或灰色区域,进行进一步的优化设置之后得到的。示例性地,优化设置,可以包括锁定冠脉入口以及主动脉的标签值,比如,将第一标签中确定为冠脉入口的白色区域设置为1,而将确定第一标签中确定不为冠脉入口的白色区域设置为0。
在一种实施方式中,第二标签对应的标签区域,可以包括第一标签对应的标签区域。
在一种实施方式中,对于CTA图像而言,由于层间距因素的存在,不同的CTA图像对应的第一标签以及第二标签,可以是不同的。
为了对第一标签以及第二标签进行优化设置,首先需要对标记主动脉以及冠脉之后的CTA图像进行预处理操作;在后续实施例中,为了描述方便,可以将标记主动脉以及冠脉之后的CTA图像,记为目标图像。
在本申请实施例中,预处理操作,可以包括对目标图像缩放处理以及非冠脉数据的剔除处理两个环节。
在一种实施方式中,由于样本数据中每一组CTA图像的层间距可能不同,因此,首先需要计算每一组CTA图像中各个方向上的像素间距,并根据像素间距计算结果,采用插值算法对目标图像进行缩放操作。示例性地,可以以0.3为基准,对目标图像进行双线性插值缩放处理,而对第一标签以及第二标签,可以采用临近插值的方法进行缩放处理。经过以上操作,目标图像以及两个标签的像素间距统一缩放至1mm,从而实现了各个方向的像素间距的一致。
步骤D2、基于第二标签,对样本数据进行处理,得到第二结果。
其中,第二结果,包含至少一个第一对象的像素坐标信息;第二结果的像素数量,少于样本数据的像素数量。
在一种实施方式中,第二结果,可以是对样本数据中的CTA图像进行部分截取之后得到的。
在一种实施方式中,第二结果与CTA图像的相对坐标信息,可以是相同的或呈比例的。
在本申请实施例中,步骤D2,可以通过步骤E1至步骤E2实现:
步骤E2、基于第二标签,对样本数据进行划分,得到第一图像。
其中,第一图像,至少包含第一对象以及第二对象的像素区域信息。
在一种实施方式中,第二对象,在CTA图像中占用的像素数量,可以远远大于第一对象对应的像素数量,比如主动脉对应的像素数量,远远大于冠脉入口点对应的像素数量。基于以上原因,为了更全面的获取第一对象的特征信息,截取得到的第一图像中,可以携带有第一对象的特征信息,即包含第一对象的像素区域信息。
步骤E3、对第一图像进行处理,得到第二结果。
在一种实施方式中,第二结果,可以是通过以下任一方式实现的:
基于图像识别算法对第一图像进行图像识别而得到的。
对第一图像的像素梯度进行统计而得到的。
在本申请实施例中,步骤E3可以通过步骤F1至步骤F3实现:
步骤F1、确定膨胀参数。
在一种实施方式中,膨胀参数,可以是一个固定的参数。
在一种实施方式中,膨胀参数,可以是根据第一对象以及第二对象的像素区域信息进行分析而确定的。
在一种实施方式中,膨胀参数,可以包括至少两个参数。
步骤F2、基于膨胀参数,对第一图像进行膨胀处理,得到膨胀结果。
在一种实施方式中,膨胀结果,可以是通过以下方式实现的:
确定膨胀策略,根据膨胀参数以及膨胀策略,对第一图像中的部分区域进行膨胀处理,得到膨胀结果。
基于膨胀参数,对第一图像中的第一对象与第二对象相邻的部分区域进行膨胀处理,得到膨胀结果。
在本申请实施例中,步骤F2,可以通过步骤G1至步骤G4实现:
步骤G1、从膨胀参数中获取第一参数和第二参数。
在一种实施方式中,膨胀参数所包含的参数的数量,可以根据对第一对象分析的需要而确定。
在一种实施方式中,膨胀参数中每一参数的参数值,可以根据第一对象与第二对象的相对结构关系而确定。
步骤G2、基于第一参数,对第一图像进行膨胀处理,得到第三图像。
在一种实施方式中,基于第一参数,对第一图像进行膨胀处理,可以是通过以下方式实现的:
确定膨胀方式,然后基于第一参数,通过膨胀方式,对第一图像进行膨胀处理,得到第三图像。
在本申请实施例中,对图像的膨胀操作,可以包括两次通用膨胀操作,由于通用的膨胀操作通常仅针对二维图像,因此,本申请实施例中,采用两次通用膨胀操作,对多个第一图像进行膨胀处理,从而使得第三图像中携带有大量的三维特征。
在一种实施方式中,第一参数,可以为8。
步骤G3、基于第二参数,对第三图像进行膨胀处理,得到第四图像。
在一种实施方式中,第二参数,可以为3。
步骤G4、对第三图像以及第四图像进行做差处理,得到膨胀结果。
在本申请实施例中,由于冠脉入口点以外的像素特征为冗余特征,故对第三图像以及第四图像进行做差处理,可以剔除冠脉入口点以外的部分冗余像素特征。
在本申请实施例中,膨胀结果,可以通过以下方式实现:
对第三图像以及第四图像的像素点进行对应做差处理,得到做差结果,从做差结果中剔除非冠脉特征,得到膨胀结果。
在一种实施方式中,做差结果中,包含了主动脉延伸出的两截冠脉以及一些其它非冠脉特征。而这些非冠脉特征会对识别网络的训练产生一定的干扰,因此,可以确定第三阈值,并基于第三阈值遍历膨胀结果,从而从膨胀结果中选取像素值大于第三阈值,且像素值位于第一标签范围内的像素点,剔除其余的像素点,得到膨胀结果。
在一种实施方式中,第三阈值,可以是以像素值的形式体现的,示例性地,第三阈值,可以设定为像素值200。
步骤F3、对第一图像以及膨胀结果进行处理,得到第二结果。
示例性地,由于CTA图像的拍摄特征,每一组CTA图像的前若干图像中,可能并未出现冠脉特征,因此,可以将每一组CTA图像的前若干层图像剔除。示例性地,可以将每一组CTA图像的前33层对应的CTA图像像素值全部置为0,每一组CTA图像中的剩余CTA图像对应的膨胀结果,可以记为冠脉特征图像。
示例性地,通过连通域标记方法对冠脉特征图像进行处理,将其中像素点数量大于第一数量的冠脉特征图像置为0,从而得到第二结果。
在本申请实施例中,步骤F3可以通过步骤H1至步骤H2实现:
步骤H1、对膨胀结果进行采样,得到第二图像。
在一种实施方式中,对膨胀结果进行采样,可以是按照指定采样率N进行的,如此,通过上述采样操作,可以降低第二图像中携带的像素点的数量。
在一种实施方式中,指定采样率N,可以根据对识别网络训练的需要、膨胀结果包含的像素数量、以及样本数量等至少一个因素而灵活的设定。
在一种实施方式中,指定采样率N的大小,还可以兼顾像素数量、识别网络的识别能力、识别网络的识别精度等因素而确定。
在一种实施方式中,可以将N设置为3。
经过上述采样操作,第二图像所包含的像素数量,相对于膨胀结果有进一步的减少。
步骤H2、基于第一图像,对第二图像进行筛选,得到第二结果。
在本申请实施例中,由于第二图像是对第一图像进行膨胀处理、再对膨胀处理结果采样得到的,因此,第二图像中除了包含冠脉入口点的像素特征信息之外,还可能包含有与冠脉入口点关联的其它像素特征信息。
而在第一图像中,包含了冠脉入口点的全部像素特征信息,因此,基于第一图像,对第二图像进行筛选,就可以再次剔除第二图像中的冗余特征信息,得到冠脉入口点在CTA图像中的全部像素特征信息。
在一种实施方式中,步骤H2可以是通过以下方式实现的:
获取第一图像中每一像素点的坐标信息,获取第二图像中每一像素点的坐标信息;根据相同的坐标信息,对第一图像中的像素点、以及第二图像中的像素点进行比较,若二者一致,则保留第二图像中的坐标信息对应的像素点,反之则去除该像素点。
在一种实施方式中,第二结果,可以是基于第一图像从第二图像中选取的三维矩阵,并对三维矩阵进行归一化处理之后得到的。示例性地,三维矩阵归一化之后得到的第二结果,可以是64*64*64的矩阵。
通过以上方式,第二结果中不但携带有像素点的像素值信息,还携带有像素点的坐标信息;并且,第二结果中携带的为冠脉入口点的有效特征信息,冗余特征信息进一步得到了抑制,从而减少了后续识别网络训练过程中的不必要的计算量,为提高识别网络的训练速度奠定了基础。
图6为本申请实施例提供的对样本数据预处理以及第一标签优化的流程示意图。如图6所示,该流程可以包括步骤601至步骤606:
步骤601、从样本数据中划分得到包含冠脉入口和主动脉的第一图像。
示例性地,第一图像,可以是基于第二标签,从CTA图像进行划分而得到的主动脉图像。
示例性地,第一图像可以为主动脉外围图像,其中,主动脉外围图像的像素数量,大于主动脉图像的像素数量,但小于CTA图像的像素数量;示例性地,主动脉外围图像的像素数量,可以是根据CTA图像中主动脉的实际特征分布而确定的,还可以是根据对主动脉和/或冠脉入口的分析需求而确定的;比如,主动外围图像,可以是以主动脉图像为中心,向外扩展M个像素数量而得到的,其中,M可以设定为50。
步骤602、从第一图像中提取有效冠脉特征图像。
示例性地,步骤602,可以是从第一图像中剔除非冠脉数据。
示例性地,非冠脉数据的剔除,可以通过以下方式实现:
首先,对主动脉外围图像进行两次膨胀操作,并取两次膨胀操作结果的差值,得到膨胀结果;然后,从膨胀结果中选取像素值大于像素阈值比如200的像素点,得到有效冠脉特征图像。
步骤603、从有效冠脉特征图像中进一步剔除冗余特征。
示例性地,上述进一步剔除冗余特征的操作,可以包括:将每组CTA图像的前33层对应的CTA图像像素值置0、利用连通域标记方法将像素数量大于1000的有效冠脉特征图像置0。
步骤604、对剔除冗余特征的有效冠脉图像采样,得到第二图像。
示例性地,对有效冠脉图像的采样操作,可以基于指定采样率进行的,示例性地,指定采样率可以为3,那么基于指定采样率对有效冠脉图像进行采样,即为对有效冠脉图像以图像间隔为2进行采样,从而得到第二图像。
步骤605、从第二图像中获取识别网络的输入数据。
示例性地,可以从第二图像中选取64*64*64的矩阵,并对其进行归一化处理,从而得到识别网络的输入数据。
步骤606、优化第一标签。
示例性地,优化第一标签,可以是根据第二图像与第一标签之间的匹配程度,对第二标签进行优化的。
示例性地,可以根据第二图像与第一标签的相同像素坐标位置上像素特征点的一致性,而二者一致,则可以将该像素坐标位置上的像素点置1,反之,则可以将像素坐标位置上的像素点置0。经过上述处理,第一标签优化为仅包含0和1两种数值的矩阵,这也使得后续对第一标签的比对计算的效率更高。
通过以上操作,本申请实施例提供的对样本数据的预处理过程,可以大大减少样本数据的数据量,从而减少了识别网络的训练计算量,也能够加速识别网络的训练过程,还能够简化第一标签的数据结构,从而为识别网络的快速训练提供了便利条件。
步骤D3、基于第二结果以及第一标签,对识别网络进行训练,得到训练完成的识别网络。
在一种实施方式中,训练完成的识别网络,可以是通过以下任一方式实现的:
将第二结果输入至识别网络,经过识别网络对第二结果的处理,得到处理结果标签,比较处理结果标签与第一标签的匹配程度,若二者匹配程度小于预期的匹配程度,则继续基于第二结果以及第一标签,对识别网络进行训练,直至二者匹配程度大于或等于预期的匹配程度为止。
对第二结果进行数据增强处理,比如,对第二结果进行随机旋转、或随机翻转。其中,随机旋转,包括以相同概率将第二结果沿各个方向旋转指定的角度,相应地,将以相同概率将第二结果对应的第一标签也沿各个方向旋转指定的角度;随机翻转,包括将第二结果沿各个方向等概率的翻转或者不翻转,相应地,将第二结果对应的标签也沿各个方向以等概率翻转或不翻转。经过以上操作,可以丰富对识别网络训练的第二结果以及第一标签。
按照指定比例,对识别结果以及第一标签进行划分,分别得到训练数据集以及测试数据集,然后基于训练数据集对识别网络进行训练,在训练次数达到第二数量时,可以基于测试数据集对识别网络进行测试,若测试的准确率大于或等于预设准确率,则可以停止对识别网络的训练,从而得到训练完成的识别网络;若测试的准确率小于预设准确率,则持续基于训练数据集对识别网络进行训练。示例性地,指定比例,可以是7:3;第二数量可以为200。
在本申请实施例中,步骤D3还可以通过步骤J1至步骤J3实现:
步骤J1、对第一标签进行分析,确定标签属性信息.
其中,标签属性信息,至少包括第一标签对应的像素梯度信息。
在一种实施方式中,标签属性信息,可以包括第一标签对应的CTA图像区域的像素梯度信息。
在一种实施方式中,标签属性信息,可以包括第一标签对应的CTA图像区域的几何中心部分区域的像素梯度信息。
在一种实施方式中,标签属性信息,还可以包括第一标签对应的像素梯度信息、与CTA图像中跟第一对象相邻的其它对象的像素梯度信息之间的对比关系。
在一种实施方式中,标签属性信息,还可以包括第一标签对应的像素数量、相对于CTA图像的像素数量的比例信息。
步骤J2、基于标签属性信息,确定目标损失函数。
其中,目标损失函数,用于均衡样本数据的像素差异。
在一种实施方式中,样本数据的像素差异,可以包括样本数据中第一标签对应的像素点的像素值、与CTA图像中其它对象的像素点对应的像素值之间的差异。
在一种实施方式中,样本数据的像素差异,可以包括样本数据中第一标签对应的像素数量、与CTA图像中其它对象对应的像素数量之间的差异。
在相关技术中,通常采用交叉熵作为损失函数,以衡量神经网络的预测结果与真实输出结果之间的相似性,但是这类损失函数无法解决样本数据的正负不均衡问题,从而很容易导致神经网络的预测结果与实际输出结果之间的差别较大。
在本申请实施例中,由于冠脉入口点对应的像素数量在整个CTA图像的像素数量中占比较小,从而导致了正负样本不均衡。为了改善正负样本不均衡对识别网络训练的影响,本申请实施例中的目标损失函数可以为focal loss。该函数能够较好的均衡正负样本比例失衡的问题,可以降低大量简单负样本在识别网络训练过程中所占的权重,从而能够改善识别网络的训练速度和训练效果。
其中,focal loss的实现过程如式(3)所示:
Figure 800498DEST_PATH_IMAGE005
(3)
在式(3)中,αγ均为可调节的超参数,例如,α=0.25,γ=2;p为识别网络预测的概率值,y为真实的样本标签即第一标签;L fl p)为计算得到的损失。
步骤J3、基于目标损失函数、第二结果以及第一标签,对识别网络进行训练,得到训练完成的识别网络。
在本申请实施例中,第二结果可以为64*64*64的三维矩阵,识别网络的输出数据的格式可以为n*2的二维矩阵,训练期数量可以为200,批量输入量可以为12,优化器可以选择自适应矩估计(Adam),优化器初始步长可以为0.00001,然后基于目标损失函数、第一标签以及上述各个参数,对识别网络进行训练,从而得到训练完成的识别网络。
图7为本申请实施例提供的第二种图像处理方法的流程示意图。如图7所示,该流程可以包括701至步骤706:
步骤701、对样本数据进行数据预处理,得到第二结果。
步骤702、对第二结果进行数据增强操作。
步骤703、通过识别网络对数据增强之后的第二结果进行处理,得到预测标签。
示例性地,上述对第二结果的处理,可以是通过识别网络实现的,预测标签,可以是识别网络对第二结果处理之后输出的标签。
步骤704、对预测标签进行数据后处理操作。
示例性地,数据后处理操作,可以包括对预测标签进行层次聚类操作。
步骤705、得到训练完成的识别网络。
示例性地,对识别网络是否训练结束,是基于目标损失函数对预测标签以及第一标签进行处理而确定的。
步骤706、基于训练完成的识别网络,提取待处理图像中的冠脉入口点的坐标点。
示例性地,基于训练完成的识别网络对待处理图像进行处理,得到第一结果之后,再对第一结果进行层次聚类处理,就可以得到待处理图像中的冠脉入口点的坐标点。
示例性地,得到冠脉入口点的坐标点之后,还可以将冠脉入口点的坐标点标记在待处理图像中。
示例性地,标记一组待处理图像的冠脉入口坐标点之后,还可以根据一组待处理图像的标记结果,进行三维展示,示例性地,三维展示效果可以如图2所示的心脏主动脉与冠脉结构示意图。
图8a为本申请实施例提供的在待处理图像中标记左冠脉入口点坐标的标记结果示意图。图8a中,横坐标和纵坐标分别用于表示像素点数量,单位为个。在图8a中,左冠脉入口点801对应的白色区域,与周边组织的深色区域之间形成了鲜明的对比。
图8b为本申请实施例提供的在待处理图像中标记右冠脉入口点坐标的标记结果示意图。图8b中,横坐标和纵坐标分别用于表示像素点数量,单位为个。在图8b中,右冠脉入口点802对应的白色区域,与周边组织的深色区域之间形成了鲜明的对比。
从图8a至图8b中可以看出,相对于包括心脏结构的CTA图像而言,冠脉入口点对应的图像区域很小,在相关技术中,对冠脉入口点坐标的确定,均需要依赖于先验指示,比如通过区域生长的方法查找冠脉入口点的前提是:需要基于先验概率人为地选择特定位置的种子点。然而,种子点的位置对后续的图像处理的影响很大,若先验概率准确性较低,则会直接导致区域生长方法的实现效率低、查找稳定性差。
而本申请实施例提供的图像处理方法,在冠脉入口标记的过程中,并不依赖于先验概率,而是通过训练完成的识别网络提取冠脉入口点的像素坐标信息之后,通过层次聚类的方法进一步对像素坐标信息进行处理,从而能够提取出像素坐标信息之间的客观层次结构,使得冠脉入口的坐标信息更加精准。
基于前述实施例,本申请实施例还提供了一种图像处理装置9,图9为本申请实施例提供的图像处理装置9的结构示意图。如图9所示,该图像处理装置包括图像处理模块901以及聚类处理模块902,其中:
图像处理模块901,用于对待处理图像进行处理,得到第一结果;其中,第一结果,包含至少一个第一对象的像素坐标信息;待处理图像,为至少包含第一对象的特征信息的医疗图像;
聚类处理模块902,用于对第一结果中的像素坐标信息进行层次聚类,得到聚类结果;
图像处理模块901,还用于基于聚类结果,对待处理图像进行标记处理,以确定第一对象在待处理图像中的位置信息。
在一些实施方式中,聚类处理模块902,还用于获取第一结果中的像素坐标信息之间的距离信息;基于距离信息,对第一结果中的像素坐标信息进行层次聚类,确定像素坐标信息的数量最多的至少两个像素坐标信息集合;其中,至少两个像素坐标集合中的像素坐标信息的数量,大于第一阈值;对像素坐标信息数量最多的至少两个像素坐标信息集合中的像素坐标信息进行统计,得到聚类结果。
在一些实施方式中,聚类处理模块902,还用于确定第二阈值;其中,第二阈值,表示层次聚类过程中不同类之间的距离阈值;
聚类处理模块902,还用于基于第一结果中的像素坐标信息之间的距离信息、以及第二阈值,对第一结果中的像素坐标信息进行层次聚类。
在一些实施方式中,聚类处理模块902,用于确定目标聚合策略;其中,目标聚合策略,包括自下而上的聚合策略;
聚类处理模块902,还用于基于目标聚合策略,对第一结果中的像素坐标信息进行层次聚类处理。
在一些实施方式中,图像处理模块901,用于通过训练完成的识别网络,对待处理图像进行识别,得到第一结果;其中,训练完成的识别网络,是基于样本数据对识别网络进行训练得到的;识别网络,包括BasicBlock模块;BasicBlock模块,至少包括三维卷积单元以及正则处理单元;样本数据,包括包含第一对象的特征信息的医疗图像。
在一些实施方式中,图像处理装置9,还包括网络训练模块,用于对样本数据进行分析,确定第一标签以及第二标签;其中,第一标签,包括第一对象在样本数据中的区域标签;第二标签,包括第二对象在样本数据中的区域标签;第一对象连通至第二对象的指定位置;
网络训练模块,还用于基于第二标签,对样本数据进行处理,得到第二结果;其中,第二结果,包含至少一个第一对象的像素坐标信息;第二结果的像素数量,少于样本数据的像素数量;
网络训练模块,还用于基于第二结果以及第一标签,对识别网络进行训练,得到训练完成的识别网络。
在一些实施方式中,网络训练模块,用于基于第二标签,对样本数据进行划分,得到第一图像;其中,第一图像,至少包含第一对象以及第二对象的像素区域信息;
网络训练模块,还用于对第一图像进行处理,得到第二结果。
在一些实施方式中,网络训练模块,用于确定膨胀参数;基于膨胀参数,对第一图像进行膨胀处理,得到膨胀结果;对第一图像以及膨胀结果进行处理,得到第二结果。
在一些实施方式中,网络训练模块,用于对第一标签进行分析,确定标签属性信息;其中,标签属性信息,至少包括第一标签对应的像素梯度信息;
网络训练模块,还用于基于标签属性信息,确定目标损失函数;其中,目标损失函数,用于均衡样本数据的像素差异;
网络训练模块,还用于基于目标损失函数、第二结果以及第一标签,对识别网络进行训练,得到训练完成的识别网络。
在一些实施方式中,待处理图像包括心脏医疗图像;第一对象包括冠脉入口点。
需要说明的是,上述图像处理模块901、聚类处理模块902以及网络训练模块,可以通过图像处理设备的处理器实现。
由以上可知,本申请实施例提供的图像处理装置9,在对待处理图像进行处理,得到包含与至少一个第一对象相关的像素坐标信息的第一结果之后,能够对第一结果中的像素坐标信息进行层次聚类,得到包括至少一个对象的坐标信息,然后基于聚类结果,对待处理图像进行标定处理,以确定第一对象在待处理图像中的位置信息。如此,在本申请实施例中,通过对第一结果中的像素坐标信息进行层次聚类,能够快速精准而客观地获取第一结果中各个像素坐标信息之间的层次关系,从而提高了第一对象位置确定的精准度;在第一对象为冠脉入口点的情况下,本申请实施例提供的图像处理装置,能够提高冠脉入口点的定位精度。
基于前述实施例,本申请实施例还提供了一种图像处理设备10,图10为本申请实施例提供的图像处理设备10的结构示意图,如图10所述,图像处理设备10包括处理器1001和存储器1002以及通信总线,其中,通信总线用于实现处理器1001与存储器1002之间的通信连接;处理器1001用于执行存储器1002中存储的计算机程序,以实现如前任一实施例的图像处理方法。
其中,上述处理器1001可以为特定用途集成电路ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地,用于实现上述处理器功能的电子器件还可以为其它,本申请实施例不作具体限定。
上述存储器1002,可以是易失性存储器(volatile memory),例如(Random AccessMemory,RAM);或者非易失性存储器(non-volatile memory),例如(Read Only Memory,ROM),快闪存储器(flash memory,硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-StateDrive,SSD);或者上述种类的存储器的组合,并向处理器提供指令和数据。
基于前述实施例,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序被处理器执行时,能实现如前任一实施例所述的图像处理方法。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
本申请所提供的各方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的各产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的各方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
需要说明的是,上述计算机可读存储介质可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory,FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory,CD-ROM)等存储器;也可以是包括上述存储器之一或任意组合的各种电子设备,如移动电话、计算机、平板设备、个人数字助理等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件节点的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所描述的方法。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种图像处理方法,其特征在于,所述方法包括:
对待处理图像进行处理,得到第一结果;其中,所述第一结果,包含至少一个第一对象的像素坐标信息;所述待处理图像,为至少包含所述第一对象的医疗图像;
对所述第一结果中的像素坐标信息进行层次聚类,得到聚类结果;
基于所述聚类结果,对所述待处理图像进行标记处理,以确定所述第一对象在所述待处理图像中的位置信息。
2.根据权利要求1所述的方法,其特征在于,所述对所述第一结果中的像素坐标信息进行层次聚类,得到聚类结果,包括:
获取所述第一结果中的所述像素坐标信息之间的距离信息;
基于所述距离信息,对所述第一结果中的所述像素坐标信息进行层次聚类,确定像素坐标信息的数量最多的至少两个像素坐标信息集合;其中,所述至少两个像素坐标集合中的像素坐标信息的数量,大于第一阈值;
对像素坐标信息数量最多的至少两个所述像素坐标信息集合中的像素坐标信息进行统计,得到所述聚类结果。
3.根据权利要求2所述的方法,其特征在于,所述基于所述距离信息,对所述第一结果中的所述像素坐标信息进行层次聚类,包括:
确定第二阈值;其中,所述第二阈值,表示所述层次聚类过程中不同类之间的距离阈值;
基于所述距离信息、以及所述第二阈值,对所述第一结果中的像素坐标信息进行层次聚类。
4.根据权利要求1所述的方法,其特征在于,所述对所述第一结果中的像素坐标信息进行层次聚类,包括:
确定目标聚合策略;其中,所述目标聚合策略,包括自下而上的聚合策略;
基于所述目标聚合策略,对所述第一结果中的像素坐标信息进行层次聚类处理。
5.根据权利要求1所述的方法,其特征在于,所述对待处理图像进行处理,得到第一结果,包括:
通过训练完成的识别网络,对所述待处理图像进行识别处理,得到所述第一结果;其中,所述训练完成的识别网络,是基于样本数据对识别网络进行训练得到的;所述识别网络,包括BasicBlock模块;所述BasicBlock模块,至少包括三维卷积单元以及正则处理单元;所述样本数据,包括包含所述第一对象的医疗图像。
6.根据权利要求5所述的方法,其特征在于,所述训练完成的识别网络,是通过以下方式训练得到的:
对所述样本数据进行分析,确定第一标签以及第二标签;其中,所述第一标签,包括所述第一对象在所述样本数据中的区域标签;所述第二标签,包括第二对象在所述样本数据中的区域标签;所述第一对象连通至所述第二对象的指定位置;
基于所述第二标签,对所述样本数据进行处理,得到第二结果;其中,所述第二结果,包含至少一个第一对象的像素坐标信息;所述第二结果的像素数量,少于所述样本数据的像素数量;
基于所述第二结果以及所述第一标签,对所述识别网络进行训练,得到所述训练完成的识别网络。
7.根据权利要求6所述的方法,其特征在于,所述基于所述第二标签,对所述样本数据进行处理,得到第二结果,包括:
基于所述第二标签,对所述样本数据进行划分,得到第一图像;其中,所述第一图像,至少包含所述第一对象以及所述第二对象的像素区域信息;
对所述第一图像进行处理,得到所述第二结果。
8.根据权利要求7所述的方法,其特征在于,所述对所述第一图像进行处理,得到所述第二结果,包括:
确定膨胀参数;
基于所述膨胀参数,对所述第一图像进行膨胀处理,得到膨胀结果;
对所述第一图像以及所述膨胀结果进行处理,得到所述第二结果。
9.根据权利要求6所述的方法,其特征在于,所述基于所述第二结果以及所述第一标签,对所述识别网络进行训练,得到所述训练完成的识别网络,包括:
对所述第一标签进行分析,确定标签属性信息;其中,所述标签属性信息,至少包括所述第一标签对应的像素梯度信息;
基于所述标签属性信息,确定目标损失函数;其中,所述目标损失函数,用于均衡所述样本数据的像素差异;
基于所述目标损失函数、所述第二结果以及所述第一标签,对所述识别网络进行训练,得到所述训练完成的识别网络。
10.根据权利要求1所述的方法,其特征在于,所述待处理图像包括心脏医疗图像;所述第一对象包括冠脉入口点。
11.一种图像处理装置,其特征在于,所述图像处理装置包括:图像处理模块以及聚类处理模块,其中:
所述图像处理模块,用于对待处理图像进行处理,得到第一结果;其中,所述第一结果,包含至少一个第一对象的像素坐标信息;所述待处理图像,为至少包含所述第一对象的特征信息的医疗图像;
所述聚类处理模块,用于对所述第一结果中的像素坐标信息进行层次聚类,得到聚类结果;
所述图像处理模块,还用于基于所述聚类结果,对所述待处理图像进行标记处理,以确定所述第一对象在所述待处理图像中的位置信息。
12.一种图像处理设备,其特征在于,所述图像处理设备包括处理器和存储器以及通信总线,其中,所述通信总线用于实现所述处理器与所述存储器之间的通信连接;所述处理器用于执行所述存储器中存储的计算机程序,以实现如权利要求1-10任一所述的图像处理方法。
13.一种计算机可读存储介质,其特征在于,所述可读存储介质能够被处理器执行,以实现如权利要求1-10任一所述的图像处理方法。
CN202110447215.8A 2021-04-25 2021-04-25 一种图像处理方法、装置、设备以及存储介质 Pending CN112990367A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110447215.8A CN112990367A (zh) 2021-04-25 2021-04-25 一种图像处理方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110447215.8A CN112990367A (zh) 2021-04-25 2021-04-25 一种图像处理方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN112990367A true CN112990367A (zh) 2021-06-18

Family

ID=76341700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110447215.8A Pending CN112990367A (zh) 2021-04-25 2021-04-25 一种图像处理方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN112990367A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657333A (zh) * 2021-08-23 2021-11-16 深圳科卫机器人科技有限公司 警戒线识别方法、装置、计算机设备及存储介质

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449215B1 (en) * 2001-10-09 2002-09-10 The United States Of America As Represented By The Secretary Of The Navy Three-dimensional imaging system for sonar system
CN103268480A (zh) * 2013-05-30 2013-08-28 重庆大学 一种视觉跟踪系统及方法
CN103985127A (zh) * 2014-05-20 2014-08-13 成都信息工程学院 一种密集恒星背景的弱小目标检测方法及装置
CN104992437A (zh) * 2015-06-29 2015-10-21 北京欣方悦医疗科技有限公司 一种冠脉三维图像分割的方法
CN105760891A (zh) * 2016-03-02 2016-07-13 上海源庐加佳信息科技有限公司 一种中文字符验证码的识别方法
CN105783716A (zh) * 2016-03-28 2016-07-20 上海交通大学 基于计算机视觉的结构钢丝全自动测量仪及方法
CN106157279A (zh) * 2015-03-23 2016-11-23 上海交通大学 基于形态学分割的眼底图像病变检测方法
CN106226249A (zh) * 2016-09-29 2016-12-14 成都齐力丝绸有限公司 一种颜色数字化比对系统及方法
CN106643537A (zh) * 2016-12-30 2017-05-10 常州高晟传感技术有限公司 基于结构光的轴承油沟自动测量系统及方法
CN107590797A (zh) * 2017-07-26 2018-01-16 浙江工业大学 一种基于三维残差神经网络的ct影像肺结节检测方法
CN108682011A (zh) * 2018-05-15 2018-10-19 齐鲁工业大学 亚像素级别的实时动态肿瘤图像的定位与匹配方法
CN109325942A (zh) * 2018-09-07 2019-02-12 电子科技大学 基于全卷积神经网络的眼底图像结构分割方法
CN110084823A (zh) * 2019-04-18 2019-08-02 天津大学 基于级联各向异性fcnn的三维脑肿瘤图像分割方法
CN110210503A (zh) * 2019-06-14 2019-09-06 厦门历思科技服务有限公司 一种印章识别方法和装置以及设备
CN110232685A (zh) * 2019-06-17 2019-09-13 合肥工业大学 基于深度学习的空间骨盆参数自动测量方法
CN110309761A (zh) * 2019-06-26 2019-10-08 深圳市微纳集成电路与系统应用研究院 基于具有门限循环单元的三维卷积神经网络的连续性手势识别方法
CN110321891A (zh) * 2019-03-21 2019-10-11 长沙理工大学 一种联合深度神经网络与聚类算法的大输液药液异物目标检测方法
CN111047572A (zh) * 2019-12-10 2020-04-21 南京安科医疗科技有限公司 一种基于Mask RCNN的医学图像中脊柱自动定位方法
CN111259899A (zh) * 2020-01-13 2020-06-09 华中科技大学 一种喷码字符检测方法
CN111768411A (zh) * 2020-05-29 2020-10-13 深圳睿心智能医疗科技有限公司 冠脉中心线提取方法、装置、计算机设备和存储介质
CN112183518A (zh) * 2020-09-25 2021-01-05 伏羲九针智能科技(北京)有限公司 静脉靶点自动确定方法、装置和设备
CN112183163A (zh) * 2019-07-04 2021-01-05 北京航天长峰科技工业集团有限公司 一种基于全卷积残差网络的自然场景文本检测方法

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449215B1 (en) * 2001-10-09 2002-09-10 The United States Of America As Represented By The Secretary Of The Navy Three-dimensional imaging system for sonar system
CN103268480A (zh) * 2013-05-30 2013-08-28 重庆大学 一种视觉跟踪系统及方法
CN103985127A (zh) * 2014-05-20 2014-08-13 成都信息工程学院 一种密集恒星背景的弱小目标检测方法及装置
CN106157279A (zh) * 2015-03-23 2016-11-23 上海交通大学 基于形态学分割的眼底图像病变检测方法
CN104992437A (zh) * 2015-06-29 2015-10-21 北京欣方悦医疗科技有限公司 一种冠脉三维图像分割的方法
CN105760891A (zh) * 2016-03-02 2016-07-13 上海源庐加佳信息科技有限公司 一种中文字符验证码的识别方法
CN105783716A (zh) * 2016-03-28 2016-07-20 上海交通大学 基于计算机视觉的结构钢丝全自动测量仪及方法
CN106226249A (zh) * 2016-09-29 2016-12-14 成都齐力丝绸有限公司 一种颜色数字化比对系统及方法
CN106643537A (zh) * 2016-12-30 2017-05-10 常州高晟传感技术有限公司 基于结构光的轴承油沟自动测量系统及方法
CN107590797A (zh) * 2017-07-26 2018-01-16 浙江工业大学 一种基于三维残差神经网络的ct影像肺结节检测方法
CN108682011A (zh) * 2018-05-15 2018-10-19 齐鲁工业大学 亚像素级别的实时动态肿瘤图像的定位与匹配方法
CN109325942A (zh) * 2018-09-07 2019-02-12 电子科技大学 基于全卷积神经网络的眼底图像结构分割方法
CN110321891A (zh) * 2019-03-21 2019-10-11 长沙理工大学 一种联合深度神经网络与聚类算法的大输液药液异物目标检测方法
CN110084823A (zh) * 2019-04-18 2019-08-02 天津大学 基于级联各向异性fcnn的三维脑肿瘤图像分割方法
CN110210503A (zh) * 2019-06-14 2019-09-06 厦门历思科技服务有限公司 一种印章识别方法和装置以及设备
CN110232685A (zh) * 2019-06-17 2019-09-13 合肥工业大学 基于深度学习的空间骨盆参数自动测量方法
CN110309761A (zh) * 2019-06-26 2019-10-08 深圳市微纳集成电路与系统应用研究院 基于具有门限循环单元的三维卷积神经网络的连续性手势识别方法
CN112183163A (zh) * 2019-07-04 2021-01-05 北京航天长峰科技工业集团有限公司 一种基于全卷积残差网络的自然场景文本检测方法
CN111047572A (zh) * 2019-12-10 2020-04-21 南京安科医疗科技有限公司 一种基于Mask RCNN的医学图像中脊柱自动定位方法
CN111259899A (zh) * 2020-01-13 2020-06-09 华中科技大学 一种喷码字符检测方法
CN111768411A (zh) * 2020-05-29 2020-10-13 深圳睿心智能医疗科技有限公司 冠脉中心线提取方法、装置、计算机设备和存储介质
CN112183518A (zh) * 2020-09-25 2021-01-05 伏羲九针智能科技(北京)有限公司 静脉靶点自动确定方法、装置和设备

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
HUI ZHANG ET AL: "Automatic Kidney Lesion Detection for CT Images Using Morphological Cascade Convolutional Neural Networks", 《 IEEE ACCESS》 *
朱翔宇: "基于卷积神经网络的肺部结节检测系统研制", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李斌等: "基于单目视觉的田间菠萝果实识别", 《农业工程学报》 *
李智慧: "具有层次素描纹理的素描画绘制方法", 《计算机应用》 *
王娴等: "一种新的星像自动搜索算法", 《广东工业大学学报》 *
王青竹等: "三维隐 SVM 算法设计及在胸CT图像病灶检测中的应用", 《模式识别与人工智能》 *
现代测量与控制技术词典编委会编: "《现代测量与控制技术词典》", 31 December 1999 *
金永著: "《基于光栅投影的玻璃缺陷在线检测技术》", 30 June 2016 *
陈鹏: "基于室内视觉定位的轮式机器人主动建图与导航避障研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
高唱: "基于CTPA的肺动脉分割及急性肺栓塞危险度评价方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657333A (zh) * 2021-08-23 2021-11-16 深圳科卫机器人科技有限公司 警戒线识别方法、装置、计算机设备及存储介质
CN113657333B (zh) * 2021-08-23 2024-01-12 深圳科卫机器人科技有限公司 警戒线识别方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
Liu et al. Segmentation of lung nodule in CT images based on mask R-CNN
Oskal et al. A U-net based approach to epidermal tissue segmentation in whole slide histopathological images
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN106056595B (zh) 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统
KR102108050B1 (ko) 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치
WO2021203795A1 (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断系统
Vivanti et al. Patient-specific and global convolutional neural networks for robust automatic liver tumor delineation in follow-up CT studies
Aranguren et al. Improving the segmentation of magnetic resonance brain images using the LSHADE optimization algorithm
Pan et al. Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks
Wardhana et al. Toward reliable automatic liver and tumor segmentation using convolutional neural network based on 2.5 D models
CN112308846B (zh) 血管分割方法、装置及电子设备
Song et al. Kidney segmentation in CT sequences using SKFCM and improved GrowCut algorithm
CN112581458B (zh) 一种图像处理方法和装置
CN112348818B (zh) 一种图像分割方法、装置、设备以及存储介质
Taherdangkoo et al. Segmentation of MR brain images using FCM improved by artificial bee colony (ABC) algorithm
US20230005140A1 (en) Automated detection of tumors based on image processing
Chen et al. Segmentation of overlapping cervical cells with mask region convolutional neural network
CN112750137A (zh) 基于深度学习的肝脏肿瘤分割方法及系统
Oda et al. 3D FCN feature driven regression forest-based pancreas localization and segmentation
Liu et al. Extracting lungs from CT images via deep convolutional neural network based segmentation and two-pass contour refinement
Liu et al. Left atrium segmentation in CT volumes with fully convolutional networks
Cao et al. Automatic segmentation of pathological glomerular basement membrane in transmission electron microscopy images with random forest stacks
Milletari et al. Robust segmentation of various anatomies in 3d ultrasound using hough forests and learned data representations
Farajzadeh et al. A fully-convolutional residual encoder-decoder neural network to localize breast cancer on histopathology images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210618