CN113066064A - 基于人工智能的锥束ct图像生物结构识别及三维重建系统 - Google Patents

基于人工智能的锥束ct图像生物结构识别及三维重建系统 Download PDF

Info

Publication number
CN113066064A
CN113066064A CN202110335363.0A CN202110335363A CN113066064A CN 113066064 A CN113066064 A CN 113066064A CN 202110335363 A CN202110335363 A CN 202110335363A CN 113066064 A CN113066064 A CN 113066064A
Authority
CN
China
Prior art keywords
segmentation
image
unit
map
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110335363.0A
Other languages
English (en)
Other versions
CN113066064B (zh
Inventor
杨少龙
吴彦举
王鹏飞
闫灿
陈莹莹
张祥阳
张玥
杜明非
王璐瑶
曹峻浩
王越
李鑫杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Railway Vocational and Technical College
Original Assignee
Zhengzhou Railway Vocational and Technical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Railway Vocational and Technical College filed Critical Zhengzhou Railway Vocational and Technical College
Priority to CN202110335363.0A priority Critical patent/CN113066064B/zh
Publication of CN113066064A publication Critical patent/CN113066064A/zh
Application granted granted Critical
Publication of CN113066064B publication Critical patent/CN113066064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/006Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Abstract

本发明涉及人工智能技术领域,具体涉及一种基于人工智能的锥束CT图像生物结构识别及三维重建系统。本发明实施例通过CT图像序列采集模块采集不同视角下待测生物的CT图像序列;结构筛选模块进行结构筛选获得多张筛选图像;分割图获取模块对每张筛选图像进行多次距离聚类算法分割,获得对应的多个分割子图,根据边缘检测和连通域检测的匹配程度对每个分割子图进行检测,选择出最优分割子图并组成分割图;分割质量评估模块对分割图的分割质量进行评估;多视角分割模块获得采集的所有视角的CT图像序列的分割图;通过三维重建模块根据CT图像序列的分割图实现CT图像的三维重建。本发明实施例能够实现不同结构的分层次分割,保证了分割的准确性。

Description

基于人工智能的锥束CT图像生物结构识别及三维重建系统
技术领域
本发明涉及人工智能技术领域,具体涉及一种基于人工智能的锥束CT图像生物结构识别及三维重建系统。
背景技术
目前锥束CT主要应用于工业无损检测,锥束CT由于检测精度高,成像效果好且可以得到三维数字模型,逐渐应用于生物骨密度研究、神经组织研究等领域,为了促进锥束CT在生物行业的应用,推动国内生物技术的研究,急需一种针对生物研究领域的锥束CT图像的三维重建系统。
发明人在实践中,发现上述现有技术存在以下缺陷:
在对存在多种结构的CT图像进行结构分割时,对于灰度值相差很大的不同结构,现有技术中的阈值分割能够有效地对图像进行分割,但是,对于多个结构的灰度值范围有较大重叠的图像,难以得到准确的分割结果。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种基于人工智能的锥束CT图像生物结构识别及三维重建系统,所采用的技术方案具体如下:
第一方面,本发明一个实施例提供了一种基于人工智能的锥束CT图像生物结构识别及三维重建系统,该系统包括以下模块:
CT图像序列采集模块,用于利用锥束CT采集不同视角下待测生物的CT图像序列;
结构筛选模块,用于根据所述待测生物的不同结构的CT值对任一视角的CT图像进行结构筛选,获得多张筛选图像;
分割图获取模块,用于对每张所述筛选图像进行种类逐渐递增的多次距离聚类算法分割,获得对应的多个分割子图,根据边缘检测和连通域检测的匹配程度对每个所述分割子图进行检测,选择匹配程度最高的所述分割子图作为最终的最优分割子图;所有所述最优分割子图的并集组成分割图;
分割质量评估模块,用于根据所述分割图中各结构中心点的位置,在选定的目标方向上的距离占比,对所述分割图的分割质量进行评估,判断分割质量是否达标;
多视角分割模块,用于利用达标的所述分割图结合相邻视角的位姿信息,指导相邻视角的图像分割,获得采集的所有视角的CT图像序列的分割图;
三维重建模块,用于根据所述CT图像序列的分割图实现CT图像的三维重建。
优选的,所述结构筛选模块包括:
窗口设置单元,用于根据所述待测生物的不同结构对应的CT值范围设置窗口的窗宽,对所述CT图像进行筛选,获得不同结构对应的所述筛选图像。
优选的,所述分割图获取模块包括:
像素距离计算单元,用于根据所述筛选图像中每个像素的灰度值和像素坐标之间的距离设定所述距离聚类算法的距离。
优选的,所述分割图获取模块还包括:
连通域检测单元,用于对每张所述分割子图进行连通域分析得到轮廓图;
分割效果分析单元,用于对每张所述分割子图进行边缘检测得到的边缘图像,对所述边缘图像和所述轮廓图进行异或运算,得到边缘和轮廓点的重叠区域图像,计算所述重叠区域像素的重叠面积,获得所述匹配程度;
优选单元,用于获取每一个所述分割子图对应的重叠图像的面积,获得变化曲线,以所述变化曲线的极小值点对应的分割子图作为所述最优分割子图。
优选的,所述分割子图优选单元还包括:
目标方向获取单元,用于选择所述待测生物的特定方向作为目标方向;
结构分类单元,用于获取分割图中各结构的中心点坐标,根据所述各分割结构的中心点坐标在目标方向上的投影位置,判断所述各结构的类别;
分割质量评估模型构建单元,用于根据各结构的类别和各结构的中心点位置构建分割质量评估模型。
优选的,所述目标方向获取单元中的所述目标方向的获取方法为:
获取所述待测生物的外接矩形框,以所述外接矩形框的较长边的方向作为目标方向。
优选的,所述分割质量评估模型构建单元还包括:
结构间距获取单元,用于获取各结构中心点两两连接所形成的线段在目标方向上的投影距离,以所述投影距离作为结构间距;
分割质量评估单元,用于根据所述结构间距的邻近均值与标准间距计算各结构的分割质量得分;
分割质量判断单元,用于通过设定评估阈值对分割质量评估的结果进行判断。
优选的,所述分割质量判断单元还包括:
优化单元,用于对未达标的分割图,送入所述结构筛选模块和所述分割图获取模块继续优化,直至所述分割质量满足质量评估要求。
本发明实施例具有如下有益效果:
1、针对CT图像中同时存在多个结构,使得分割质量下降的情况,本发明实施例根据先验设定的窗宽和窗高得到筛选图像序列,屏蔽无关组织区域同时能够增加目标结构边缘信息的对比度,在各筛选图像中根据边缘检测和聚类算法实现灰度分割,再综合各筛选图像的分割子图,得到最终的分割图。实现了对不同结构的分层次分割,提高了分割的准确性。
2、本发明实施例利用相邻两个视角的相对位姿,结合已经获得的上一个视角的准确的分割图像指导下一个视角的CT图像分割,降低了计算量,提升了系统效率同时保证了分割的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于人工智能的锥束CT图像生物结构识别及三维重建系统的流程图;
图2为分割图获取模块的流程图;
图3为本发明一个实施例所提供的一种基于人工智能的锥束CT图像生物结构识别及三维重建系统的结构框图;
图4为分割图获取模块的系统结构图;
图5为初步分割单元的系统结构图;
图6为分割子图优选单元的系统结构图;
图7为分割质量评估模块的系统结构图;
图8为分割质量评估模型构建单元的系统结构图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于人工智能的锥束CT图像生物结构识别及三维重建系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于人工智能的锥束CT图像生物结构识别及三维重建系统的具体方案。
请参阅图1和图3,图1示出了本发明一个实施例提供的一种基于人工智能的锥束CT图像生物结构识别及三维重建系统的流程图,图3示出了本发明一个实施例所提供的一种基于人工智能的锥束CT图像生物结构识别及三维重建系统的结构框图,该系统包括以下模块:CT图像序列采集模块100、结构筛选模块200、分割图获取模块300、分割质量评估模块400、多视角分割模块500以及三维重建模块600。
CT图像序列采集模块100,用于利用锥束CT采集不同视角下待测生物的CT图像序列。
CT图像是对待测生物在一定厚度的层面进行扫描,经图像重建技术得到2D的CT图像。
作为一个示例,本发明实施例以昆虫作为待测生物。锥束CT扫描时,由于扫描时间短,可避免因运动产生的伪影,故本发明实施例不考虑CT图像中昆虫肌肉运动、血液流动产生的伪影。
CT图像序列的图像数量n和扫描时的采样率有关,根据三维重建的精度要求设定。
结构筛选模块200,用于根据待测生物的不同结构的CT值对任一视角的CT图像进行结构筛选,获得多张筛选图像。
CT值反映物质的密度,即物质的CT值越高相当于物质密度越高,生物的不同结构具有不同的CT值,波动范围在-1000~+1000Hu范围内。
具体的,结构筛选模块200包括窗口设置单元210,用于根据待测生物的不同结构对应的CT值范围设置窗口的窗宽,对CT图像进行筛选,获得不同结构对应的筛选图像。
利用CT值范围对任一视角的CT图像进行筛选,设定不同的窗宽与窗位可以观察到特定的结构,得到多张筛选图像。
作为一个示例,本发明实施例中选定初始视角进行筛选。
其中,窗宽表示筛选图像时设定的CT值范围,窗位指窗宽范围内均值或中心值,在筛选图像中CT值大于窗宽范围最大值的结构像素值为1,小于窗宽范围最小值的结构像素值为0。
具体的窗宽设置方法根据需求进行设置,作为一个示例,当只需要对昆虫的心脏结构进行三维重建时,设定一个心脏结构的CT值范围,得到一张筛选图像。以此类推,根据研究需求设置不同的窗宽和窗位,得到一系列筛选图像,本发明实施例中记筛选图像的数量为m。
需要说明的是,不同结构对应的CT数值可由先验知识获得。
一张CT图像中同时存在多种结构时,会增加特定结构分割的难度,因此根据CT值将CT图像进行筛选处理得到多张筛选图像,提高后续图像分割的准确度。
分割图获取模块300,用于对每张筛选图像进行种类逐渐递增的多次距离聚类算法分割,获得对应的多个分割子图,根据边缘检测和连通域检测的匹配程度对每个分割子图进行检测,选择匹配程度最高的分割子图作为最终的最优分割子图;所有最优分割子图的并集组成分割图。
具体的,请参阅图4,分割图获取模块300还包括预处理单元310、边缘增强单元320、边缘检测单元330、初步分割单元340、分割子图优选单元350以及分割图获取单元360。
预处理单元310,用于对结构筛选模块200中获得的多张筛选图像进行预处理,将像素值为1的区域的像素值置为0,屏蔽无关结构区域信息。
边缘增强单元320,用于增强边缘处的对比度,获得更加明显的特征。
在本发明实施例中使用伽马变换达到增强边缘的效果。
边缘检测单元330,用于对预处理后的图像进行边缘检测并进行阈值分割处理,获得含有边缘信息的图像
Figure BDA0002997300460000051
初步分割单元340,用于使用距离聚类算法对每张筛选图像进行初步分割。
作为一个示例,本发明实施例对第一张筛选图像1进行分割。
具体的,请参阅图5,初步分割单元340包括:
K值确定单元341,用于设定初始的Kmeans距离聚类算法的K值。
在本发明实施例中将初始K值设定为2,即将图像分割为前景和背景两类。
像素距离计算单元342,用于根据筛选图像中每个像素的灰度值和像素坐标之间的距离设定距离聚类算法的距离。
通过设定距离使距离聚类算法根据数据分布特征判断在空间上相互接近的像素点。
本发明实施例的目的是将灰度值近似的区域划分为同一区域,认为是同一结构;同时属于统一结构的像素点在空间分布上相互接近,故本发明实施例使用的像素点之间距离计算方法为:
Figure BDA0002997300460000061
其中,(xi,yi)表示第i个像素点的坐标,(xj,yj)表示第j个像素点的坐标,gi表示第i个像素点的灰度值,gj表示第j个像素点的灰度值。
为灰度值距离分配较大的权重,使得聚类算法更加注重灰度之间的差异。
聚类分割单元343,用于利用Kmeans聚类算法得到该筛选图像中各个簇,每一个簇内各像素点为距离相近的点,为一个图像聚类分割的结果。
分割子图优选单元350,用于以步长为1逐渐增加Kmeans距离聚类算法的K值,进行多次距离聚类分割,获得对应的多张分割子图,通过边缘检测和连通域检测的匹配度选择出匹配度最高的最优分割子图。
具体的,请参阅图6,分割子图优选单元350还包括:
连通域检测单元351,用于对每张分割子图进行连通域分析得到轮廓图。
具体的,对各个簇进行连通域分析得到每一个簇的轮廓信息,将所有簇的轮廓信息映射到一张图中,得到轮廓图
Figure BDA0002997300460000062
需要说明的是,该轮廓图为二值图,轮廓点对应的位置为1,其余为0。
分割效果分析单元352,用于对每张分割子图进行边缘检测得到边缘图像,对边缘图像和所述轮廓图进行异或运算,得到边缘和轮廓点的重叠区域图像,计算所述重叠区域像素的重叠面积面积,获得匹配程度。
具体的,对边缘图像
Figure BDA0002997300460000063
和轮廓图像
Figure BDA0002997300460000064
进行异或运算,将边缘和轮廓点重叠的区域像素值置为0,否则将像素值置为1,得到的图像记为
Figure BDA0002997300460000065
计算该图像中像素值为1的区域面积sum(1),作为边缘和轮廓点的匹配程度。
两者的匹配程度反映图像分割效果,sum(1)越小表示分割的各簇轮廓越接近于边缘信息,匹配程度越高,分割效果越好。
优选单元353,用于获取每一个分割子图对应的重叠面积,获得变化曲线,以变化曲线的极小值点对应的分割子图作为最优分割子图。
具体的,以步长为1逐渐增加Kmeans距离聚类算法的K值,得到每一个K值对应的sum(1),获得变化曲线,以曲线中极小值点对应的K值得到的分割子图作为最优分割子图。
分割图获取单元360,用于利用相同的方法得到中每一张筛选图像对应的分割子图,对m个分割子图取并集,得到最终的初始视角的分割图P1
需要说明的是,利用聚类得到的分割图P1为一张灰度图像,不同簇内的像素有不同的标签。
通过对各筛选图像借助边缘检测和距离聚类得到分割子图,使筛选图像中的边缘信息大大减少,屏蔽无关结构的同时能够增加目标结构边缘信息的对比度,有利于图像的准确分割,最后综合各筛选图像的分割子图得到准确的分割图P1
分割质量评估模块400,用于根据分割图中各分割结构中心点的位置,在选定的目标方向上的距离占比,对分割图的分割质量进行评估,判断分割质量是否达标。
具体的,请参阅图7,分割质量评估模块400还包括目标方向获取单元410、结构分类单元420、分割质量评估模型构建单元430以及分割质量判断单元440。
目标方向获取单元410,用于选择待测生物的特定方向作为目标方向。
作为一个示例,本发明实施例获取目标方向的方法为:获取待测生物的外接矩形框,以外接矩形较长边的方向作为目标方向。在其他实施例中,也可以选取外接矩形框的较短边的方向作为目标方向。
具体的,通过边缘图像
Figure BDA0002997300460000071
中最外侧的长度最长的边缘确定待测生物的外接矩形框,并获得外接矩形较长边的方向作为目标方向。
结构分类单元420,用于获取分割图中各结构的中心点坐标,根据各结构的中心点坐标在目标方向上的投影位置,判断各分割结构的类别。
具体的:
对分割图p1中得到的各簇进行连通域分析,面积最大的区域为背景区域,将其舍弃,得到各结构的中心点坐标,记为qi。根据各结构中心点qi与外接矩形框的中心点坐标Q沿着目标方向上的投影距离,结合先验知识判断该结构的类别,是属于心脏、前后肢等类别,进一步根据不同的类别对各簇中心点坐标打上类别标签。
分割质量评估模型构建单元430,用于根据各结构类别和各结构的中心点位置构建分割质量评估模型。
具体的,本发明实施例设分割图P1中包含t类结构,其类别标签分别记为1,2,3......t,对应的中心点坐标记为q1,q2,q3......qt
请参阅图8,分割质量评估模型构建单元包括:
结构间距获取单元431,用于获取各结构中心点两两连接所形成的线段在目标方向上的投影距离,以投影距离作为结构间距。
将q1和q2的连线在目标方向上的投影距离记为l12,则对于任一结构存在t-1条线段与其相连,分别表示分割图中该结构与其他各结构在目标方向上的投影距离。
需要说明的是,利用两结构在目标方向上的投影距离作为度量指标,降低计算量的同时不影响质量评估的精度,此外,由于昆虫等待测生物各结构大多数并不是标准的几何形状,且在生物体内部,在获取标准距离时,沿着特定方向上的距离较容易采集,为高精度的质量评估奠定基础。
分割质量评估单元432,用于根据结构间距的邻近均值与标准间距计算各结构的分割质量得分。
具体的:
记分割图像中目标方向上的外接矩形框的长度为l0,为了避免昆虫自身体型影响质量评估的精度,对各结构间距进行归一化,则第一结构的分割质量评估指标Score1的计算公式为:
Figure BDA0002997300460000081
其中,l1i表示第一结构的中心点和第i结构的中心点的连线在目标方向上的投影距离,ε1i为第一结构到第i结构在目标方向上的标准归一化距离,该归一化距离由专业人士根据实际数据给出;Score1为第一结构的分割质量得分,得分越大表示分割质量越差。
其中,考虑到与第一结构距离较远的其他结构进行分割质量评估时的可靠性较弱,且较远距离的计算带来误差的可能性更大,因此参与质量评估的结构应满足l1i<0.3l0,以确保分割质量评估的准确性。
进一步得到分割图中所有结构的分割质量得分,由各个结构的得分均值作为最终分割图像P1的分割质量得分
Figure BDA0002997300460000082
Figure BDA0002997300460000083
其中,γj表示第j结构的重视程度权值,Scorej表示第j结构的分割质量评估指标。
一般情况下γj=1,但有些情况下,进行有针对性的CT图像三维重建时,可将针对目标的重视度权值调大,使得其在质量评估中起主导地位。
分割质量判断单元440,用于通过设定评估阈值对分割质量评估的结果进行判断。
具体的,设定分割质量评估阈值Score0,当分割质量评估单元432的评分结果
Figure BDA0002997300460000091
时,满足质量要求;否则,不满足质量要求。
进一步的,分割质量判断单元440还包括优化单元441,用于对未达标的分割图,送入结构筛选模块和分割图获取模块继续优化,直至所述分割质量满足质量评估要求。
具体的,对于不满足质量要求的分割图,将其送入结构筛选模块和分割图获取模块进行进一步的伽马变换、聚类分割操作,直至满足质量要求。
初始视角的分割图将指导CT图像序列中后续n-1张的图像分割,所以其分割的质量直接影响整个系统的分割效果,该模块能够确保初始分割图的质量以确保后续分割的好坏。
多视角分割模块500,用于利用达标的分割图结合相邻视角的位姿信息,指导相邻视角的图像分割,获得采集的所有视角的CT图像序列的分割图。
具体的:
根据CT图像序列的采样率和锥束CT扫描方式可以得到第二视角采集时的相机位姿,利用第二视角的相机位姿和初始视角的相机位姿可以得到两视角下的相对位置,获得对应的旋转矩阵R1和平移矩阵T1,利用两个参数可以将初始视角的图像变换至第二视角下的图像。
需要说明的是,为了保证相同结构在相邻视角下存在共同区域,采样率不宜设置得过低,以确保可以利用上一个视角的分割图对下一张CT图的分割进行指导。
利用R1,T1经仿射变换将初始视角的分割图P1变换至第二视角下,得到的图像记为
Figure BDA0002997300460000092
Figure BDA0002997300460000093
各结构连通域内像素值置为1,其余像素值置为0,得到二值图像,将该二值图像与第二视角的CT图像取交集,其公共区域为第二视角CT图像中各结构的部分区域,将公共区域中与图像
Figure BDA0002997300460000094
中对应的结构类别标签保留。
以第二视角的CT图像中的标记区域为种子区域,借助区域生长分割算法实现图像分割:
以各自标记区域内像素的均值作为相似性指标,当种子区域邻域内的像素值与对应标记区域的像素值均值差异小于δ时,满足相似性条件,将其归为一类,得到新的种子区域,实现图像的分割;当种子区域的邻域范围内不存在满足相似性条件的像素点时,停止区域生长,得到第二视角的CT图像的分割图P2
需要说明的是,δ为相似性阈值,根据分割精度和CT图像质量的实际情况进行更改。
作为一个示例,本发明实施例中取1。
进一步,利用第二视角和第三视角之间的旋转矩阵R2和平移矩阵T2,结合分割图P2按照相同的方法得到第三视角的分割图像P3,如此循环直到完成所有视角的CT图像的分割,得到n张分割图,记为{P1,P2,P3,......,Pn}。
需要说明的是,每一张分割图中,均有目标结构的分割结果以及对应的标签。
利用已经获得的分割图像作为先验信息,指导下一个视角的分割,降低了计算量,提升了系统效率同时保证了分割的准确性。
三维重建模块600,用于根据CT图像序列的分割图实现CT图像的三维重建。
具体的:
利用面绘制MC算法得到各结构的三维模型,并将三维模型送入VR系统数据库。
面绘制算法是实现CT图像三维重建的常用方法,而MC算法是最常用的面绘制算法,其将感兴趣的目标结构以等值面的形式抽取出来便于利用真实感技术,通过任意旋转和变换光照效果来生成高质量的三维模型。
根据各个结构的多视角分割图像借助MC算法可以有目标地得到各个结构的三维模型,每一个结构的三维模型均对应不同的标签,能够实现三维模型的自动拆分。
优选的,为了区分不同结构的三维模型,将不同结构的三维模型渲染为不同的颜色。
进一步将各个模型送入VR系统,实现VR场景中的可视化。
综上,本发明实施例通过CT图像序列采集模块100利用锥束CT采集不同视角下待测生物的CT图像序列;通过结构筛选模块200根据待测生物的不同结构的CT值对任一视角的CT图像进行结构筛选,获得多张筛选图像;通过分割图获取模块300对每张筛选图像进行种类逐渐递增的多次距离聚类算法分割,获得对应的多个分割子图,根据边缘检测和连通域检测的匹配程度对每个分割子图进行检测,选择匹配程度最高的分割子图作为最终的最优分割子图;所有最优分割子图的并集组成分割图;通过分割质量评估模块400根据分割图中各结构中心点的位置,在选定的目标方向上的距离占比,对分割图的分割质量进行评估,判断分割质量是否达标;通过多视角分割模块500利用达标的分割图结合相邻视角的位姿信息,指导相邻视角的图像分割,获得采集的所有视角的CT图像序列的分割图;通过三维重建模块600根据CT图像序列的分割图实现CT图像的三维重建。本发明实施例能够实现不同结构的分层次分割,保证了分割的准确性。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.基于人工智能的锥束CT图像生物结构识别及三维重建系统,其特征在于,该系统包括以下模块:
CT图像序列采集模块,用于利用锥束CT采集不同视角下所述待测生物的CT图像序列;
结构筛选模块,用于根据所述待测生物的不同结构的CT值对任一视角的CT图像进行结构筛选,获得多张所述筛选图像;
分割图获取模块,用于对每张所述筛选图像进行种类逐渐递增的多次距离聚类算法分割,获得对应的多个分割子图,根据边缘检测和连通域检测的匹配程度对每个所述分割子图进行检测,选择匹配程度最高的所述分割子图作为最终的最优分割子图;所有所述最优分割子图的并集组成分割图;
分割质量评估模块,用于根据所述分割图中各结构中心点的位置,在选定的目标方向上的距离占比,对所述分割图的分割质量进行评估,判断分割质量是否达标;
多视角分割模块,用于利用达标的所述分割图结合相邻视角的位姿信息,指导相邻视角的图像分割,获得采集的所有视角的CT图像序列的分割图;
三维重建模块,用于根据所述CT图像序列的分割图实现CT图像的三维重建。
2.根据权利要求1所述的系统,其特征在于,所述结构筛选模块包括:
窗口设置单元,用于根据所述待测生物的不同结构对应的CT值范围设置窗口的窗宽,对所述CT图像进行筛选,获得不同结构对应的所述筛选图像。
3.根据权利要求1所述的系统,其特征在于,所述分割图获取模块包括:
像素距离计算单元,用于根据所述筛选图像中每个像素的灰度值和像素坐标之间的距离设定所述距离聚类算法的距离。
4.根据权利要求1所述的系统,其特征在于,所述分割图获取模块还包括:
连通域检测单元,用于对每张所述分割子图进行连通域分析得到轮廓图;
分割效果分析单元,用于对每张所述分割子图进行边缘检测得到边缘图像,对所述边缘图像和所述轮廓图进行异或运算,得到边缘和轮廓点的重叠区域图像,计算所述重叠区域像素的重叠面积,获得所述匹配程度;
优选单元,用于获取每一个所述分割子图对应的重叠面积,获得变化曲线,以所述变化曲线的极小值点对应的分割子图作为所述最优分割子图。
5.根据权利要求1所述的系统,其特征在于,所述分割子图优选单元还包括:
目标方向获取单元,用于选择所述待测生物的特定方向作为目标方向;
结构分类单元,用于获取分割图中各结构的中心点坐标,根据所述各结构的中心点坐标在目标方向上的投影位置,判断所述各结构的类别;
分割质量评估模型构建单元,用于根据各结构的类别和各结构的中心点位置构建分割质量评估模型。
6.根据权利要求5所述的系统,其特征在于,所述目标方向获取单元中的所述目标方向的获取方法为:
获取所述待测生物的外接矩形框,以所述外接矩形框的较长边的方向作为目标方向。
7.根据权利要求5所述的系统,其特征在于,所述分割质量评估模型构建单元还包括:
结构间距获取单元,用于获取各结构中心点两两连接所形成的线段在目标方向上的投影距离,以所述投影距离作为结构间距;
分割质量评估单元,用于根据所述结构间距的邻近均值与标准间距计算各结构的分割质量得分;
分割质量判断单元,用于通过设定评估阈值对分割质量评估的结果进行判断。
8.根据权利要求7所述的系统,其特征在于,所述分割质量判断单元还包括:
优化单元,用于对未达标的分割图,送入所述结构筛选模块和所述分割图获取模块继续优化,直至所述分割质量满足质量评估要求。
CN202110335363.0A 2021-03-29 2021-03-29 基于人工智能的锥束ct图像生物结构识别及三维重建系统 Active CN113066064B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110335363.0A CN113066064B (zh) 2021-03-29 2021-03-29 基于人工智能的锥束ct图像生物结构识别及三维重建系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110335363.0A CN113066064B (zh) 2021-03-29 2021-03-29 基于人工智能的锥束ct图像生物结构识别及三维重建系统

Publications (2)

Publication Number Publication Date
CN113066064A true CN113066064A (zh) 2021-07-02
CN113066064B CN113066064B (zh) 2023-06-06

Family

ID=76564289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110335363.0A Active CN113066064B (zh) 2021-03-29 2021-03-29 基于人工智能的锥束ct图像生物结构识别及三维重建系统

Country Status (1)

Country Link
CN (1) CN113066064B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546174A (zh) * 2022-10-20 2022-12-30 数坤(北京)网络科技股份有限公司 图像处理方法、装置、计算设备及存储介质
CN115797675A (zh) * 2023-02-09 2023-03-14 青岛图达互联信息科技有限公司 一种人工智能图像处理方法及系统
CN116168066A (zh) * 2023-04-25 2023-05-26 河海大学 基于数据分析的建筑物三维点云配准预处理方法
CN116245951A (zh) * 2023-05-12 2023-06-09 南昌大学第二附属医院 脑组织出血定位分类和出血量化方法、设备、介质和程序
CN116910452A (zh) * 2023-07-21 2023-10-20 郑州铁路职业技术学院 基于大数据的有害垃圾无菌化处理风险预测评估方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120143037A1 (en) * 2009-04-07 2012-06-07 Kayvan Najarian Accurate Pelvic Fracture Detection for X-Ray and CT Images
CN103543167A (zh) * 2013-10-08 2014-01-29 华南理工大学 一种基于知识库的三维x射线断层扫描检测系统及方法
US20150339828A1 (en) * 2012-05-31 2015-11-26 Thomson Licensing Segmentation of a foreground object in a 3d scene
CN106447645A (zh) * 2016-04-05 2017-02-22 天津大学 增强ct图像中冠脉钙化检测及量化装置和方法
WO2018120644A1 (zh) * 2016-12-31 2018-07-05 上海联影医疗科技有限公司 血管提取方法及系统
CN108596923A (zh) * 2018-05-14 2018-09-28 江苏哈工智能机器人股份有限公司 三维数据的获取方法、装置以及电子设备
CN111681274A (zh) * 2020-08-11 2020-09-18 成都艾尔帕思科技有限公司 基于深度相机点云数据的3d人体骨骼识别和提取方法
US20200320688A1 (en) * 2017-12-07 2020-10-08 Shaghai Jiao Tong University Rapid calculation method and system for plaque stability index based on medical image sequence
CN112489193A (zh) * 2020-11-24 2021-03-12 江苏科技大学 一种基于结构光的三维重建方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120143037A1 (en) * 2009-04-07 2012-06-07 Kayvan Najarian Accurate Pelvic Fracture Detection for X-Ray and CT Images
US20150339828A1 (en) * 2012-05-31 2015-11-26 Thomson Licensing Segmentation of a foreground object in a 3d scene
CN103543167A (zh) * 2013-10-08 2014-01-29 华南理工大学 一种基于知识库的三维x射线断层扫描检测系统及方法
CN106447645A (zh) * 2016-04-05 2017-02-22 天津大学 增强ct图像中冠脉钙化检测及量化装置和方法
WO2018120644A1 (zh) * 2016-12-31 2018-07-05 上海联影医疗科技有限公司 血管提取方法及系统
US20200320688A1 (en) * 2017-12-07 2020-10-08 Shaghai Jiao Tong University Rapid calculation method and system for plaque stability index based on medical image sequence
CN108596923A (zh) * 2018-05-14 2018-09-28 江苏哈工智能机器人股份有限公司 三维数据的获取方法、装置以及电子设备
CN111681274A (zh) * 2020-08-11 2020-09-18 成都艾尔帕思科技有限公司 基于深度相机点云数据的3d人体骨骼识别和提取方法
CN112489193A (zh) * 2020-11-24 2021-03-12 江苏科技大学 一种基于结构光的三维重建方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
CARMELO MINEO等: "Novel algorithms for 3D surface point cloud boundary detection and edge reconstruction", JOURNAL OF COMPUTATIONAL DESIGN AND ENGINEERING, vol. 6, no. 1, pages 81 - 91 *
于灏: "基于工图图像的法兰三维重建方法研究", 中国优秀硕士学位论文全文数据库工程科技Ⅱ辑, no. 3, pages 029 - 127 *
姜冰: "基于CGA的虹膜噪声图像快速定位与三维重建", 中国优秀硕士学位论文全文数据库信息科技辑, no. 2, pages 138 - 1397 *
张一;姜挺;江刚武;于英;周远;: "适用于高精度同时定位与地图构建的均衡化亚像素ORB特征提取方法", 光学精密工程, no. 10, pages 237 - 245 *
杨少龙等: "基于VR及3D打印技术的解剖病理仿真实验室的构建", 郑州铁路职业技术学院学报, pages 31 - 33 *
范天海;黄丹平;田建平;于少东;吴志鹏;董娜;: "基于机器视觉元件管脚高度检测系统研究", 光学技术, no. 01, pages 105 - 112 *
蔡军;陈科宇;张毅;: "基于Kinect的改进移动机器人视觉SLAM", 智能系统学报, no. 05, pages 66 - 72 *
陈英博: "Kinect点云数据与序列影像结合的三维重建技术", 中国优秀硕士学位论文全文数据库信息科技辑, no. 2, pages 138 - 2398 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546174A (zh) * 2022-10-20 2022-12-30 数坤(北京)网络科技股份有限公司 图像处理方法、装置、计算设备及存储介质
CN115546174B (zh) * 2022-10-20 2023-09-08 数坤(北京)网络科技股份有限公司 图像处理方法、装置、计算设备及存储介质
CN115797675A (zh) * 2023-02-09 2023-03-14 青岛图达互联信息科技有限公司 一种人工智能图像处理方法及系统
CN115797675B (zh) * 2023-02-09 2023-06-09 青岛图达互联信息科技有限公司 一种人工智能图像处理方法及系统
CN116168066A (zh) * 2023-04-25 2023-05-26 河海大学 基于数据分析的建筑物三维点云配准预处理方法
CN116245951A (zh) * 2023-05-12 2023-06-09 南昌大学第二附属医院 脑组织出血定位分类和出血量化方法、设备、介质和程序
CN116245951B (zh) * 2023-05-12 2023-08-29 南昌大学第二附属医院 脑组织出血定位分类和出血量化方法、设备、介质和程序
CN116910452A (zh) * 2023-07-21 2023-10-20 郑州铁路职业技术学院 基于大数据的有害垃圾无菌化处理风险预测评估方法
CN116910452B (zh) * 2023-07-21 2024-04-26 郑州铁路职业技术学院 基于大数据的有害垃圾无菌化处理风险预测评估方法

Also Published As

Publication number Publication date
CN113066064B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN113066064B (zh) 基于人工智能的锥束ct图像生物结构识别及三维重建系统
US11669971B2 (en) Colony contrast gathering
CN110097034B (zh) 一种智能人脸健康程度的识别与评估方法
JP5997185B2 (ja) 明細書微生物増殖を分析する方法およびソフトウェア
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN107169998B (zh) 一种基于肝脏超声造影图像的实时跟踪及定量分析方法
CN108537751B (zh) 一种基于径向基神经网络的甲状腺超声图像自动分割方法
CN109363698A (zh) 一种乳腺影像征象识别的方法及装置
CN105069818A (zh) 一种基于图像分析的皮肤毛孔识别方法
CN110232389A (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN107680110B (zh) 基于统计形状模型的内耳三维水平集分割方法
CN108765427A (zh) 一种前列腺图像分割方法
CN110473199B (zh) 基于深度学习实例分割的色斑痤疮检测与健康评价方法
CN111553919B (zh) 一种基于弹性超声成像的甲状腺结节分析系统
CN110992377A (zh) 图像分割方法、装置、计算机可读存储介质和设备
CN112085675A (zh) 深度图像去噪方法、前景分割方法及人体运动监测方法
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN110111386B (zh) 一种肌肉组织中结构性角度的自动测量方法及系统
Zhang et al. Automated microwave tomography (Mwt) image segmentation: State-of-the-art implementation and evaluation
CN117557859A (zh) 基于目标追踪的超声影像目标多角度融合分析系统及方法
CN117173743A (zh) 一种时序相关的自适应信息融合鱼类群体跟踪方法
RU2668699C1 (ru) Интеллектуальный способ диагностики и обнаружения новообразований в легких
BR112021011795A2 (pt) Sistema e método para monitorar o crescimento bacteriano de colônias bacterianas e prever biomassa de colônia
Mamatha Detection of Brain Tumor in MR images using hybrid Fuzzy C-mean clustering with graph cut segmentation technique
CN116152253B (zh) 心脏磁共振mapping量化方法、系统和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant