CN114119872A - 基于人工智能大数据分析3d打印脊柱内植物的方法 - Google Patents
基于人工智能大数据分析3d打印脊柱内植物的方法 Download PDFInfo
- Publication number
- CN114119872A CN114119872A CN202111409654.6A CN202111409654A CN114119872A CN 114119872 A CN114119872 A CN 114119872A CN 202111409654 A CN202111409654 A CN 202111409654A CN 114119872 A CN114119872 A CN 114119872A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- printing
- vertebral body
- intraspinal
- artificial intelligence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Prostheses (AREA)
- Image Processing (AREA)
Abstract
本发明涉及脊柱内植物3D打印领域,具体涉及一种基于人工智能大数据分析3D打印脊柱内植物的方法,实现了对患者脊柱植入物的精确快速匹配打印。本发明技术方案包括:收集脊柱影像学数据,对脊柱影像中的椎体区域进行特征分割,然后根据分割后的椎体图像特征重建三维椎体结构模型,对模型进行撒三维测量,定位椎体终板结构特征点,再根据终板结构特征点提取椎体终板区域,并得到终板的三维形态数据,对终板的三维形态数据进行分类,构建脊柱尺寸数据库,然后设计与分类终板匹配的脊柱内植物,最后导入患者的脊柱影像数据,自动判断分类并选择对应内植物进行3D打印。本发明适用于脊柱内植物快速精确匹配批量打印。
Description
技术领域
本发明涉及脊柱内植物3D打印领域,具体涉及一种基于人工智能大数据分析3D打印脊柱内植物的方法。
背景技术
颈腰痛是一种与年龄相关、以椎间盘退变为基础的疾病,严重时可导致患者肢体瘫痪。随着我国人口老龄化速度的加快和现代社会生产生活方式的改变,颈椎病和下腰痛患者发病率逐年增加并且呈年轻化趋势,随之带来了沉重的社会和经济负担。现有的脊柱植入物产品(包括人工椎间盘产品、钛网、融合器、人工椎体等)在取得较为良好疗效的同时仍存在脊柱植入物与终板形态不匹配、植入困难、植入后稳定性不足、影响假体-终板界面骨整合等问题。总之,现有的脊柱植入物产品在脊柱疾病治疗中疗效确切,但仍面临脊柱终板-植入物界面匹配问题及多孔结构界面骨整合问题。
3D打印技术采用连续的物理层叠加、逐层增加材料的方式生成三维实体的成型技术工艺,能够更加有效的解决复杂、不规则结构的设计,根据个性化的定制,达到内植物与脊椎终板的完美契合。发挥3D打印技术个性化匹配及多孔结构制造优势使得个性化打印的多孔结构的脊柱植入物产品与患者终板解剖结构相匹配,提升了植入物-终板界面的骨整合质量和稳定性。但仍然存在匹配精度不高的问题,并且个性化3D打印价格昂贵医疗负担重、生产周期长、不利于大规模临床推广应用等技术与产业化痛点仍有待进一步解决。
研究团队前期对颈椎终板形态进行了研究发现在正中矢状面上可分为三型,分别为穹窿顶点位置靠后型(26.9%)、穹窿顶点靠前型(19.2%)、穹窿顶点位于正中型(53.9%);在冠状面上,终板的形态可大致分为穹窿型(68.6%)、扁平型(26.9%)、不规则型(4.5%)。然而,目前此类分型样本量少且为二维分型,分类较为粗糙,样本量较小,难以充分符合不同患者、不同节段椎体终板穹隆的解剖特性,对内植物的设计优化指导作用较为局限。
发明内容
本发明的目的是提供一种基于人工智能大数据分析3D打印脊柱内植物的方法,实现了导入患者的脊柱影像学数据,自动判断分类并选择对应内植物进行3D打印,极大地提高了脊柱植入物匹配的精确度。
本发明采取如下技术方案实现上述目的,基于人工智能大数据分析3D打印脊柱内植物的方法,包括:
步骤1、收集脊柱影像学数据,重建三维椎体结构模型;
步骤2、对模型的终板形态进行三维测量,根据测量结果构建脊柱尺寸数据库;
步骤3、采用人工智能对终板形态进行分类;
步骤4、设计与分类终板匹配的脊柱内植物;
步骤5、导入患者的脊柱影像学数据,自动判断分类并选择对应内植物进行3D打印。
进一步的是,步骤1中,收集脊柱影像学数据,重建三维椎体结构模型的具体方法包括:
收集脊柱影像学数据,对脊柱影像中的椎体区域进行特征分割,根据分割后的椎体图像特征重建三维椎体结构模型。进行特征分割之前还包括对脊柱影像学数据进行滤波去噪、图像矫正以及图像配准处理。
进一步的是,采用分割网络Res_Unet对脊柱影像学数据中的椎体区域进行特征分割,所述特征分割的具体方法包括:
将训练集的原始数据输入Res_Unet并进行预训练,将预训练后得到的预测图作为训练样本的先验信息预测图通道;
同时将训练集的原始数据输入注意力网络,将得到的注意力图作为训练样本的位置像素分布信息通道;
将原始数据通道、先验信息预测图通道及位置像素分布信息通道进行多通道融合,得到一个多通道训练样本;
将多通道训练样本输入到Res_Unet中进行网络分割模型训练,最终实现脊柱椎体区域的特征分割。
所述分割网络Res_Unet包括编码阶段以及解码阶段;
所述编码阶段通过卷积操作对每一张序列图像提取特征,得到多组特征图,每组特征图包括不同层级的特征,采用金字塔池化模块对最深层级的特征图进行处理;
所述解码阶段,通过上采样操作将每张特征图恢复至原图像分辨率大小,每一次上采样操作都包含一次跳跃连接操作,充分利用脊柱影像学数据的特性以获得更丰富的全局上下文信息。
进一步的是,步骤1中,采用快速光线投射算法重建三维椎体结构,在重建三维椎体结构的过程中,通过光线在任意空体素中的增量确定沿光线入射方向跳跃到下一个体素的坐标,并对下一个体素进行判断,若下一个体素为空体素则重复这一过程直到遇到非空体素。
进一步的是,所述光线在任意空体素中的增量的计算方法包括:
设P(x,y,z)为空体素,Dp表示接受距离,则有:
Dp=min(Dp,Dv(o,m,n)+Dv(x+o,y+m,z+n)),o,m,n=0,±1;其中Dv(o,m,n)为曼哈顿距离;
取光线矢量L=(x1,y1,z1),原始的光线步长d=|x1|+|y1|+|z1|,因此沿射线方向从该体素处出发行进到达的下一体素P'(x,y,z)的坐标为:
则光线在任意空体素中的增量可以表示为:
进一步的是,步骤2中,采用特征点网络模型对模型的终板形态进行三维测量,所述测量包括测量三维椎体结构的几何信息,所述几何信息包括曲线距离、表面积以及体积。
进一步的是,针对曲线距离测量,采用三次样条函数计算曲线方程,然后通过积分获得曲线长度;经三次样条函数推导得曲线长度公式为:
进一步的是,针对表面积测量,利用由特征点组成的点云数据,通过三角面法拟合曲面面积;具体过程包括:设由N(P0,P1,...,PN)个特征点组成曲面,选择其中一点P0,依次组合成三角形ΔP0P1P2、ΔP0P2P3、...,通过统计所有三角形的面积和拟合曲面面积,组成曲面的特征点越多,拟合测量的精度越高;其中曲面面积公式为:
进一步的是,针对体积测量,利用由特征点组成的点云数据,通过四面体法拟合物体体积面积;具体过程包括:设点云数据中一点P0(0,0,0)为原点,任意三个特征点为顶点Pi1(xi1,yi1,zi1),Pi2(xi2,yi2,zi2),Pi3(xi3,yi3,zi3)组成的三角形ΔABC,P0与ΔABC各点相连构成一个四面体VOABC,该四面体体积计算公式为:
进一步的是,步骤2中,构建脊柱尺寸数据库的具体方法包括:对模型的终板形态进行三维测量,定位椎体终板结构特征点,根据终板结构特征点提取椎体终板区域,获取终板的三维形态数据,并根据终板的三维形态数据构建脊柱尺寸数据库。
根据终板结构特征点提取椎体终板区域的具体方法包括:根据终板结构特征点分割出终板区域的边界,采用设定路径实现对椎体终板区域的提取;
设定路径包括:采用基于形态学的三维区域生长方式,在定位获取的椎体间隙进行生长,
以获取椎间形态,进而获取终板形态;或采用立体填充加布尔运算的方法:即在上下椎体间自动填充立体模板,通过对椎体和模板进行布尔计算,可间接得到终板结构。
进一步的是,步骤3中,采用人工智能对终板形态进行分类的具体方法包括:根据脊柱三维数据的生理学结构、生物学特征以及重建三维椎体结构几何特征,利用智能聚类算法将终板三维形态数据进行智能分类。
进一步的是,步骤5中,自动判断分类并选择对应内植物进行3D打印的具体方法包括:将匹配的脊柱内植物三维模型与对应重建三维椎体结构模型进行贴合度测量,并对贴合误差进行判断,若贴合误差小于设置值时,对脊柱内植物模型3D打印;若贴合误差大于等于设置值且在三维数据库中无法搜索到符合误差标准的模型时,将该三维模型分类到相似度最高的类别中,完成数据库的在线学习与更新。
进一步的是,步骤4中,终板匹配包括对终板局部特征以及全局特征进行相似度匹配。
进一步的是,采用基于顶点邻域属性的局部特征提取算法对终板局部特征进行提取,具体步骤包括:通过统计三维椎体模型的顶点及领域顶点的相关属性,构建局部特征矩阵Flocal=[fv,fdis,fn,fk,...],其中fv为顶点到邻域质心的矢量,fdis为顶点到邻域质心的距离,fn为法向量,fk为顶点曲率等统计指标。
进一步的是,采用三维卷积神经网络构建图像自编码器模型对全局特征进行学习及表征;图像自编码器模型由一个编码器和一个解码器组成;
编码器利用卷积神经网络对不同尺度的图像进行特征提取,最终将输入的三维图像表征为一个特征向量,完成从三维空间到特征向量空间的映射;
解码器的作用与编码器相反,即将特征向量从向量空间恢复到三维图像空间。
进一步的是,通过相似度度量函数对终板局部特征以及全局特征进行相似度匹配,相似度度量函数为:Dmix(λ1L1,λ2L2,λ3L3,...),其中λ1、λ2、λ3为各度量指标在相似度结果评价中的权重,L1、L2、L3为各种距离函数。
进一步的是,所述脊柱内植物包括椎间盘假体、钛网、融合器以及人工椎体。
本发明利用深度学习技术构建适用于脊柱影像的分割网络,通过改进的U形分割网络进行预训练,同时结合注意力网络的优势生成训练样本的位置像素分布信息;利用预训练结果、注意力图及原始数据进行通道融合操作以送入分割网络中进行训练,实现更准确的脊柱分割效果。另外,本发明基于快速光线投射的体绘制重建三维脊柱椎体结构,设计空间跳跃算法去除冗余采样,可以有效提高三维重建效率。同时,将关键特征点与网络模型相结合,减少人工操作选取点造成的误差,可以有效提高三维测量精度。在终板三维形态的数据智能分类与快速匹配算法研究方面,充分利用脊柱大数据,从生理特征、生物学特征及几何学特征等方面,对先验数据进行自动聚类,提高三维模型匹配的效率。同时,利用传统的局部特征提取因子(如顶点到邻域质心的距离、顶点法向量、顶点曲率)和基于深度学习的全局特征提取算法,提出一种基于局部特征与全局特征融合的三维形态特征提取算法,解决三维形态匹配困难的问题。另外,针对现有的相似度度量算法对融合特征相似度评价能力不足的问题,提出一种新的特征向量相似度度量方法,提高三维形态相似度匹配精度。
附图说明
图1是本发明基于人工智能大数据分析3D打印脊柱内植物的方法流程图。
图2是本发明椎体结构三维重建与测量处理流程图。
图3是本发明注意力网络流程图。
图4是本发明光线投射算法流程图。
图5是本发明椎体终板提取分割流程图。
图6是本发明基于布尔运算的终板提取流程图。
图7是基于自编码器的三维全局特征提取模型。
图8是本发明脊柱终板智能分类与快速匹配的流程图。
附图中,101为重建的脊柱结构三维模型,102为插入模板后的模型,103为椎间盘结构,104为上椎体终板表面,105为下椎体终板表面,106为真实终板三维形态,107为重建终板三维形态,201为编码器,202为特征向量,203为解码器。
具体实施方式
下面结合附图对本发明进行进一步说明。
本发明基于人工智能大数据分析3D打印脊柱内植物的方法,如图1所示,包括:
步骤S1、收集脊柱影像学数据,重建三维椎体结构模型;
步骤S2、对模型的终板形态进行三维测量,根据测量结果构建脊柱尺寸数据库;
步骤S3、采用人工智能对终板形态进行分类;
步骤S4、设计与分类终板匹配的脊柱内植物;
步骤S5、导入患者的脊柱影像学数据,自动判断分类并选择对应内植物进行3D打印。
步骤S1中,收集脊柱影像学数据,重建三维椎体结构模型的具体方法包括:收集脊柱影像学数据,影像学数据包括脊柱CT图像,然后对脊柱影像中的椎体区域进行特征分割,根据分割后的椎体图像特征重建三维椎体结构模型。进行特征分割之前还包括对脊柱影像学数据进行滤波去噪、图像矫正以及图像配准处理。
其中进行特征分割之前还包括对脊柱CT图像进行滤波去噪、图像矫正以及图像配准处理。采用分割网络Res_Unet对脊柱CT图像中的椎体区域进行特征分割,所述特征分割的具体方法包括:
将训练集的原始数据输入Res_Unet并进行预训练,将预训练后得到的预测图作为训练样本的先验信息预测图通道;
同时将训练集的原始数据输入注意力网络,注意力网络的处理过程如图3所示,将得到的注意力图作为训练样本的位置像素分布信息通道;
将原始数据通道、先验信息预测图通道及位置像素分布信息通道进行多通道融合,得到一个多通道训练样本;
将多通道训练样本输入到Res_Unet中进行网络分割模型训练,最终实现CT脊柱椎体区域的特征分割。
分割网络Res_Unet包括编码阶段以及解码阶段,编码阶段通过卷积操作对每一张序列图像提取特征,得到多组特征图,每组特征图包括不同层级的特征,采用金字塔池化模块对最深层级的特征图进行处理;
解码阶段,通过上采样操作将每张特征图恢复至原图像分辨率大小,每一次上采样操作都包含一次跳跃连接操作,充分利用脊柱影像学数据的特性以获得更丰富的全局上下文信息。与U-Net网络不同的是,Res_Unet网络将残差模块加入到U-Net网络中,这种结构有效克服了由于网络层数加深造成的参数过多和梯度弥散问题。而且,引入残差学习单元能够降低训练的难度,大大提升模型的训练速度。
步骤S1中,采用快速光线投射算法重建三维椎体结构。光线投射算法是最经典的体绘制技术之一,其理论模型是以物体对单一波长的光子的吸收、发射为基础。假设体数据是由无规律松散分布的、可以发射和吸收光线的球形微小颗粒构成,根据微粒对光线的发射和吸收,可以把光学理论模型分为吸收模型、发射模型、吸收和发射模型三种类型,其中吸收模型适用于CT数据可视化。
光线投射算法的基本流程如图4所示,三维体数据经过数据处理分类得到数据点颜色值和不透明值,然后对发射光线重采样,得到采样点颜色值和不透明值,最后将图像合成,得到重建结果。
在光线投射算法中,采样过程占用了大量时间,选择何种方法将会直接影响绘制速度。采用空间跳跃技术在绘制时跳过投射光线上的空体素,可以有效减少计算量,从而提高绘制速度。
计算过程包括:
设P(x,y,z)为空体素,Dp表示接受距离,则有:
Dp=min(Dp,Dv(o,m,n)+Dv(x+o,y+m,z+n)),o,m,n=0,±1;其中Dv(o,m,n)为曼哈顿距离;
取光线矢量L=(x1,y1,z1),原始的光线步长d=|x1|+|y1|+|z1|,因此沿射线方向从该体素处出发行进到达的下一体素P'(x,y,z)的坐标为:
则光线在任意空体素中的增量可以表示为:
当射入光线遇到空体素时,可以按照上式计算光线增量,由此确定沿光线入射方向跳跃到下一个体素的坐标。若下一个体素为空体素则重复这一过程直到遇到非空体素,从而实现空间跳跃以达到减少计算量的目的。
步骤S2中,采用特征点网络模型对模型的终板形态进行三维测量。
基于特征点网络模型的三维测量通过构建三维目标的点云数据,按照一定的数学原理测算三维物体的几何信息。针对直线距离的测量主要可以分为点点距离、点线距离、点面距离三种。
相较于直线距离测量,曲线距离测量难度较大。针对曲线距离测量,传统的方法是通过统计沿曲线方向上的若干小线段的长度近似测算曲线长度,这种方法测算精度不高。为了得到更为精确的曲线长度,本发明针对曲线距离测量,采用三次样条函数计算曲线方程,然后通过积分获得曲线长度;经三次样条函数推导得曲线长度公式为:
针对表面积测量,利用由特征点组成的点云数据,通过三角面法拟合曲面面积;具体过程包括:设由N(P0,P1,...,PN)个特征点组成曲面,选择其中一点P0,,依次组合成三角形ΔP0P1P2、ΔP0P2P3、...,通过统计所有三角形的面积和拟合曲面面积,组成曲面的特征点越多,拟合测量的精度越高;其中曲面面积公式为:
针对体积测量,利用由特征点组成的点云数据,通过四面体法拟合物体体积面积;具体过程包括:设点云数据中一点P0(0,0,0)为原点,任意三个特征点为顶点Pi1(xi1,yi1,zi1),Pi2(xi2,yi2,zi2),Pi3(xi3,yi3,zi3)组成的三角形ΔABC,P0与ΔABC各点相连构成一个四面体VOABC,该四面体体积计算公式为:
步骤S2中,构建脊柱尺寸数据库的具体方法包括:对模型的终板形态进行三维测量,定位椎体终板结构特征点,根据终板结构特征点提取椎体终板区域,获取终板的三维形态数据,并根据终板的三维形态数据构建脊柱尺寸数据库。
根据终板结构特征点提取椎体终板区域的具体方法包括:根据终板结构特征点分割出终板区域的边界,采用设定路径实现对椎体终板区域的提取。
具体过程如图5所示:重建椎体结构后,利用像素位置先验信息和三维空间信息,结合三维点云获取的终板区域关键特征点,分割出终板区域的边界,实现三维空间中终板区域自动、快速、准确的定位分割。在三维测量中构建了椎体的三维点云,通过基于关键点检测、边缘检测等手段获得点云中表示终板区域边缘和结构的关键点,实现对椎体间隙区域的定位,然后采用基于形态学的三维区域生长的三维分割或基于布尔运算的三维分割实现终板区域的三维分割,得到椎间盘三维结构,再提取终板表面,得到上下椎体终板表面形态。
在三维分割过程中,一种是采用基于形态学的三维区域生长方式,在定位获取的椎体间隙进行生长,以获取椎间形态,进而获取终板形态;
另一是采用立体填充加布尔运算的方法,如图6所示:在重建的脊柱结构三维模型101的上下肢体间自动填充立体模板,得到插入模板后的模型102,通过对椎体和模板进行布尔计算,可间接得到终板结构,即椎间盘结构103,上椎体终板表面104,下椎体终板表面105。
综上所述,脊柱椎体结构模型的三维重建与测量处理过程如图2所示,二维CT图像序列经过滤波去噪、图像矫正以及图像配准等预处理后,进行特征分割,特征分割后进行三维重建,三维重建基于快速光线投射算法绘制三维重建,然后采用基于特征点网络模型的三维测量,最后采用计算机图形学进行终板区域提取。
接下来对脊柱终板智能分类与快速匹配进行阐述。
步骤S3中,采用人工智能对终板形态进行分类的具体方法包括:根据脊柱三维数据的生理学结构、生物学特征以及重建三维椎体结构几何特征,利用智能聚类算法将终板三维形态数据进行智能分类。
智能分类之后再进行终板匹配,终板匹配包括对终板局部特征以及全局特征进行相似度匹配。为实现高效精准的三维形态匹配,需研究脊柱终板三维局部形态及全局形态的特征提取算法,构建可量化的相似度度量方法。在特征提取算法研究方面,考虑到三维形态的复杂性,需要从局部和全局两方面设计特征提取算法。在局部特征提取方面,针对传统二维形态描述算法的不足,本发明采用基于顶点邻域属性的局部特征提取算法对终板局部特征进行提取,具体步骤包括:通过统计三维椎体模型的顶点及领域顶点的相关属性,构建局部特征矩阵Flocal=[fv,fdis,fn,fk,...],其中fv为顶点到邻域质心的矢量,fdis为顶点到邻域质心的距离,fn为法向量,fk为顶点曲率等统计指标。接着,基于上述相关特征表征,形成对应的特征矩阵。
在全局特征提取方面,由于三维卷积神经网络对三维图像有较强的学习及表征能力,因此本发明利用三维卷积神经网络构建图像自编码器(Autoencoder)模型,对脊柱终板三维全局形态进行学习及表征。如图7所示,图像自编码器模型由一个编码器201和一个解码器203组成;编码器201利用卷积神经网络对不同尺度的图像进行特征提取,最终将输入的三维图像表征为一个特征向量202,完成从三维空间到特征向量空间的映射;解码器203的作用与编码器相反,即将特征向量202从向量空间恢复到三维图像空间。
具体过程为:编码器201对真实终板三维形态106进行特征提取,并将输入的三维图像表征为一个特征向量202,完成从三维空间到特征向量空间的映射;解码器203将特征向量202从向量空间恢复到三维图像空间,得到重建终板三维形态107。
公式如下:Z=Enc(X),其中Enc为编码器,Dec为解码器,Z为通过卷积神经网络学习到的输入脊柱终板三维模型的全局特征向量。通过构建损失函数,建立真实三维图像与重建三维图像的定量损失,并不断迭代更新网络参数,当网络达到全局最优后,则由编码器生成的特征向量Z可以表征输入的脊柱终板三维模型。
完成对脊柱终板三维形态局部及全局特征向量构建后,需要建立基于局部三维形态及全局三维形态的终板三维形态相似度评价指标,以完成三维形态的快速精准匹配。通过全面研究各类相似度度量函数(包括欧氏距离、马氏距离、闵可夫斯基距离、余弦相似度等),本发明设计一种对局部三维形态及全局三维形态特征敏感的,融合多种距离估计算法的相似度度量函数Dmix(L1,L2,L3,...),L1、L2、L3为各种距离函数。
距离函数包括LP距离函数,具体包括:定义任意两个特征量X,Y;X={x1,x2,x3,...xn},Y={y1,y2,y3,...yn},则它们对应的Minkowski距离定义为:当p=1时,得到的距离被称为曼哈顿距离;p=2时,该距离就是常见的两点之间的欧式距离;对欧式距离增加权数矩阵得到加权的欧式距离,计算公式如下:d(X,Y)=[X-Y]'W[X-Y]。
距离函数还包括Hausdorff距离函数,Hausdorff距离是描述两组点集之间相似程度的一种量度,计算时首先要计算两组点集之间的有向Hausdorff距离,有向的Hausdorff距离被定义为:由于计算过程中,需要得到点集之间的有向距离,因此点集中的任意点的微小变化或噪音干扰都会对最终的结果产生影响。为了增强Hausdorff距离对噪音干扰和微小变化的兼容性,可以采用如下公式来计算Hausdorff距离,该公式具有鲁棒性:其中,可以利用上述鲁棒的Hausdorff距离评价顶点集合之间的距离,从而完成相似度的评价。
虽然现有的相似度评价算法可在一定程度上解决特征矩阵相似度度量问题,但根据本发明的研究内容,其特征描述是基于局部特征和全局特征的融合特征矩阵。因此,需要深入研究各类距离度量函数对局部特征或全局特征的敏感性与鲁棒性,通过构建查全查准曲线,F-度量,及贴合度测量指标,评价各类相似度函数的度量效果;通过引入度量评价超参数,调整各度量指标在相似度结果评价中的权重,以期达到相似度最优化度量,其表达如下式所示:Dmix(λ1L1,λ2L2,λ3L3,...),其中λ1、λ2、λ3为各度量指标在相似度结果评价中的权重,L1、L2、L3为各种距离函数。
在精准匹配完成之后,还需要将匹配的脊柱内植物三维模型与对应重建三维椎体结构模型进行贴合度测量,并对贴合误差进行判断,若贴合误差小于设置值(1mm)时,对脊柱内植物模型3D打印;若贴合误差大于等于设置值且在三维数据库中无法搜索到符合误差标准的模型时,将该三维模型分类到相似度最高的类别中,完成数据库的在线学习与更新。
综上所述,脊柱终板智能分类与快速匹配的流程图如图8所示,首先需要对数据库中的颈椎终板进行智能分类。拟深入挖掘数据中不同维度的信息,利用医学、计算机视觉及图形学相关先验知识,寻找数据库中相互独立及正交的先验信息,构建医学特征与图形图像几何学特征明显的分类特征;拟通过提取三维形态的局部及全局特征,利用决策树模型,在相关先验信息的引导下,研究对所提特征敏感的智能聚类模型;为了完成对病员终板的精准匹配,需要深入研究基于三维形态的特征提取方法。目前多数图像特征提取算法都是基于二维图像,基于三维图像的形态学特征提取研究较少。为此,需要充分研究终板的各维度特征,通过统计学、信息学相关算法,研究不同维度图像在空间域和频率域的特征表达。另外,需要充分利用三维图像的空间信息,研究局部特征与全局特征相融合的特征提取算法,根据不同视域的特征信息,深入研究特征鲁棒、对形态差异敏感及可量化的三维特征描述符。同时,根据构建的融合特征描述符建立相似度度量函数。现有的特征描述符往往使用向量、图或树的数据结构来表征三维模型。因此,要获得三维模型间的相似度,首先要确定特征描述符之间差异性的计算方式。对于以向量形式表示的特征描述符,其差异性需要根据向量中各个分量之间的关系来确定。因此,需要研究基于融合特征矩阵的相似度度量方法。拟参考矩阵距离度量方法、图匹配方法及视图或截面轮廓度量方法,构建对特征敏感、度量鲁棒的度量方法。
导入病员的脊柱影像学数据后,对像学数据进行预处理,预处理后进行三维模型重建,根据重建的模型提取脊柱终板,对终板局部特征以及全局特征进行相似度匹配;当贴合度达标时,直接匹配取用;贴合度不达标时,补充至数据库。
本发明适用的脊柱内植物包括椎间盘假体、钛网、融合器以及人工椎体。
本发明通过人工智能算法对脊柱终板形态进行智能分类,根据各种终板形态类别使用3D打印批量生产对应的脊柱内植物假体。具体方法为:术前将患者的影像学资料输入分类模型,匹配出最契合终板形态的类型及对应的假体型号,实现假体与脊柱终板形态的最佳匹配,避免术中对骨性终板过度打磨造导致的术中风险以及术后假体下沉、植骨不融合、曲度丢失、异位骨化等并发症。
在实施过程中,本发明首先建立国人脊椎CT扫描数据库,通过三维建模技术对脊柱CT进行重建利用AI进行脊柱解剖聚类分型,根据解剖结构分类设计百余种型号,确保每个最佳匹配的产品与患者终板个性化匹配度达90%以上,通过建立脊柱终板形态库指导后续脊柱植入物建模与设计,根据分类研究结果预先打印制备上百种型号的脊柱植入物产品,然后按照传统植入物销售推广模式存放到各地经销商及医院仓库,当患者完成CT扫描后,即可远程上传脊柱CT数据到服务器上完成自动三维重建匹配并智能化匹配最佳型号,供临床手术医生参考选用。通过上述解决方案,实现个性化与批量化生产的矛盾的统一,在保证脊柱植入物产品与患者终板匹配度大于90%的基础上,解决3D定制产品价格昂贵、生产周期长、临床大规模应用推广难等问题。
综上所述,本专利基于人工智能大数据及三维建模的脊柱终板分类实现脊柱植入物产品批量化个性化定制,同时极大地提高了脊柱植入物匹配的精确度,实现个性化与批量化生产的矛盾的统一,解决3D定制产品价格昂贵、生产周期长、临床大规模应用推广难等问题。
以上所述仅为本发明专利的较佳实施例,凡依本发明专利申请专利范围所作的均等变化与修饰,皆应属本发明专利的涵盖范围。
Claims (20)
1.基于人工智能大数据分析3D打印脊柱内植物的方法,其特征在于,包括:
步骤1、收集脊柱影像学数据,重建三维椎体结构模型;
步骤2、对模型的终板形态进行三维测量,根据测量结果构建脊柱尺寸数据库;
步骤3、采用人工智能对终板形态进行分类;
步骤4、设计与分类终板匹配的脊柱内植物;
步骤5、导入患者的脊柱影像学数据,自动判断分类并选择对应内植物进行3D打印。
2.根据权利要求1所述的基于人工智能大数据分析3D打印脊柱内植物的方法,其特征在于,步骤1中,收集脊柱影像学数据,重建三维椎体结构模型的具体方法包括:
收集脊柱影像学数据,对脊柱影像中的椎体区域进行特征分割,根据分割后的椎体图像特征重建三维椎体结构模型。
3.根据权利要求2所述的基于人工智能大数据分析3D打印脊柱内植物的方法,其特征在于,进行特征分割之前还包括对脊柱影像学数据进行滤波去噪、图像矫正以及图像配准处理。
4.根据权利要求2所述的基于人工智能大数据分析3D打印脊柱内植物的方法,其特征在于,采用分割网络Res_Unet对脊柱影像学数据中的椎体区域进行特征分割,所述特征分割的具体方法包括:
将训练集的原始数据输入Res_Unet并进行预训练,将预训练后得到的预测图作为训练样本的先验信息预测图通道;
同时将训练集的原始数据输入注意力网络,将得到的注意力图作为训练样本的位置像素分布信息通道;
将原始数据通道、先验信息预测图通道及位置像素分布信息通道进行多通道融合,得到一个多通道训练样本;
将多通道训练样本输入到Res_Unet中进行网络分割模型训练,最终实现脊柱椎体区域的特征分割。
5.根据权利要求4所述的基于人工智能大数据分析3D打印脊柱内植物的方法,其特征在于,所述分割网络Res_Unet包括编码阶段以及解码阶段;
所述编码阶段通过卷积操作对每一张序列图像提取特征,得到多组特征图,每组特征图包括不同层级的特征,采用金字塔池化模块对最深层级的特征图进行处理;
所述解码阶段,通过上采样操作将每张特征图恢复至原图像分辨率大小,每一次上采样操作都包含一次跳跃连接操作,充分利用脊柱影像学数据的特性以获得更丰富的全局上下文信息。
6.根据权利要求1所述的基于人工智能大数据分析3D打印脊柱内植物的方法,其特征在于,步骤1中,采用快速光线投射算法重建三维椎体结构模型,在重建三维椎体结构模型的过程中,通过光线在任意空体素中的增量确定沿光线入射方向跳跃到下一个体素的坐标,并对下一个体素进行判断,若下一个体素为空体素则重复这一过程直到遇到非空体素。
8.根据权利要求1所述的基于人工智能大数据分析3D打印脊柱内植物的方法,其特征在于,步骤2中,采用特征点网络模型对模型的终板形态进行三维测量,所述测量包括测量三维椎体结构的几何信息,所述几何信息包括曲线距离、表面积以及体积。
11.根据权利要求8所述的基于人工智能大数据分析3D打印脊柱内植物的方法,其特征在于,针对体积测量,利用由特征点组成的点云数据,通过四面体法拟合物体体积面积;具体过程包括:设点云数据中一点P0(0,0,0)为原点,任意三个特征点为顶点Pi1(xi1,yi1,zi1),Pi2(xi2,yi2,zi2),Pi3(xi3,yi3,zi3)组成的三角形ΔABC,P0与ΔABC各点相连构成一个四面体VOABC,该四面体体积计算公式为:
12.根据权利要求1所述的基于人工智能大数据分析3D打印脊柱内植物的方法,其特征在于,步骤2中,构建脊柱尺寸数据库的具体方法包括:对模型的终板形态进行三维测量,定位椎体终板结构特征点,根据终板结构特征点提取椎体终板区域,获取终板的三维形态数据,并根据终板的三维形态数据构建脊柱尺寸数据库。
13.根据权利要求12所述的基于人工智能大数据分析3D打印脊柱内植物的方法,其特征在于,根据终板结构特征点提取椎体终板区域的具体方法包括:根据终板结构特征点分割出终板区域的边界,采用设定路径实现对椎体终板区域的提取;
设定路径包括:采用基于形态学的三维区域生长方式,在定位获取的椎体间隙进行生长,以获取椎间形态,进而获取终板形态;或采用立体填充加布尔运算的方法:即在上下椎体间自动填充立体模板,通过对椎体和模板进行布尔计算,可间接得到终板结构。
14.根据权利要求12所述的基于人工智能大数据分析3D打印脊柱内植物的方法,其特征在于,步骤3中,采用人工智能对终板形态进行分类的具体方法包括:根据脊柱三维数据的生理学结构、生物学特征以及重建三维椎体结构几何特征,利用智能聚类算法将终板三维形态数据进行智能分类。
15.根据权利要求1所述的基于人工智能大数据分析3D打印脊柱内植物的方法,其特征在于,步骤5中,自动判断分类并选择对应内植物进行3D打印的具体方法包括:将匹配的脊柱内植物三维模型与对应重建三维椎体结构模型进行贴合度测量,并对贴合误差进行判断,若贴合误差小于设置值时,对脊柱内植物模型3D打印;若贴合误差大于等于设置值且在三维数据库中无法搜索到符合误差标准的模型时,将该三维模型分类到相似度最高的类别中,完成数据库的在线学习与更新。
16.根据权利要求1所述的基于人工智能大数据分析3D打印脊柱内植物的方法,其特征在于,步骤4中,终板匹配包括对终板局部特征以及全局特征进行相似度匹配。
17.根据权利要求16所述的基于人工智能大数据分析3D打印脊柱内植物的方法,其特征在于,采用基于顶点邻域属性的局部特征提取算法对终板局部特征进行提取,具体步骤包括:通过统计三维椎体模型的顶点及领域顶点的相关属性,构建局部特征矩阵Flocal=[fv,fdis,fn,fk,...],其中fv为顶点到邻域质心的矢量,fdis为顶点到邻域质心的距离,fn为法向量,fk为顶点曲率等统计指标。
18.根据权利要求16所述的基于人工智能大数据分析3D打印脊柱内植物的方法,其特征在于,采用三维卷积神经网络构建图像自编码器模型对全局特征进行学习及表征;图像自编码器模型由一个编码器和一个解码器组成;
编码器利用卷积神经网络对不同尺度的图像进行特征提取,最终将输入的三维图像表征为一个特征向量,完成从三维空间到特征向量空间的映射;
解码器的作用与编码器相反,即将特征向量从向量空间恢复到三维图像空间。
19.根据权利要求16所述的基于人工智能大数据分析3D打印脊柱内植物的方法,其特征在于,通过相似度度量函数对终板局部特征以及全局特征进行相似度匹配,相似度度量函数为:Dmix(λ1L1,λ2L2,λ3L3,...),其中λ1、λ2、λ3为各度量指标在相似度结果评价中的权重,L1、L2、L3为各种距离函数。
20.根据权利要求1-19任意一项所述的基于人工智能大数据分析3D打印脊柱内植物的方法,其特征在于,所述脊柱内植物包括椎间盘假体、钛网、融合器以及人工椎体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111409654.6A CN114119872B (zh) | 2021-11-25 | 2021-11-25 | 基于人工智能大数据分析3d打印脊柱内植物的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111409654.6A CN114119872B (zh) | 2021-11-25 | 2021-11-25 | 基于人工智能大数据分析3d打印脊柱内植物的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114119872A true CN114119872A (zh) | 2022-03-01 |
CN114119872B CN114119872B (zh) | 2023-05-12 |
Family
ID=80372634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111409654.6A Active CN114119872B (zh) | 2021-11-25 | 2021-11-25 | 基于人工智能大数据分析3d打印脊柱内植物的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114119872B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115640417A (zh) * | 2022-12-22 | 2023-01-24 | 北京理贝尔生物工程研究所有限公司 | 人工椎间盘库的构建方法、装置、存储介质及处理器 |
CN116843597A (zh) * | 2023-08-30 | 2023-10-03 | 南方科技大学 | 离散点图像快速重建模型方法、装置、终端及存储介质 |
CN117608259A (zh) * | 2024-01-24 | 2024-02-27 | 深圳市富温传感技术有限公司 | 一种储存芯片生产设备的控制方法及系统 |
CN117876712A (zh) * | 2024-03-13 | 2024-04-12 | 汉滨区第一医院 | 一种基于Harris的脊椎特征点自动识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104441664A (zh) * | 2014-12-05 | 2015-03-25 | 马学晓 | 一种计算机模拟结合3d打印脊柱手术方法 |
US20170057169A1 (en) * | 2015-08-24 | 2017-03-02 | Siemens Healthcare Gmbh | Personalized creation from medical imaging |
CN107137166A (zh) * | 2017-05-09 | 2017-09-08 | 王文军 | 个性化3d打印脊柱重建装置及其制备方法 |
CN108537750A (zh) * | 2018-03-29 | 2018-09-14 | 哈尔滨理工大学 | 一种快速的脊柱ct图像三维重建方法 |
WO2021158651A1 (en) * | 2020-02-04 | 2021-08-12 | The Board Of Trustees Of The Leland Stanford Junior University | Compositions and methods for controlling production of polypeptides in cells |
-
2021
- 2021-11-25 CN CN202111409654.6A patent/CN114119872B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104441664A (zh) * | 2014-12-05 | 2015-03-25 | 马学晓 | 一种计算机模拟结合3d打印脊柱手术方法 |
US20170057169A1 (en) * | 2015-08-24 | 2017-03-02 | Siemens Healthcare Gmbh | Personalized creation from medical imaging |
CN107137166A (zh) * | 2017-05-09 | 2017-09-08 | 王文军 | 个性化3d打印脊柱重建装置及其制备方法 |
CN108537750A (zh) * | 2018-03-29 | 2018-09-14 | 哈尔滨理工大学 | 一种快速的脊柱ct图像三维重建方法 |
WO2021158651A1 (en) * | 2020-02-04 | 2021-08-12 | The Board Of Trustees Of The Leland Stanford Junior University | Compositions and methods for controlling production of polypeptides in cells |
Non-Patent Citations (2)
Title |
---|
HITESH LAL等: "3D printing and its applications in orthopaedic trauma: A technological marvel" * |
尉然等: "3D打印全骶骨假体在全骶骨切除患者腰-髂稳定性重建中的应用" * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115640417A (zh) * | 2022-12-22 | 2023-01-24 | 北京理贝尔生物工程研究所有限公司 | 人工椎间盘库的构建方法、装置、存储介质及处理器 |
CN116843597A (zh) * | 2023-08-30 | 2023-10-03 | 南方科技大学 | 离散点图像快速重建模型方法、装置、终端及存储介质 |
CN116843597B (zh) * | 2023-08-30 | 2023-11-24 | 南方科技大学 | 离散点图像快速重建方法、装置、终端及存储介质 |
CN117608259A (zh) * | 2024-01-24 | 2024-02-27 | 深圳市富温传感技术有限公司 | 一种储存芯片生产设备的控制方法及系统 |
CN117876712A (zh) * | 2024-03-13 | 2024-04-12 | 汉滨区第一医院 | 一种基于Harris的脊椎特征点自动识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114119872B (zh) | 2023-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114119872B (zh) | 基于人工智能大数据分析3d打印脊柱内植物的方法 | |
CN111968120B (zh) | 一种3d多特征融合的牙齿ct图像分割方法 | |
CN112200843B (zh) | 一种基于超体素的cbct与激光扫描点云数据牙齿配准方法 | |
CN101339670B (zh) | 一种计算机辅助的三维颅面复原方法 | |
WO2023142956A1 (zh) | 基于深度学习的全髋关节置换术前规划系统 | |
CN110189352A (zh) | 一种基于口腔cbct图像的牙根提取方法 | |
CN107203988B (zh) | 一种由二维x光图像重建三维体图像的方法及其应用 | |
CN104240287B (zh) | 一种利用ct图像生成冠脉全景图的方法及系统 | |
Tian et al. | Efficient computer-aided design of dental inlay restoration: a deep adversarial framework | |
CN113570627B (zh) | 深度学习分割网络的训练方法及医学图像分割方法 | |
CN114757960B (zh) | 一种基于cbct图像的牙齿分割与重建方法及存储介质 | |
CN113781640A (zh) | 基于弱监督学习的三维人脸重建模型建立方法及其应用 | |
Fajar et al. | Reconstructing and resizing 3D images from DICOM files | |
CN106846330A (zh) | 人体肝脏特征建模及血管模型空间归一方法 | |
CN113096137B (zh) | 一种oct视网膜图像领域适应分割方法及系统 | |
CN106548476B (zh) | 利用医学图像统计肺部三维特征形状方法 | |
CN107610121B (zh) | 一种肝脏统计形状模型初始位姿设定方法 | |
CN103345774A (zh) | 一种三维多尺度矢量化的建模方法 | |
Tian et al. | Efficient tooth gingival margin line reconstruction via adversarial learning | |
Zuo et al. | A method of crop seedling plant segmentation on edge information fusion model | |
CN103678847A (zh) | 皮肤软组织扩张辅助系统 | |
Cameron et al. | Patient-Specific Anatomic Models-Geometric Surface Generation from Three-Dimensional Medical Images Using a Specified Polygonal Budget | |
CN116152235A (zh) | 一种肺癌ct到pet的医学图像跨模态合成方法 | |
CN111968113B (zh) | 一种基于最优传输映射的脑影像二维卷积深度学习方法 | |
CN109035347B (zh) | 一种基于结构光系统的面部填充吸收率计算方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |