CN117058409A - 基于表面配准的目标特征提取方法、装置、设备和介质 - Google Patents
基于表面配准的目标特征提取方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN117058409A CN117058409A CN202310975174.9A CN202310975174A CN117058409A CN 117058409 A CN117058409 A CN 117058409A CN 202310975174 A CN202310975174 A CN 202310975174A CN 117058409 A CN117058409 A CN 117058409A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- data
- grid data
- template
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 68
- 238000002372 labelling Methods 0.000 claims abstract description 57
- 238000013507 mapping Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 28
- 238000007667 floating Methods 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 10
- 238000012935 Averaging Methods 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 18
- 239000011159 matrix material Substances 0.000 description 12
- 230000011218 segmentation Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000002059 diagnostic imaging Methods 0.000 description 8
- 210000001981 hip bone Anatomy 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000001624 hip Anatomy 0.000 description 3
- 210000004394 hip joint Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于表面配准的目标特征提取方法、装置、设备和介质。所述方法包括:获取待处理目标对应的待处理三维表面网格数据;获取预先生成的与所述待处理目标对应的三维模板数据;将所述三维模板数据中的表面模板网格数据和所述待处理三维表面网格数据进行表面配准,以建立所述表面模板网格数据和所述待处理三维表面网格数据的对应关系;从所述三维模板数据中读取三维模板特征标注信息;根据所述对应关系,将所述三维模板特征标注信息映射到所述待处理三维表面网格数据中,以提取所述待处理三维表面网格数据中的目标特征。采用本方法能够提高处理效率。
Description
本发明专利申请是申请日为2021年03月02日、申请号为2021102291660、名称为“基于表面配准的目标特征提取方法、装置、设备和介质”的中国发明专利申请的分案申请。
技术领域
本申请涉及图像处理技术领域,特别是涉及一种基于表面配准的目标特征提取方法、装置、设备和介质。
背景技术
随着图像处理技术的发展,对于CT或者MR图像中的三维目标器官的自动特征提取,可广泛应用于基于医学影像的辅助诊断和辅助治疗的应用场景。通过提取的特征点、特征线状结构或者特征区域,有助于医生进行疾病诊断,或进行手术规划,或用于计算机的后续智能处理的输入,作为全自动算法中不可获取的关键步骤。
传统技术中,包括通过参数拟合的特征检测方法、基于局部特征分析的特征检测方法以及基于机器学习的特征点检测方法,但是该些方法中要求待检测目标具有局部特异性特征,否则无法定位到目标,或者是针对特征点、特征线或特征区域,需要设计不同的算法进行检测。没有办法通过设计一个算法,同时实现多种类型的特征结构的检测。
因此,为了改进上述方法,引入了基于图像配准的特征点、线或区域提取方法,该方法可以克服上述问题。
然而,基于图像配准的特征点、线或区域提取方法,其通过三维矩阵作为目标存储载体,整个运算过程效率非常低,且配准过程关注整体,使得处理量非常大,效率又进一步降低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高处理效率的基于表面配准的目标特征提取方法、装置、设备和介质。
一种基于表面配准的目标特征提取方法,所述方法包括:
获取待处理目标对应的待处理三维表面网格数据;
获取预先生成的与所述待处理目标对应的三维模板数据;
将所述三维模板数据中的表面模板网格数据和所述待处理三维表面网格数据进行表面配准,以建立所述表面模板网格数据和所述待处理三维表面网格数据的对应关系;
从所述三维模板数据中读取三维模板特征标注信息;
根据所述对应关系,将所述三维模板特征标注信息映射到所述待处理三维表面网格数据中,以提取所述待处理三维表面网格数据中的目标特征。
在其中一个实施例中,所述三维模板数据的生成方式包括:
获取样本三维表面网格数据;
将所述样本三维表面网格数据进行表面配准得到表面模板网格数据;
对所述表面模板网格数据上的特征进行标注后得到三维模板数据。
在其中一个实施例中,所述对所述表面模板网格数据上的特征进行标注后得到三维模板数据,包括:
记录所述三维模板表面网格数据上的目标特征结构对应的点的序号或点集序号组;
根据所述点的序号或点集的序号组以及所述表面模板网格数据得到三维模板数据。
在其中一个实施例中,所述将所述样本三维表面网格数据进行表面配准得到表面模板网格数据,包括:
获取各个所述样本三维表面网格数据中对应的点;
按照预设规则对所述对应的点进行处理后,得到表面模板网格数据。
在其中一个实施例中,所述获取各个所述样本三维表面网格数据中对应的点之前,还包括:
将所有样本三维网格数据对齐到同一坐标空间。
在其中一个实施例中,所述将所有样本三维网格数据对齐到同一坐标空间,包括:
通过仿射变换技术将所有样本三维网格数据对齐到同一坐标空间。
在其中一个实施例中,所述根据所述对应关系,将所述三维模板特征标注信息映射到所述待处理三维表面网格数据中,以提取所述待处理三维表面网格数据中的目标特征,包括:
获取所述待处理三维表面网格数据中与所述模板特征标注信息对应的最接近的点,并将所述最接近的点作为待处理目标对应的特征点;或者
获取所述待处理三维表面网格数据中与所述模板特征标注信息对应的最接近的点的集合,并将所述最接近的点的集合作为待处理目标对应的特征线或特征区域。
在其中一个实施例中,所述将所述三维模板数据中的表面模板网格数据和所述待处理三维表面网格数据进行表面配准,包括:
将所述三维模板数据中的表面模板网格数据作为浮动网格数据,将所述待处理三维表面网格数据作为目标网格数据,以将所述浮动网格数据向所述目标网格数据上进行表面配准;所述表面配准包括所述浮动网格数据向所述目标网格数据中点的对应以及对应后的点的处理。
一种基于表面配准的目标特征提取装置,所述装置包括:
待处理数据获取模块,用于获取待处理目标对应的待处理三维表面网格数据;
模板数据获取模块,用于获取预先生成的与所述待处理目标对应的三维模板数据;
第一表面配准模块,用于将所述三维模板数据中的表面模板网格数据和所述待处理三维表面网格数据进行表面配准,以建立所述表面模板网格数据和所述待处理三维表面网格数据的对应关系;
映射模块,用于从所述三维模板数据中读取三维模板特征标注信息;根据所述对应关系,将所述三维模板特征标注信息映射到所述待处理三维表面网格数据中,以提取所述待处理三维表面网格数据中的目标特征。
在其中一个实施例中,所述装置还包括:
样本数据获取模块,用于获取样本三维表面网格数据;
第二表面配准模块,用于将所述样本三维表面网格数据进行表面配准得到表面模板网格数据;
模板生成模块,用于对所述表面模板网格数据上的特征进行标注后得到三维模板数据。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任意一个实施例中的方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一个实施例中的方法的步骤。
上述基于表面配准的目标特征提取方法、装置、设备和介质,其所处理的对应为三维表面网格数据,而非三维矩阵数据,因此可以提高处理效率,其次,由于三维模板数据中存储有三维模板特征标注信息,因此在表面配准之后,其可以直接通过映射一次性从待处理三维表面网格数据中提取到各种类型的目标特征,进一步提高处理效率,最后,由于其关注的是特征丰富的表面区域,即进行表面配准,而非图像配准,从而进一步提高了处理效率。
附图说明
图1为一个实施例中基于表面配准的目标特征提取方法的应用环境图;
图2为一个实施例中基于表面配准的目标特征提取方法的流程示意图;
图3为一个实施例中髋关节分割效果示意图;
图4为一个实施例中的髋关节三维重建效果的示意图;
图5为一个实施例中的三维模板数据和待处理三维表面网格数据的映射示意图;
图6为一个实施例中的三维模板数据的生成方式的流程图;
图7为一个实施例中的三维模板数据和待处理三维表面网格数据的初始状态的示意图;
图8为一个实施例中的网格粗对齐的示意图;
图9为一个实施例中的网格刚性配准的示意图;
图10为一个实施例中的网格弹性配准的示意图;
图11为另一个实施例中基于表面配准的目标特征提取方法的流程示意图;
图12为一个实施例中基于表面配准的目标特征提取装置的结构框图;
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的基于表面配准的目标特征提取方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与医疗成像设备104进行通信。其中终端102可以接收到医疗成像设备104扫描得到的以三维矩阵为存储方式的三维影像,或者是终端102从数据库等获取到医疗成像设备104扫描得到的以三维矩阵为存储方式的三维影像,并对该些三维影像进行三维重建得到三维表面网格数据,进而对获取预先生成的与待处理目标对应的三维模板数据;将三维模板数据中的表面模板网格数据和待处理三维表面网格数据进行表面配准,以建立表面模板网格数据和待处理三维表面网格数据的对应关系,最后从三维模板数据中读取三维模板特征标注信息;根据对应关系,将三维模板特征标注信息映射到待处理三维表面网格数据中,以提取待处理三维表面网格数据中的目标特征。这样其所处理的对应为三维表面网格数据,而非三维矩阵数据,因此可以提高处理效率,其次,由于三维模板数据中存储有三维模板特征标注信息,因此在表面配准之后,其可以直接通过映射一次性从待处理三维表面网格数据中提取到各种类型的目标特征,进一步提高处理效率,最后,由于其关注的是特征丰富的表面区域,即进行表面配准,而非图像配准,从而进一步提高了处理效率。
其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备以及医疗成像设备本身的功能模块和专用电路。在此实施例中,终端102可以包括患者的移动终端设备和/或医疗操作人员的移动终端设备。医疗成像设备104包括但不限于各种成像设备,例如CT成像设备(CT:Computed Tomography,它是利用精确准直的X线束与灵敏度极高的探测器一同围绕人体的某一个部位做一个接一个的断面扫描,并且通过CT扫描可以重建出肿瘤等的精确三维位置图像)、磁共振设备(其是断层成像的一种,它利用磁共振现象从人体中获得电磁信号,并重建出人体信息图像)、正电子发射型计算机断层显像(Positron Emission Computed Tomography)设备、正电子发射型磁共振成像系统(PET/MR)等。
在一个实施例中,如图2所示,提供了一种基于表面配准的目标特征提取方法,以该方法应用于图1中的终端为例进行说明,包括以下步骤:
S202:获取待处理目标对应的待处理三维表面网格数据。
具体地,待处理三维表面网格数据是指三维表面mesh数据,其可以是对医疗成像设备所采集的三维影像进行三维重建得到的,在其他实施例中,当医疗成像设备所采集的为三维表面mesh数据时,则无需对其进行三维重建。
其中,在医学影像领域,三维扫描的CT或MR等医学影像数据一般是三维影像,即以三维矩阵的形式存储的医学影像数据,其中该三维影像中包括待处理目标,例如待提取特征的目标器官或组织。在其他实施例中,该待处理三维表面网格数据还可以是对于人体表面进行三维重建得到的,以进行面部的特征提取和特征区域分割,用于人脸的表情识别、人脸识别、五官分析等功能的实现。具体地,当是对于人脸等进行识别时,可以是采用3D相机获取图像,以进行特征提取,其中3D相机获取的图像,比如扫描人脸获取的面部点云数据。终端可以对这种数据进行面部特征的提取。这种情况和以上实例的区别在于获取的图像不再是CT或MR这种3D矩阵数据,而是点云数据,因此仅在表面重建算法上存在区别。对于点云数据,可以通过泊松表面重建等算法,将点云数据重建为三维网格数据。随后便可采用相同的方法利用三维网格数据进行三维网格数据配准完成特征提取。比如完成面部五官的提取、面部对称线的提取、面部不同区域(额头、脸颊等)的提取,并应用在如人脸识别、五官分析等不同的场景中。
具体地,三维重建具体可以包括:首先终端通过图像分割技术对三维矩阵中的待处理目标进行图像分割得到以三维矩阵形式存储的掩膜数据,然后对该掩膜数据进行三维重建。其中图像分割技术包括但不限于基于深度学习全卷积网络的图像分割技术,或基于传统机器学习(比如随机森林等),或基于聚类、区域生长、活动轮廓、水平集、阈值法等分割技术,具体地,图3为一个实施例中髋关节分割效果示意图。对掩膜数据进行三维重建的方法包括但不限于Marching Cube算法、在轮廓附近根据表面阈值使用Marching Cube算法进行插值重建以及泊松表面重建算法等,具体地,图4为一个实施例中的髋关节三维重建效果的示意图。
其中,以髋关节置换手术中的髋关节表面特征提取应用作为实例进行说明,终端可以通过基于深度学习全卷积网络的图像分割技术对CT数据中的髋骨进行分割,得到一侧髋骨的分割掩膜数据。然后使用髋骨的分割掩膜数据进行骨表面三维重建。具体地,分别以上述方法进行说明:
其中,Marching Cube算法包括:基于Marching Cube算法对髋骨分割掩膜数据的轮廓进行等值面重建,其中设置的等值面重建阈值可选择分割掩膜数据中表示背景像素的值与表示目标结构像素的值之间的任意值,例如髋骨与背景的像素的值之间的值。本实例中分割掩膜数据的背景像素用0表示,目标结构像素用1表示,因此可选0~1之间的任意值,本实例中选择的阈值为0.5。
在轮廓附近根据表面阈值使用Marching Cube算法进行插值重建包括:具体地,终端对原始CT数据,结合分割掩膜数据的轮廓,在轮廓附近,根据骨表面阈值,使用MarchingCube算法对CT数据进行插值重建。阈值选择目标结构边缘和背景之间的任意灰度值,本实例中目标结构为髋骨,可选择髋骨周围组织和髋骨之间的任意一个像素CT值,本实例中选择的阈值为150HU。Marching Cube的重建范围限定在距离分割掩膜数据的轮廓线1-5个像素范围内,本实例选择距离轮廓线3个像素范围内进行Marching Cube重建。
泊松表面重建算法包括:基于泊松表面重建算法对分割掩膜数据的轮廓边缘点进行三维重建。
S204:获取预先生成的与待处理目标对应的三维模板数据。
具体地,三维模板数据包括三维模板表面网格数据和三维模板特征标注信息,其是预先生成的模板,即与待处理三维表面网格数据对应的模板,该模板是根据样本三维表面网格数据生成的,例如将样本三维表面网格数据进行配准后得到表面网格模板,然后对表面网格模板中的待处理目标的目标特征进行手动或半自动提取。其中半自动提取主要是针对不方便手动选择的点,其需要结合一些算法来实现目标特征的提取,例如髋臼窝中心点,需要手动选髋臼窝上一些点,然后对所选择的点拟合球,然后求球心。
其中可选地,三维模板数据在存储的时候可以按照器官的方式进行存储,这样在获取到待处理三维表面网格数据后,可以根据待处理三维表面网格数据对应的器官选择已经存储的对应的三维模板数据。
S206:将三维模板数据中的表面模板网格数据和所处理三维表面网格数据进行表面配准,以建立表面模板网格数据和待处理三维表面网格数据的对应关系。
具体地,表面配准是指将三维模板数据中的表面模板网格数据和待处理三维表面网格数据统一到同一个坐标系下。通过配准即可以将表面模板网格数据上的位置与待处理三维表面网格数据上的位置实现一一对应,从而为后续的特征的映射奠定基础。
其中表面配准可以包括线性配准和弹性配准,在某些特殊的情况,线性配准包含Mesh全局配准、仿射配准或刚体配准。弹性配准依赖Mesh已完成线性配准。本实施例中的表面配准的方法包括但不限于可实现线性和弹性配准多种类型的变换CPD(Coherent PointDrift)算法、可实现带尺度变换参数的仿射配准的刚性配准算法中的ICP算法、NDT(Normal-Distributions Transform)、相位相关算法等。全局配准包括但不限于基于PCA方法的主轴对齐算法、基于RANSAC框架的特征匹配系列方法、暴力搜索法(通过角度和方位上的遍历搜索)、4PCS、Super4PCS等。
S208:从三维模板数据中读取三维模板特征标注信息;根据对应关系,将三维模板特征标注信息映射到待处理三维表面网格数据中,以提取待处理三维表面网格数据中的目标特征。
具体地,其中的映射是指将表面模板网格数据和待处理三维表面网格数据的位置进行映射,从而可以形成各个位置之间的对应关系,这样可以读取三维模板特征标注信息,从而在待处理三维表面网格数据中确定三维模板特征标注信息所对应的目标特征。
具体地,结合图5所示,图5为一个实施例中的三维模板数据和待处理三维表面网格数据的映射示意图。其中,将三维模板数据中的三维模板特征标注信息包括特征点、特征线和特征区域的标注信息,映射到待处理三维表面网格数据上,从而可以提取待处理三维表面网格数据中的目标特征。
上述基于表面配准的目标特征提取方法,其所处理的对应为三维表面网格数据,而非三维矩阵数据,因此可以提高处理效率,其次,由于三维模板数据中存储有三维模板特征标注信息,因此在表面配准之后,其可以直接通过映射一次性从待处理三维表面网格数据中提取到各种类型的目标特征,进一步提高处理效率,最后,由于其关注的是特征丰富的表面区域,即进行表面配准,而非图像配准,从而进一步提高了处理效率。
在其中一个实施例中,参见图6所示,图6为一个实施例中的三维模板数据的生成方式的流程图,该三维模板数据的生成方式可以包括:
S602:获取样本三维表面网格数据。
具体地,样本三维表面网格数据可以是根据不同的三维影像进行三维重建得到的,具体的三维重建的方法可以参见上文所述。其中仍以髋部为例进行说明,其中首先终端收集大量的不同的患者的髋部医学影像数据,作为训练集,然后对训练集中的医学影像数据按照上述三维重建的方法进行分割并重建得到样本三维表面网格数据。其中若是训练集中的医学影像数据为三维表面网格数据,则无需进行三维重建。
其中还需要说明的一点是,当样本三维表面网格数据仅有一套时,则直接将其作为三维模板数据的表面模板网格数据,若是样本三维表面网格数据至少存在两套时,则将样本三维表面网格数据进行表面配准得到表面模板网格数据,并进行特征标注后生成三维模板数据,具体可以参见下文。
S604:将样本三维表面网格数据进行表面配准得到表面模板网格数据。
具体地,此处的表面配准与上文中提到的表面配准的方法相同,仅是对象变成样本三维表面网格数据,因此不再赘述。
具体地,当配准后各个对应点的位置基本一致,则直接获取到各个对应点的一个位置从而作为表面网格数据。在其他实施例中,还可以将所有样本网格数据对齐到一个空间,然后对所有网格数据对应点位置求平均,得到平均表面网格数据,具体地此处的位置的平均是指在将训练集中的样本三维表面网格数据进行配准后,则终端可以获取相对应的点的位置,然后对位置进行平均得到该点的平均位置,最后求得所有的对应点的平均位置,以得到平均三维表面网格数据。
S606:对表面模板网格数据上的特征进行标注后得到三维模板数据。
具体地,在平均三维表面网格数据上对需要提取的特征进行标注从而得到三维模板数据。此处的标注可以为手动或半自动标注。其中半自动标注主要是针对不方便手动选择的点,其需要结合一些算法来实现目标特征的提取,例如髋臼窝中心点,需要手动选髋臼窝上一些点,然后对所选择的点拟合球,然后求球心。
上述实施例中,通过将样本三维表面网格数据进行配准以得到表面网格数据,进而对表面网格数据中的特征进行标注,从而生成三维模板数据,这样由于特征可以根据需要进行标注,适用于各种类型特征提取,包括目标的表面和内部的各种不同类型的特征结构,如特征点、特征线、特征区域等各种特征,且既适用于具有局部特异性的特征目标,也适用于不具有局部特异性的特征,此外,标注的时候可以标注多个特征,从而提取效率高,适用于大量特征的快速提取,它可并行对所有要求的特征进行一次性提取,待检测特征的数量没有上限,且不会因为待提特征数量的增加而使得算法效率降低。最后,并不限定具有体积的点、线、面等特征,其以目标结构的表面为载体进行模板的匹配和特征提取,对于表面结构上的特征提取,尤其是不具有体积的点、线、面等特征,具有天然的优势。
在其中一个实施例中,对表面模板网格数据上的特征进行标注后得到三维模板数据,包括:记录三维模板表面网格数据上的目标特征结构对应的点的序号或点集序号组;根据点的序号或点集的序号组以及表面模板网格数据得到三维模板数据。
在进行标定的时候,终端可以记录每一种特征结构在平均三维表面网格数据上对应顶点的序号列表。若为点结构,则记录对应结构点在模板上对应顶点的序号;若为线结构或面结构,则记录模板上属于该线或面结构的所有点的序号的数组即可。
上述实施例中,通过对网格数据中的顶点的应用,可以准确地记录目标特征的位置。
在其中一个实施例中,将样本三维表面网格数据进行表面配准得到表面模板网格数据,包括:获取各个样本三维表面网格数据中对应的点;按照预设规则对对应的点进行处理后,得到表面模板网格数据。
在其中一个实施例中,获取各个样本三维表面网格数据中对应的点之前,还包括:将所有样本三维网格数据对齐到同一坐标空间。
在其中一个实施例中,将所有样本三维网格数据对齐到同一坐标空间,包括:通过仿射变换技术将所有样本三维网格数据对齐到同一坐标空间。
具体地,若所有的样本三维表面网格数据是处于同一位置视角拍摄的,即所有的样本三维表面网格数据是在同一坐标空间的,则终端首先确定各个样本三维表面网格数据中对应的点,其中对应的点可以是通过位置来确定的,例如确定不同的样本三维表面网格数据中位置最接近的点为对应的点。然后通过对对应的点进行处理得到表面模板网格数据,例如进行弹性配准或者是刚性配准等。若是所有的样本三维表面网格数据不是处于同一位置视角拍摄的,即所有的样本三维表面网格数据不是在同一坐标空间的,则优先将所有样本三维网格数据对齐到同一坐标空间,例如通过仿射变换技术将所有样本三维网格数据对齐到同一坐标空间,包括通过平移、旋转和缩放,使各个样本三维表面网格数据整体上线性对齐。
具体地,为了保证表面配准的有序性,本实施例中,随机选取一个样本三维表面网格数据为基准网格数据,然后将训练集中剩余的样本三维表面网格数据向基准网格数据进行表面配准,即通过表面配准技术将剩余的样本三维表面网格数据配准至基准网格数据对应的空间,例如通过仿射变换技术,具体地,通过粗对齐的方式将所有样本三维网格数据对齐到同一坐标空间,然后进行平均后得到对应的平均三维表面网格数据。
其中上述表面配准包括网格粗对齐、网格刚性配准以及网格弹性配准中的至少一个,且网格粗对齐、网格刚性配准以及网格弹性配准的执行具有先后顺序,一般地是依次进行网格粗对齐、网格刚性配准以及网格弹性配准,其当两个网格数据本身初始状态就是对齐比较好的,或网格数据的刚性配准算法选择的是一种全局配准算法,不依赖网格粗对齐,在此可以省略网格粗对齐。
其中针对网格粗对齐、网格刚性配准以及网格弹性配准的具体限定可以参见下文。
在其中一个实施例中,根据对应关系,将三维模板特征标注信息映射到所述待处理三维表面网格数据中,以提取待处理三维表面网格数据中的目标特征,包括:获取待处理三维表面网格数据中与模板特征标注信息对应的最接近的点,并将最接近的点作为待处理目标对应的特征点;或者获取待处理三维表面网格数据中与模板特征标注信息对应的最接近的点的集合,并将最接近的点的集合作为待处理目标对应的特征线或特征区域。
具体地,该实施例中具体限定映射的方式,其中映射是通过最邻近点查找的方式实现的,具体地可以分为特征点的映射以及特征线和特征区域的映射。其中特征点的映射则是在获取待处理三维表面网格数据中与模板特征标注信息对应的最接近的点,并将最接近的点作为待处理目标对应的特征点,也即目标特征。对于特征线和特征区域的映射则可以拆分为若干个特征点的集合,从而多次采用特征点映射的方式实现映射。
上述实施例中,以目标结构的表面为载体进行模板的匹配和特征提取,对于表面结构上的特征提取,尤其是不具有体积的点、线、面等特征,具有天然的优势。且特征提取效率高,适用于大量特征的快速提取,它可并行对所有要求的特征进行一次性提取,待检测特征的数量没有上限,且不会因为待提特征数量的增加而使得算法效率降低。
在其中一个实施例中,将三维模板数据中的表面模板网格数据和所处理三维表面网格数据进行表面配准,以建立表面模板网格数据和待处理三维表面网格数据的对应关系,包括:将三维模板数据中的表面模板网格数据作为浮动网格数据,将待处理三维表面网格数据作为目标网格数据,以将浮动网格数据向目标网格数据上进行表面配准;其中表面配准包括所述浮动网格数据向所述目标网格数据中点的对应以及对应后的点的处理。
具体地,表面配准技术通过多步实现,依次进行网格数据的网格粗对齐、网格刚性配准以及网格弹性配准。其中网格粗对齐在一些情况下可以省略,比如两个网格数据本身初始状态就是对齐比较好的,或网格数据的刚性配准算法选择的是一种全局配准算法,不依赖网格数据的粗对齐。
具体地,参见图7所示,图7为一个实施例中的三维模板数据中的表面模板网格数据和待处理三维表面网格数据的初始状态的示意图,在该初始状态的示意图中一个为三维模板数据中的表面模板网格数据,一个为待处理三维表面网格数据,其中配准中,将三维模板数据中的表面模板网格数据作为浮动网格数据,待处理三维表面网格数据作为目标网格数据,将浮动网格数据向目标网格数据上进行表面配准。
具体地,参见图8,图8为一个实施例中的网格粗对齐的示意图,在该实施例中,网格粗对齐算法的目的是对两个结构上存在相似的目标,进行空间上的大致对齐,并进行同时进行尺度上的匹配,本实施例中,采用了一种基于PCA主轴检测的对齐法。本方法只用到Mesh中的顶点形成的点云数据。假设目标网格数据为Pt,浮动网格数据为Pf,执行以下步骤:
首先进行平移对齐:计算两个网格数据的中心,通过平移变换将网格数据Pf往网格数据Pt上使两个点云中心对齐。
其次,主轴坐标系建立:使用PCA算法,对网格数据Pt和网格数据Pf分别进行主成分分析,得到三个主成分向量形成的3*3的矩阵Rt和Rf,该矩阵表示点云从当前坐标系到其三个主成分向量所建立坐标系的旋转矩阵(后续称为主轴坐标系)。
第三,主轴对齐:因为网格数据Pt和网格数据Pf为不同患者同一三维结构的网格数据,因此形态上接近,其各自的主轴相近,将网格数据Pt和网格数据Pf分别利用Rt和Rf变换到主轴坐标系后,可实现两个网格数据方向上的对齐。
第四,尺度对齐:网格数据Pt和Pf可能存在尺度上的差异,可以分别在三个主轴上对网格数据Pf进行尺度矫正,实现网格数据Pf在三个主轴上和网格数据Pt的最大最小值之差相等。网格数据Pf三个主轴上的变换尺度通过以下公式计算:
式中max Ptx表示Pt点云在主轴坐标系下x坐标的最大值,Scalex表示主轴坐标系下x方向
第五,网格数据Pf点云的矫正尺度。
第六,方位校正:主轴对齐后,仍可能存在主轴方向正负不匹配的情况,因此对网格数据Pf对三个轴正反方向遍历,一共8个方向,分别进行方位的矫正,得到8个网格数据,分别与网格数据Pt计算距离最近的网格数据Pf,选择距离最小的为网格数据Pf的最佳变换。至此完成网格数据Pf到网格数据Pt的最佳匹配。
具体地,参见图9,图9为一个实施例中的网格刚性配准的示意图,本实例中网格刚性配准通过迭代最近点(Iterative Closest Point,ICP)算法实现,ICP算法核心通过最小化一个目标函数:
其中Pt为目标点云,Pf为浮动点云,R和T分别为待优化的旋转矩阵和平移向量,通过优化调整R和T,使得f(R,T)达最小。
算法通过迭代进行优化,具体包括以下步骤:
首先对两个网格数据的每个点寻找在另一个网格数据上的最近对应点,其中最近点对采用SVD分解的方式求解变换矩阵,也即R和T,然后执行一次刚性变换,重复上述步骤直到误差小于设定阈值,或达到迭代次数。
除此之外,也可以使用基于深度学习的点云刚性配准算法,或基于对应特征点的刚性配准方法。
具体地,参见图10,图10为一个实施例中的网格弹性配准的示意图,本实例中的网格弹性配准采用迭代的方式进行:
首先对两个网格数据中每个点寻找其在另一个网格数据上的最近对应点;然后两点对之间执行黏性变换。黏性变换定义为将浮动网格数据上的每个点,直接向目标网格数据上的对应点所在方向位移;量点对之间执行弹性变换。弹性变换定义为,对目标网格数据上每一个点p,依据与它同网格数据上最近的N个邻近点的坐标位置的加权平均,替换原来的坐标位置,相当于对目标网格数据上的每一个点p的位置做一次平滑操作;此处每个邻近点的加权权重依据邻近点到p点的距离定,距离越近权重大。本实例中定义为到p点距离的高斯径向基函数。重复上述步骤,直到满足迭代次数。
可选地,终端还可以结合多尺度的思想进行弹性配准以提升运行效率。具体思路是:对网格数据进行从大到小不同程度的网格数据降采样,得到从低分辨率到高分辨率的多个网格数据对(可以是2-6个不同分辨率的网格数据对);对最低分辨率的网格数据进行弹性配准;将形变场施加到下一级分辨率浮动网格数据上,进行下一级分辨率的弹性配准;重复上述步骤从粗到精逐分辨率进行弹性配准,直到完成最高分辨率(原分辨率)的网格数据配准。
另外,也可以采用其他的弹性配准方案,比如基于深度学习的弹性形变场估计的弹性配准方法等。
在其中一个实施例中,参见图11所示,其中图11为另一个实施例中的基于表面配准的目标特征提取方法的流程图,在该实施例中主要包括两部分,一部分是模板的制作,一部分是特征提取。
其中模板的制作可以结合图6所示,在模板制作过程,通过利用大量已有的训练集数据,对数据中的待处理目标进行三维重建为样本三维表面网格数据,并通过三维网格表面配准技术配准到同一空间之后,形成平均三维表面网格数据,然后手动的在平均数据上进行待提取特征的提前标注,形成带标注的三维模板数据。
在特征提取的过程中,也即算法执行阶段,对于输入的三维影像或者是点云数据,进行三维重建得到待处理三维网格数据,然后利用三维网格表面配准计算将待处理三维网格数据和三维模板数据中的表面模板网格数据进行配准,即空间对其,然后将三维模板数据中三维模板特征标注信息映射到待处理三维网格数据中,从而完成目标特征的提取。
上述实施例中,由于特征可以根据需要进行标注,适用于各种类型特征提取,包括目标的表面和内部的各种不同类型的特征结构,如特征点、特征线、特征区域等各种特征,且既适用于具有局部特异性的特征目标,也适用于不具有局部特异性的特征,此外,标定的时候可以标定多个特征,从而提取效率高,适用于大量特征的快速提取,它可并行对所有要求的特征进行一次性提取,待检测特征的数量没有上限,且不会因为待提特征数量的增加而使得算法效率降低。最后,并不限定具有体积的点、线、面等特征,其以目标结构的表面为载体进行模板的匹配和特征提取,对于表面结构上的特征提取,尤其是不具有体积的点、线、面等特征,具有天然的优势。
应该理解的是,虽然图2、图6以及图11的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图6以及图11中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图12所示,提供了一种基于表面配准的目标特征提取装置,包括:待处理数据获取模块100、模板数据获取模块200、第一表面配准模块300和映射模块400,其中:
待处理数据获取模块100,用于获取待处理目标对应的待处理三维表面网格数据。
模板数据获取模块200,用于获取预先生成的与待处理目标对应的三维模板数据。
第一表面配准模块300,用于将三维模板数据中的表面模板网格数据和所处理三维表面网格数据进行表面配准,以建立表面模板网格数据和待处理三维表面网格数据的对应关系。
映射模块400,用于从三维模板数据中读取三维模板特征标注信息;根据对应关系,将三维模板特征标注信息映射到待处理三维表面网格数据中,以提取待处理三维表面网格数据中的目标特征。
在其中一个实施例中,上述的基于表面配准的目标特征提取装置还可以包括:
样本数据获取模块,用于获取样本三维表面网格数据。
第二表面配准模块,用于将样本三维表面网格数据进行表面配准得到表面模板网格数据。
模板生成模块,用于对表面模板网格数据上的特征进行标注后得到三维模板数据。
在其中一个实施例中,上述的模板生成模块可以包括:
记录单元,用于记录三维模板表面网格数据上的目标特征结构对应的点的序号或点集序号组;
生成单元,用于根据点的序号或点集的序号组以及表面模板网格数据得到三维模板数据。
在其中一个实施例中,上述的第二表面配准模块包括:
对应点获取单元,用于获取各个样本三维表面网格数据中对应的点;
数据处理单元,用于按照预设规则对对应的点进行处理后,得到表面模板网格数据。
在其中一个实施例中,上述第二表面配准模块还包括:
对齐单元,用于将所有样本三维网格数据对齐到同一坐标空间。
在其中一个实施例中,上述对齐单元用于通过仿射变换技术将所有样本三维网格数据对齐到同一坐标空间。
在其中一个实施例中,上述的映射模块400用于获取待处理三维表面网格数据中与模板特征标注信息对应的最接近的点,并将最接近的点作为待处理目标对应的特征点;或者获取待处理三维表面网格数据中与模板特征标注信息对应的最接近的点的集合,并将最接近的点的集合作为待处理目标对应的特征线或特征区域。
在其中一个实施例中,上述的第一表面配准模块300用于将三维模板数据中的表面模板网格数据作为浮动网格数据,将待处理三维表面网格数据作为目标网格数据,以将浮动网格数据向目标网格数据上进行表面配准;其中表面配准包括浮动网格数据向目标网格数据中点的对应以及对应后的点的处理。
关于基于表面配准的目标特征提取装置的具体限定可以参见上文中对于基于表面配准的目标特征提取方法的限定,在此不再赘述。上述基于表面配准的目标特征提取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于表面配准的目标特征提取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:获取待处理目标对应的待处理三维表面网格数据;获取预先生成的与待处理目标对应的三维模板数据;将三维模板数据中的表面模板网格数据和所处理三维表面网格数据进行表面配准,以建立表面模板网格数据和待处理三维表面网格数据的对应关系;从三维模板数据中读取三维模板特征标注信息;根据对应关系,将三维模板特征标注信息映射到待处理三维表面网格数据中,以提取待处理三维表面网格数据中的目标特征。
在一个实施例中,处理器执行计算机程序时所实现的三维模板数据的生成方式包括:获取样本三维表面网格数据;将样本三维表面网格数据进行表面配准得到表面模板网格数据;对表面模板网格数据上的特征进行标注后得到三维模板数据。
在一个实施例中,处理器执行计算机程序时所实现的对表面模板网格数据上的特征进行标注后得到三维模板数据,包括:记录三维模板表面网格数据上的目标特征结构对应的点的序号或点集序号组;根据点的序号或点集的序号组以及表面模板网格数据得到三维模板数据。
在一个实施例中,处理器执行计算机程序时所实现的将样本三维表面网格数据进行表面配准得到表面模板网格数据,包括:获取各个样本三维表面网格数据中对应的点;按照预设规则对对应的点进行处理后,得到表面模板网格数据。
在一个实施例中,处理器执行计算机程序时所实现的获取各个所述样本三维表面网格数据中对应的点之前,还包括:将所有样本三维网格数据对齐到同一坐标空间。
在一个实施例中,处理器执行计算机程序时所实现的将所有样本三维网格数据对齐到同一坐标空间,包括:通过仿射变换技术将所有样本三维网格数据对齐到同一坐标空间。
在一个实施例中,处理器执行计算机程序时所实现的根据对应关系,将三维模板特征标注信息映射到待处理三维表面网格数据中,以提取待处理三维表面网格数据中的目标特征,包括:获取待处理三维表面网格数据中与模板特征标注信息对应的最接近的点,并将最接近的点作为待处理目标对应的特征点;或者获取待处理三维表面网格数据中与模板特征标注信息对应的最接近的点的集合,并将最接近的点的集合作为待处理目标对应的特征线或特征区域。
在一个实施例中,处理器执行计算机程序时所实现的将三维模板数据中的表面模板网格数据和所处理三维表面网格数据进行表面配准,以建立表面模板网格数据和待处理三维表面网格数据的对应关系,包括:将三维模板数据中的表面模板网格数据作为浮动网格数据,将待处理三维表面网格数据作为目标网格数据,以将浮动网格数据向目标网格数据上进行表面配准;其中表面配准包括浮动网格数据向目标网格数据中点的对应以及对应后的点的处理。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取待处理目标对应的待处理三维表面网格数据;获取预先生成的与待处理目标对应的三维模板数据;将三维模板数据中的表面模板网格数据和所处理三维表面网格数据进行表面配准,以建立表面模板网格数据和待处理三维表面网格数据的对应关系;从三维模板数据中读取三维模板特征标注信息;根据对应关系,将三维模板特征标注信息映射到待处理三维表面网格数据中,以提取待处理三维表面网格数据中的目标特征。
在一个实施例中,计算机程序被处理器执行时所实现的三维模板数据的生成方式包括:获取样本三维表面网格数据;将样本三维表面网格数据进行表面配准得到表面模板网格数据;对表面模板网格数据上的特征进行标注后得到三维模板数据。
在一个实施例中,计算机程序被处理器执行时所实现的对表面模板网格数据上的特征进行标注后得到三维模板数据,包括:记录三维模板表面网格数据上的目标特征结构对应的点的序号或点集序号组;根据点的序号或点集的序号组以及表面模板网格数据得到三维模板数据。
在一个实施例中,计算机程序被处理器执行时所实现的将样本三维表面网格数据进行表面配准得到表面模板网格数据,包括:获取各个样本三维表面网格数据中对应的点;按照预设规则对对应的点进行处理后,得到表面模板网格数据。
在一个实施例中,计算机程序被处理器执行时所实现的获取各个所述样本三维表面网格数据中对应的点之前,还包括:将所有样本三维网格数据对齐到同一坐标空间。
在一个实施例中,计算机程序被处理器执行时所实现的将所有样本三维网格数据对齐到同一坐标空间,包括:通过仿射变换技术将所有样本三维网格数据对齐到同一坐标空间。
在一个实施例中,计算机程序被处理器执行时所实现的基于位置信息在待处理三维表面网格数据中进行映射,以提取目标特征,包括:获取待处理三维表面网格数据中与模板特征标注信息对应的最接近的点,并将最接近的点作为待处理目标对应的特征点;或者获取待处理三维表面网格数据中与模板特征标注信息对应的最接近的点的集合,并将最接近的点的集合作为待处理目标对应的特征线或特征区域。
在一个实施例中,计算机程序被处理器执行时所实现的将三维模板数据中的表面模板网格数据和所处理三维表面网格数据进行表面配准,以建立表面模板网格数据和待处理三维表面网格数据的对应关系,包括:将三维模板数据中的表面模板网格数据作为浮动网格数据,将待处理三维表面网格数据作为目标网格数据,以将浮动网格数据向目标网格数据上进行表面配准;其中表面配准包括浮动网格数据向目标网格数据中点的对应以及对应后的点的处理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种基于表面配准的目标特征提取方法,其特征在于,所述方法包括:
获取待处理目标对应的待处理三维表面网格数据;
获取预先生成的与所述待处理目标对应的三维模板数据;
将所述三维模板数据中的表面模板网格数据和所述待处理三维表面网格数据进行表面配准,以建立所述表面模板网格数据和所述待处理三维表面网格数据的对应关系;
从所述三维模板数据中读取三维模板特征标注信息;根据所述对应关系,将所述三维模板特征标注信息映射到所述待处理三维表面网格数据中,以提取所述待处理三维表面网格数据中的目标特征;
其中,所述将所述三维模板数据中的表面模板网格数据和所述待处理三维表面网格数据进行表面配准,包括:
将所述三维模板数据中的表面模板网格数据作为浮动网格数据,将所述待处理三维表面网格数据作为目标网格数据,以将所述浮动网格数据向所述目标网格数据上进行表面配准;所述表面配准包括所述浮动网格数据向所述目标网格数据中点的对应以及对应后的点的处理。
2.根据权利要求1所述的方法,其特征在于,所述三维模板数据的生成方式包括:
获取样本三维表面网格数据;
将所述样本三维表面网格数据进行表面配准得到表面模板网格数据;
对所述表面模板网格数据上的特征进行标注后得到三维模板数据。
3.根据权利要求2所述的方法,其特征在于,所述对所述表面模板网格数据上的特征进行标注后得到三维模板数据,包括:
记录所述三维模板表面网格数据上的目标特征结构对应的点的序号或点集序号组;
根据所述点的序号或点集的序号组以及所述表面模板网格数据得到三维模板数据。
4.根据权利要求2所述的方法,其特征在于,所述将所述样本三维表面网格数据进行表面配准得到表面模板网格数据,包括:
获取各个所述样本三维表面网格数据中对应的点;
按照预设规则对所述对应的点进行处理后,得到表面模板网格数据。
5.根据权利要求4所述的方法,其特征在于,所述按照预设规则对所述对应的点进行处理后,得到表面模板网格数据,包括:
针对各所述对应的点,对所述对应的点的位置进行平均,得到所述对应的点的平均位置;
基于各所述对应的点的平均位置,得到平均三维表面网格数据,将所述平均三维表面网格数据作为所述表面模板网格数据。
6.根据权利要求4所述的方法,其特征在于,所述获取各个所述样本三维表面网格数据中对应的点之前,还包括:
将所有样本三维网格数据对齐到同一坐标空间。
7.根据权利要求6所述的方法,其特征在于,所述将所有样本三维网格数据对齐到同一坐标空间,包括:
通过仿射变换技术将所有样本三维网格数据对齐到同一坐标空间。
8.根据权利要求1至7任意一项所述的方法,其特征在于,所述根据所述对应关系,将所述三维模板特征标注信息映射到所述待处理三维表面网格数据中,以提取所述待处理三维表面网格数据中的目标特征,包括:
获取所述待处理三维表面网格数据中与所述模板特征标注信息对应的最接近的点,并将所述最接近的点作为待处理目标对应的特征点;或者
获取所述待处理三维表面网格数据中与所述模板特征标注信息对应的最接近的点的集合,并将所述最接近的点的集合作为待处理目标对应的特征线或特征区域。
9.一种基于表面配准的目标特征提取装置,其特征在于,所述装置包括:
待处理数据获取模块,用于获取待处理目标对应的待处理三维表面网格数据;
模板数据获取模块,用于获取预先生成的与所述待处理目标对应的三维模板数据;
第一表面配准模块,用于将所述三维模板数据中的表面模板网格数据和所述待处理三维表面网格数据进行表面配准,以建立所述表面模板网格数据和所述待处理三维表面网格数据的对应关系;
映射模块,用于从所述三维模板数据中读取三维模板特征标注信息;根据所述对应关系,将所述三维模板特征标注信息映射到所述待处理三维表面网格数据中,以提取所述待处理三维表面网格数据中的目标特征;
其中,所述第一表面配准模块,用于将所述三维模板数据中的表面模板网格数据作为浮动网格数据,将所述待处理三维表面网格数据作为目标网格数据,以将所述浮动网格数据向所述目标网格数据上进行表面配准;所述表面配准包括所述浮动网格数据向所述目标网格数据中点的对应以及对应后的点的处理。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310975174.9A CN117058409A (zh) | 2021-03-02 | 2021-03-02 | 基于表面配准的目标特征提取方法、装置、设备和介质 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110229166.0A CN112950684B (zh) | 2021-03-02 | 2021-03-02 | 基于表面配准的目标特征提取方法、装置、设备和介质 |
CN202310975174.9A CN117058409A (zh) | 2021-03-02 | 2021-03-02 | 基于表面配准的目标特征提取方法、装置、设备和介质 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110229166.0A Division CN112950684B (zh) | 2021-03-02 | 2021-03-02 | 基于表面配准的目标特征提取方法、装置、设备和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117058409A true CN117058409A (zh) | 2023-11-14 |
Family
ID=76247165
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110229166.0A Active CN112950684B (zh) | 2021-03-02 | 2021-03-02 | 基于表面配准的目标特征提取方法、装置、设备和介质 |
CN202310975174.9A Pending CN117058409A (zh) | 2021-03-02 | 2021-03-02 | 基于表面配准的目标特征提取方法、装置、设备和介质 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110229166.0A Active CN112950684B (zh) | 2021-03-02 | 2021-03-02 | 基于表面配准的目标特征提取方法、装置、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN112950684B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114155376A (zh) * | 2021-11-05 | 2022-03-08 | 苏州微创畅行机器人有限公司 | 目标特征点提取方法、装置、计算机设备和存储介质 |
CN115100258B (zh) * | 2022-08-29 | 2023-02-07 | 杭州三坛医疗科技有限公司 | 一种髋关节图像配准方法、装置、设备以及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8358818B2 (en) * | 2006-11-16 | 2013-01-22 | Vanderbilt University | Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same |
CN102982552B (zh) * | 2012-12-14 | 2015-09-16 | 中国科学院自动化研究所 | 一种基于里奇流的表面配准方法 |
CN103258349B (zh) * | 2013-05-30 | 2015-09-30 | 西北大学 | 颅面复原用模型库及颅面复原方法 |
KR101673144B1 (ko) * | 2014-10-28 | 2016-11-07 | 한국기계연구원 | 부분 선형화 기반의 3차원 영상 정합 방법 |
WO2017028961A1 (en) * | 2015-08-14 | 2017-02-23 | Thomson Licensing | 3d reconstruction of a human ear from a point cloud |
CN106846330A (zh) * | 2016-12-22 | 2017-06-13 | 浙江大学宁波理工学院 | 人体肝脏特征建模及血管模型空间归一方法 |
-
2021
- 2021-03-02 CN CN202110229166.0A patent/CN112950684B/zh active Active
- 2021-03-02 CN CN202310975174.9A patent/CN117058409A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN112950684A (zh) | 2021-06-11 |
CN112950684B (zh) | 2023-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3828825A1 (en) | Image segmentation method and apparatus, diagnosis system, storage medium, and computer device | |
CN112967236B (zh) | 图像的配准方法、装置、计算机设备和存储介质 | |
JP6145178B2 (ja) | 医療画像の位置合わせ | |
US11633146B2 (en) | Automated co-registration of prostate MRI data | |
CN111862249A (zh) | 使用深度学习生成用于医学图像处理的规范成像数据的系统和方法 | |
US20110058720A1 (en) | Systems and Methods for Automatic Vertebra Edge Detection, Segmentation and Identification in 3D Imaging | |
CN111080573B (zh) | 肋骨图像检测方法、计算机设备和存储介质 | |
US20080317383A1 (en) | Adaptive Point-Based Elastic Image Registration | |
JP2007054636A (ja) | イメージの対を位置合わせする方法およびコンピュータによって実行される命令からなるプログラムを具現化して該方法を実施するプログラム記憶装置 | |
CN112950684B (zh) | 基于表面配准的目标特征提取方法、装置、设备和介质 | |
CN111488872B (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
CN111028212B (zh) | 关键点检测方法、装置、计算机设备和存储介质 | |
CN110782428A (zh) | 一种用于构建临床脑部ct图像roi模板的方法及系统 | |
Tang et al. | Retinal image registration based on robust non-rigid point matching method | |
Alvén et al. | Überatlas: fast and robust registration for multi-atlas segmentation | |
CN113393498B (zh) | 图像配准方法、装置、计算机设备和存储介质 | |
CN113962957A (zh) | 医学图像处理方法、骨骼图像处理方法、装置、设备 | |
US20230099906A1 (en) | Image registration method, computer device, and storage medium | |
CN111462018B (zh) | 图像中的影像摆正方法、计算机设备和存储介质 | |
CN112750152B (zh) | 图像配准方法、装置、计算机设备和存储介质 | |
Zhou et al. | Liver workbench: a tool suite for liver and liver tumor segmentation and modeling | |
Mitra | Multimodal image registration applied to magnetic resonance and ultrasound prostatic images | |
Zhang et al. | A Hybrid Deep Feature-Based Deformable Image Registration Method for Pathology Images | |
Zhang et al. | A knowledge-driven quasi-global registration of thoracic-abdominal CT and CBCT for image-guided interventions | |
Nam et al. | Improved inter‐modality image registration using normalized mutual information with coarse‐binned histograms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |