CN109166183B - 一种解剖标志点识别方法及识别设备 - Google Patents
一种解剖标志点识别方法及识别设备 Download PDFInfo
- Publication number
- CN109166183B CN109166183B CN201810780286.8A CN201810780286A CN109166183B CN 109166183 B CN109166183 B CN 109166183B CN 201810780286 A CN201810780286 A CN 201810780286A CN 109166183 B CN109166183 B CN 109166183B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- dimensional model
- data
- model
- multiple groups
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000010008 shearing Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 29
- 238000005520 cutting process Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000002591 computed tomography Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种解剖标志点识别方法,包括根据三维体数据建立第一三维模型,对第一三维模型的解剖标志点进行标记,并标记对应的网格标签;将所述第一三维模型进行平面化处理,得到二维图像数据,并将所述第一三维模型对应的网格标签进行平面化处理,得到二维标签数据;将二维图像数据和二维标签数据进行训练,得到第二模型;将多组预测数据分别作为所述第二模型的输入数据,得到多组预测结果;对所述多组预测结果分别执行全局无缝参数化过程的逆操作,得到多组第三三维模型;根据所述多组第三三维模型确定目标模型;根据所述目标模型和预设能量函数确定目标网格标签对应的标志点。在保证实际可用的前提下,减小了计算复杂度,提高了时间效率。
Description
技术领域
本发明涉及医学解剖技术领域,尤其涉及一种解剖标志点识别方法及识别设备。
背景技术
在临床医学手术应用、生物科学研究等领域,解剖标志点的准确检测起着至关重要的作用。为了准确实现标志点的识别,目前主要是基于三维体数据进行标志点的检测方法,体数据包括多张CT(Computed Tomography,电子计算机断层扫描)的切片,包括三个维度的信息(例如长度、宽度、高度),该检测方法训练的网络使用二维图像,直接对标志点进行数据训练学习,通过取image patch(图像块)解决有限医学图像数据的问题。该方法直接对原始体数据进行数据训练学习,省去了建模的部分,数据处理简单化,但在训练阶段,由于体数据的计算量比较大,导致计算复杂度较高,耗时较长。
可见,如何降低解剖标志点的识别复杂度,提高解剖标志点识别的时间效率成为亟待解决的问题。
发明内容
有鉴于此,本发明提出一种解剖标志点识别方法及设备,以解决上述技术问题。
首先,为实现上述目的,本发明提出一种解剖标志点识别方法,所述识别方法包括:
获取三维体数据并根据所述三维体数据建立第一三维模型,对所述第一三维模型的解剖标志点进行标记,并标记所述第一三维模型对应的网格标签;
根据所述第一三维模型的特征信息,将所述第一三维模型进行平面化处理,得到所述第一三维模型对应的二维图像数据,并将所述第一三维模型对应的网格标签进行平面化处理,得到所述网格标签对应的二维标签数据;
将所述二维图像数据和所述二维标签数据作为训练数据进行训练,得到第二模型;
将多组预测数据分别作为所述第二模型的输入数据,得到多组预测结果;
对所述多组预测结果分别执行全局无缝参数化过程的逆操作,得到多组第三三维模型;
根据所述多组第三三维模型确定目标模型;
根据所述目标模型和预设能量函数确定目标网格标签对应的标志点。
可选地,所述根据所述第一三维模型的特征信息,将所述第一三维模型进行平面化处理,得到所述第一三维模型对应的二维图像数据,包括:
分析所述第一三维模型,获取第一三维模型的特征信息;
根据所述特征信息在所述第一三维模型上规划剪切路线;
根据所述剪切路线对所述第一三维模型进行剪切,将所述第一三维模型转换为二维平面数据,并经过保形映射转换为二维图像数据。
可选地,所述根据所述特征信息在所述第一三维模型上规划剪切路线,包括:
根据所述特征信息确定所述第一三维模型对应的候选点集合;
在所述候选点集合中选取多组剪切点,其中,每组剪切点包括至少三个剪切点;
根据所述特征信息和所述多组剪切点,在所述第一三维模型上规划剪切路线。
可选地,所述根据所述特征信息和所述多组剪切点,在所述第一三维模型上规划剪切路线,包括:
以所述第一三维模型的平均测地距离为标准,所述特征信息为条件,基于所述多组剪切点在所述第一三维模型上动态规划剪切路线。
可选地,所述特征信息包括主曲率、中曲率和高斯曲率。
可选地,所述根据所述第一三维模型的特征信息确定所述第一三维模型对应的候选点集合,包括:
根据预设函数对所述第一三维模型作统计图,得到统计值,所述统计值使得取得的数据量占比落入预设比例范围;
根据所述统计值,选取每个特征信息对应的候选点集合;
确定所述特征信息分别对应的候选点集合的交集为所述第一三维模型的候选点集合。
可选地,所述将所述二维图像数据和所述二维标签数据作为训练数据进行训练,得到第二模型,包括:
将所述二维图像数据和所述二维标签数据作为深度学习语义分割网络的输入数据进行训练,得到第二模型;
其中,所述深度学习语义分割网络以全卷积网络FCN作为基础网络结构,所述FCN至少包括损失层和在所述损失层之前的映射层,所述FCN的损失层的损失函数包括:其中,3≤θ≤6,λ∈{0.1,0.01,0.001,0.0001},t为常量,dl表示像素标签l的像素点个数,表示图片传到链接层时转为矩阵z,zi表示像素i对应的值。
可选地,所述预设能量函数为:
其中,α∈[0.8,1],β∈[0.001,1],c∈[1,10],Curi为节点i的曲率,Nei为节点i的邻域节点,n为邻域节点个数,GDi为顶点i到当前网格标签区域其他顶点的测地距离之和。
可选地,所述根据所述多组第三三维模型确定目标模型,包括:
对所述多组第三三维模型进行加权平均,得到目标三维模型。
进一步地,为实现上述目的,本发明还提供一种解剖标志点识别设备,所述解剖标志点识别设备包括存储器、至少一个处理器及存储在所述存储器上并可在所述至少一个处理器执行的至少一个程序,所述至少一个程序被所述至少一个处理器执行时,实现上述识别方法中的步骤。
相较于现有技术,本发明提出的解剖标志点识别方法获取三维体数据并根据所述三维体数据建立第一三维模型,对所述第一三维模型的解剖标志点进行标记,并标记所述第一三维模型对应的网格标签;根据所述第一三维模型的特征信息,将所述第一三维模型进行平面化处理,得到所述第一三维模型对应的二维图像数据,并将所述第一三维模型对应的网格标签进行平面化处理,得到所述网格标签对应的二维标签数据;将所述二维图像数据和所述二维标签数据作为训练数据进行训练,得到第二模型;将多组预测数据分别作为所述第二模型的输入数据,得到多组预测结果;对所述多组预测结果分别执行全局无缝参数化过程的逆操作,得到多组第三三维模型;根据所述多组第三三维模型确定目标模型;根据所述目标模型和预设能量函数确定目标网格标签对应的标志点。这样,本发明提供的解剖标志点识别方法综合考虑特征信息提取网格标签对应的解剖标志点位置,比传统方法更鲁棒。在保证实际可用的前提下,减小了计算复杂度,提高了时间效率。
附图说明
图1是本发明实施例提供的一种解剖标志点识别设备的结构示意图;
图2是本发明实施例提供的一种解剖标志点识别方法的流程示意图;
图3是本发明实施例提供的特征指数频率分布直方图;
图4是本发明实施例提供的三维模型选取剪切点的第一面示意图;
图5是本发明实施例提供的三维模型选取剪切点的第二面示意图;
图6是本发明实施例提供的三维模型剪切路径第一示意图;
图7是本发明实施例提供的三维模型剪切路径第二示意图;
图8是本发明实施例提供的一种提取最近领域标签示意图;
图9是本发明实施例提供的一种提取次近领域标签示意图;
图10是本发明实施例提供的标签提取结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
为了准确实现三维数据的标志点的自动识别,研究者们提出基于三维医学模型多视角取图的方法,该方法先基于体数据建模,然后对建好的三维模型进行标记,对标记好的数据取图,以多组一定的视角对模型取图,同时截取的图中对标志点的位置进行转换,得到二维截图上的标志点位置。对不同视角的截图分别进行学习,训练得到的模型就可对采取同样方法得到的测试数据不同视角的截图进行训练,然后通过逆操作映射到三维模型上,最后进行优化得到最后的三维模型解剖标志点。然而,这种方法截取的是多个视角,训练多个模型,预测得到的结构由于深度学习有丢失的原因,容易造成偏差,必须经过优化才能得到比较理想的结果,实现过程较复杂,鲁棒性不强。
此外,研究者们还提出一种基于训练数据转换的检测方法,该方法将三维数据转化为二维数据进行训练,转换过程中出现了某些区域不连续的问题,需要进行无缝处理,然而却容易伴随数据变大的问题,同时还要依照不同的转换对网络结构做不同的改变,导致训练时间跟着增加了,另外,由于建模的技术性,需要一定的时间处理数据,目前训练数据量其实还是存在一定局限性,目前没有方法从根本上解决医学数据有限的问题。
基于上述技术缺陷,提出本发明实施例的解剖标志点识别方法及识别设备。请参阅图1,图1是本发明实施例提供的一种解剖标志点识别设备的硬件结构示意图,如图1所示,所述解剖标志点识别设备100包括:处理器101、存储器102、用户接口103、收发机104和总线接口105,所述处理器101,用于读取存储器102中的程序。在图1中,总线接口105可以包括任意数量的互联的总线和桥,具体由处理器101代表的一个或多个处理器和存储器102代表的存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口,收发机104可以是多个元件,即包括发送机和接收机,提供用于在传输介质上与各种其他装置通信的单元。针对不同的用户设备,用户接口103还可以是能够外接内接需要设备的接口,连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。处理器101负责管理总线架构和通常的处理,存储器102可以存储处理器101在执行操作时所使用的数据。
基于上述解剖标志点识别方法的应用环境示意图以及解剖标志点识别设备的结构示意图,提出本发明方法各个实施例。
参阅图2,图2是本发明实施例提供的一种解剖标志点识别方法的步骤流程图,所述识别方法应用于解剖标志点识别设备中,如图2所示,所述识别方法包括:
步骤201、获取三维体数据并根据所述三维体数据建立第一三维模型,对所述第一三维模型的解剖标志点进行标记,并标记所述第一三维模型对应的网格标签。
该步骤中,所述识别设备可以先读取三维CT体数据,然后对读取的三维CT体数据进行建模,建立第一三维模型。当然,也可以读取多组三维CT体数据,然后针对每一组三维CT体数据建立第一三维模型。
步骤202、根据所述第一三维模型的特征信息,将所述第一三维模型进行平面化处理,得到所述第一三维模型对应的二维图像数据,并将所述第一三维模型对应的网格标签进行平面化处理,得到所述网络标签对应的二维标签数据。
该步骤中,所述识别设备针对每一个第一三维模型,获取所述第一三维模型的特征信息,然后根据所述第一三维模型的特征信息将所述第一三维模型进行平面化处理,得到所述第一三维模型对应的二维图像数据。此外,还将所述第一三维模型对应的网格标签进行平面化处理,得到所述网络标签对应的二维标签数据。
具体地,所述识别设备对所述第一三维模型进行分析,获取所述第一三维模型的特征信息、AGD(Average Geodesic Distance,平均测地距离)和WKS(Wave KernelSignature,波核签名)。所述特征信息可以包括曲率,例如主曲率、中曲率和高斯曲率。
所述识别设备根据所述第一三维模型的特征信息将所述第一三维模型进行平面化处理的方式具体可以包括:分析所述第一三维模型,获取所述第一三维模型的特征信息,根据所述第一三维模型的特征信息在所述第一三维模型上规划剪切路线,然后根据所述规划的剪切路线对所述第一三维模型进行剪切,将所述第一三维模型转换为二维平面数据,并经过保形映射转换为二维图像数据。
所述识别设备可以根据所述第一三维模型的特征信息确定所述第一三维模型对应的候选点集合,例如,可以依据所述第一三维模型的特征信息作统计图选取候选点。所述识别设备可以根据预设函数对所述第一三维模型作统计图,得到统计值k,所述统计值k使得取得的数据量在总数据量中的占比落入预设比例范围(例如70%-90%),然后根据所述统计值,选取每个特征信息对应的候选点集合,确定所有特征信息分别对应的候选点集合的交集为所述第一三维模型的候选点集合。具体地,本实施例中,所述预设函数为:其中,Cur∈{Cmax,Cmin,Cmean,Cguass},i=1,2,...,n;n为顶点个数,根据该函数作出的统计图如图3所示。根据统计值k,选取每个特征对应的候选点集合Cand(Cur)=landmark(ii),其中ii满足对应的条件:ZCur(ii)≤k;然后做所有特征对应的候选点集合的交集:Candidates={Cand(Cmax)∩Cand(Cmin)∩Cand(Cmean)∩Cand(Cguass)},得到所述第一三维模型的候选点集合,如图4和图5所示。所述识别设备采用上述函数作出的统计图的分布比较稳定,均匀,对于k值的选取比较有利。
在确定所述第一三维模型对应的候选点集合之后,所述识别设备可以在所述候选点集合中选取多组剪切点,其中,每组剪切点包括至少三个剪切点,根据所述第一三维模型的特征信息和所述多组剪切点,在所述第一三维模型上规划剪切路线。具体地,所述识别设备可以以所述第一三维模型的AGD为标准,特征信息为条件,基于所述多组剪切点在所述第一三维模型上动态规划剪切路线,图6和图7为本发明实施例提供的剪切路径示意图。这样,所述识别设备能够在规划剪切录像时尽量将重要信息完整的保留不被破坏,能够尽可能地减小在网络训练时需要填充的范围,从而能够有效减少训练数据,加快计算速度。
所述识别设备进一步根据所述规划的剪切路线,对所述第一三维模型进行剪切,使用全局无缝参数化方法将三维球面模型(sphere type shape)(即所述第一三维模型)转化为二维平面数据(planar flat torus),再经过保形映射转化为二维图像数据。需要说明的是,所述网格标签数据经过上述相同的过程转化为二维标签数据,本发明实施例在此不再赘述。
步骤203、将所述二维图像数据和所述二维标签数据作为训练数据进行训练,得到第二模型。
该步骤中,所述识别设备将所述二维图像数据和所述二维标签数据作为训练数据进行训练,得到第二模型。具体地,所述识别设备可以将所述二维图像数据和所述二维标签数据作为深度学习语义分割网络的输入数据进行训练,得到第二模型。所述深度学习语义分割网络以FCN(Fully ConvolutionalNetworks,全卷积网络)作为基础网络结构,为了保证鲁棒性,所述FCN结构的损失层之前还包括映射层。所述FCN结构的损失层的损失函数可以为改进的“softmaxlog”损失。本实施例中,所述损失函数为:其中,3≤θ≤6,λ∈{0.1,0.01,0.001,0.0001},t为常量,dl表示像素标签l的像素点个数,表示图片传到链接层时转为矩阵z,zi表示像素i对应的值。针对每个神经元输出,权重的取值是其输出结果标签对应的取值;是针对每一个类别标签,通过统计值运算求得的,这样能够保证同一级别的标签的权重不会相差太大。在本发明一些实施例中,θ=4,λ=0.001。
步骤204、将多组预测数据分别作为所述第二模型的输入数据,得到多组预测结果。
该步骤中,所述识别设备将多组预测数据分别作为所述第二模型的输入数据,得到多组预测结果。
步骤205、对所述多组预测结果分别执行全局无缝参数化过程的逆操作,得到多组第三三维模型。
该步骤中,所述识别设备对所述多组预测结果分别执行全局无缝参数化过程的逆操作,得到多组第三三维模型。
步骤206、根据所述多组第三三维模型确定目标模型。
该步骤中,所述识别设备根据所述多组第三三维模型确定目标模型,具体地,所述识别设备可以将所述多组第三三维模型进行平均,得到目标模型,例如可以将所述多组第三三维模型进行加权平均,得到目标模型。举例而言,对n组第三三维模型取加权平均操作,保证最后结果的鲁棒性和准确度;n第三三维模型的加权平均的权重(wi,i=1,2...n)可以按照每个预测结果与目标label的相似程度来决定的,相似度越高,权重越大,对最后的结果贡献率就越大。
步骤207、根据所述目标模型和预设能量函数确定目标网格标签对应的标志点。
该步骤中,所述识别设备根据所述目标模型和预设能量函数确定目标网格标签对应的标志点。可以理解的是,所述识别设备可以基于所述目标模型,根据预设能量函数提取出每个网格标签的解剖标志点,网格标签提取解剖标志点以预设能量函数为标准,基于角点的思想,预设能量函数综合考虑当前节点所在网格标签的测地距离和曲率,以及邻域节点的测地距离和曲率,邻域节点使用多个级别的邻节点,包括最近邻节点和次近邻节点(如图8和图9所示)。
本发明实施例中,所述预设能量函数为:
其中,α∈[0.8,1],β∈[0.001,1],c∈[1,10],Curi为节点i的曲率,Nei为节点i的邻域节点,n为邻域节点个数,GDi为顶点i到当前网格标签区域其他顶点的测地距离之和。由于测地距离不是单纯的两个节点之间的测地距离,而是当前节点到所有节点的测地距离的和(以下用GD表示该值),β和c控制GD对曲率的增强作用,测地距离和GD越小,说明离测地质心越近,其对应的能量值就越大;邻域节点对当前节点的能量有影响,但邻域节点的作用相对于当前节点来说比较弱,α则控制邻域节点对当前节点能量值的影响程度。能量最大的最有可能是解剖标志点,因此,所述识别设备确定能量最大的节点为解剖标志点,如图10所示,即可以确定解剖标志点的下标l为:l=αrgmaxiE(i)。在本发明较佳实施例中,α=0.87,β=0.1,c=8。
本实施例中,所述解剖标志点识别方法获取三维体数据并根据所述三维体数据建立第一三维模型,对所述第一三维模型的解剖标志点进行标记,并标记所述第一三维模型对应的网格标签;根据所述第一三维模型的特征信息,将所述第一三维模型进行平面化处理,得到所述第一三维模型对应的二维图像数据,并将所述第一三维模型对应的网格标签进行平面化处理,得到所述网格标签对应的二维标签数据;将所述二维图像数据和所述二维标签数据作为训练数据进行训练,得到第二模型;将多组预测数据分别作为所述第二模型的输入数据,得到多组预测结果;对所述多组预测结果分别执行全局无缝参数化过程的逆操作,得到多组第三三维模型;根据所述多组第三三维模型确定目标模型;根据所述目标模型和预设能量函数确定目标网格标签对应的标志点。这样,本发明提供的解剖标志点识别方法综合考虑特征信息提取网格标签对应的解剖标志点位置,比传统方法更鲁棒。在保证实际可用的前提下,减小了计算复杂度,提高了时间效率。
可选地,所述根据所述第一三维模型的特征信息,将所述第一三维模型进行平面化处理,得到所述第一三维模型对应的二维图像数据,包括:
分析所述第一三维模型,获取第一三维模型的特征信息;
根据所述特征信息在所述第一三维模型上规划剪切路线;
根据所述剪切路线对所述第一三维模型进行剪切,将所述第一三维模型转换为二维平面数据,并经过保形映射转换为二维图像数据。
可选地,所述根据所述特征信息在所述第一三维模型上规划剪切路线,包括:
根据所述第一三维模型的特征信息确定所述第一三维模型对应的候选点集合;
在所述候选点集合中选取多组剪切点,其中,每组剪切点包括至少三个剪切点;
根据所述第一三维模型的特征信息和所述多组剪切点,在所述第一三维模型上规划剪切路线。
可选地,所述根据所述特征信息和所述多组剪切点,在所述第一三维模型上规划剪切路线,包括:
以所述第一三维模型的平均测地距离为标准,所述特征信息为条件,基于所述多组剪切点在所述第一三维模型上动态规划剪切路线。
可选地,所述特征信息包括主曲率、中曲率和高斯曲率。
可选地,所述根据所述第一三维模型的特征信息确定所述第一三维模型对应的候选点集合,包括:
根据预设函数对所述第一三维模型作统计图,得到统计值,所述统计值使得取得的数据量占比落入预设比例范围;
根据所述统计值,选取每个特征信息对应的候选点集合;
确定所有特征信息分别对应的候选点集合的交集为所述第一三维模型的候选点集合。
可选地,所述将所述二维图像数据和所述二维标签数据作为训练数据进行训练,得到第二模型,包括:
将所述二维图像数据和所述二维标签数据作为深度学习语义分割网络的输入数据进行训练,得到第二模型;
其中,所述深度学习语义分割网络以全卷积网络FCN作为基础网络结构,所述FCN至少包括损失层和在所述损失层之前的映射层,所述FCN的损失层的损失函数包括:其中,,3≤θ≤6,λ∈{0.1,0.01,0.001,0.0001},t为常量,dl表示像素标签l的像素点个数,表示图片传到链接层时转为矩阵z,zi表示像素i对应的值。
可选地,所述预设能量函数为:
其中,α∈[0.8,1],β∈[0.001,1],c∈[1,10],Curi为节点i的曲率,Nei为节点i的邻域节点,n为邻域节点个数,GDi为顶点i到当前网格标签区域其他顶点的测地距离之和。
可选地,所述根据所述多组第三三维模型确定目标模型,包括:
对所述多组第三三维模型进行加权平均,得到目标三维模型。
本领域普通技术人员可以理解实现上述实施例方法的全部或者部分步骤是可以通过至少一个程序指令相关的硬件来完成,所述至少一个程序可以存储于如图1所示的移动终端的存储器102中,并能够被所述处理器101执行,所述至少一个程序被所述处理器101执行时实现如下步骤:
获取三维体数据并根据所述三维体数据建立第一三维模型,对所述第一三维模型的解剖标志点进行标记,并标记所述第一三维模型对应的网格标签;
根据所述第一三维模型的特征信息,将所述第一三维模型进行平面化处理,得到所述第一三维模型对应的二维图像数据,并将所述第一三维模型对应的网格标签进行平面化处理,得到所述网格标签对应的二维标签数据;
将所述二维图像数据和所述二维标签数据作为训练数据进行训练,得到第二模型;
将多组预测数据分别作为所述第二模型的输入数据,得到多组预测结果;
对所述多组预测结果分别执行全局无缝参数化过程的逆操作,得到多组第三三维模型;
根据所述多组第三三维模型确定目标模型;
根据所述目标模型和预设能量函数确定目标网格标签对应的标志点。
可选地,所述根据所述第一三维模型的特征信息,将所述第一三维模型进行平面化处理,得到所述第一三维模型对应的二维图像数据,包括:
分析所述第一三维模型,获取第一三维模型的特征信息;
根据所述特征信息在所述第一三维模型上规划剪切路线;
根据所述剪切路线对所述第一三维模型进行剪切,将所述第一三维模型转换为二维平面数据,并经过保形映射转换为二维图像数据。
可选地,所述根据所述特征信息在所述第一三维模型上规划剪切路线,包括:
根据所述特征信息确定所述第一三维模型对应的候选点集合;
在所述候选点集合中选取多组剪切点,其中,每组剪切点包括至少三个剪切点;
根据所述特征信息和所述多组剪切点,在所述第一三维模型上规划剪切路线。
可选地,所述根据所述特征信息和所述多组剪切点,在所述第一三维模型上规划剪切路线,包括:
以所述第一三维模型的平均测地距离为标准,所述特征信息为条件,基于所述多组剪切点在所述第一三维模型上动态规划剪切路线。
可选地,所述特征信息包括主曲率、中曲率和高斯曲率。
可选地,所述根据所述特征信息确定所述第一三维模型对应的候选点集合,包括:
根据预设函数对所述第一三维模型作统计图,得到统计值,所述统计值使得取得的数据量占比落入预设比例范围;
根据所述统计值,选取每个特征信息对应的候选点集合;
确定所述特征信息分别对应的候选点集合的交集为所述第一三维模型的候选点集合。
可选地,所述将所述二维图像数据和所述二维标签数据作为训练数据进行训练,得到第二模型,包括:
将所述二维图像数据和所述二维标签数据作为深度学习语义分割网络的输入数据进行训练,得到第二模型;
其中,所述深度学习语义分割网络以全卷积网络FCN作为基础网络结构,所述FCN至少包括损失层和在所述损失层之前的映射层,所述FCN的损失层的损失函数包括:其中,3≤θ≤6,λ∈{0.1,0.01,0.001,0.0001},t为常量,dl表示像素标签l的像素点个数,表示图片传到链接层时转为矩阵z,zi表示像素i对应的值。
可选地,所述预设能量函数为:
其中,α∈[0.8,1],β∈[0.001,1],c∈[1,10],Curi为节点i的曲率,Nei为节点i的邻域节点,n为邻域节点个数,GDi为顶点i到当前网格标签区域其他顶点的测地距离之和。
可选地,所述根据所述多组第三三维模型确定目标模型,包括:
对所述多组第三三维模型进行加权平均,得到目标三维模型。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种解剖标志点识别方法,其特征在于,所述识别方法包括:
获取三维体数据并根据所述三维体数据建立第一三维模型,对所述第一三维模型的解剖标志点进行标记,并标记所述第一三维模型对应的网格标签;
根据所述第一三维模型的特征信息,将所述第一三维模型进行平面化处理,得到所述第一三维模型对应的二维图像数据,并将所述第一三维模型对应的网格标签进行平面化处理,得到所述网格标签对应的二维标签数据;
将所述二维图像数据和所述二维标签数据作为训练数据进行训练,得到第二模型;
将多组预测数据分别作为所述第二模型的输入数据,得到多组预测结果;
对所述多组预测结果分别执行全局无缝参数化过程的逆操作,得到多组第三三维模型;
根据所述多组第三三维模型确定目标模型;
根据所述目标模型和预设能量函数确定目标网格标签对应的标志点;
所述预设能量函数为:
其中,α∈[0.8,1],β∈[0.001,1],c∈[1,10],Curi为节点i的曲率,Nei为节点i的邻域节点,n为邻域节点个数,GDi为顶点i到当前网格标签区域其他顶点的测地距离之和。
2.如权利要求1所述的解剖标志点识别方法,其特征在于,所述根据所述第一三维模型的特征信息,将所述第一三维模型进行平面化处理,得到所述第一三维模型对应的二维图像数据,包括:
分析所述第一三维模型,获取第一三维模型的特征信息;
根据所述特征信息在所述第一三维模型上规划剪切路线;
根据所述剪切路线对所述第一三维模型进行剪切,将所述第一三维模型转换为二维平面数据,并经过保形映射转换为二维图像数据。
3.如权利要求2所述的解剖标志点识别方法,其特征在于,所述根据所述特征信息在所述第一三维模型上规划剪切路线,包括:
根据所述特征信息确定所述第一三维模型对应的候选点集合;
在所述候选点集合中选取多组剪切点,其中,每组剪切点包括至少三个剪切点;
根据所述特征信息和所述多组剪切点,在所述第一三维模型上规划剪切路线。
4.如权利要求3所述的解剖标志点识别方法,其特征在于,所述根据所述特征信息和所述多组剪切点,在所述第一三维模型上规划剪切路线,包括:
以所述第一三维模型的平均测地距离为标准,所述特征信息为条件,基于所述多组剪切点在所述第一三维模型上动态规划剪切路线。
5.如权利要求4所述的解剖标志点识别方法,其特征在于,所述特征信息包括主曲率、中曲率和高斯曲率。
6.如权利要求5所述的解剖标志点识别方法,其特征在于,所述根据所述特征信息确定所述第一三维模型对应的候选点集合,包括:
根据预设函数对所述第一三维模型作统计图,得到统计值,所述统计值使得取得的数据量占比落入预设比例范围;
根据所述统计值,选取每个特征信息对应的候选点集合;
确定所述特征信息分别对应的候选点集合的交集为所述第一三维模型的候选点集合。
8.如权利要求1所述的解剖标志点识别方法,其特征在于,所述根据所述多组第三三维模型确定目标模型,包括:
对所述多组第三三维模型进行加权平均,得到目标三维模型。
9.一种解剖标志点识别设备,其特征在于,所述解剖标志点识别设备包括存储器、至少一个处理器及存储在所述存储器上并可在所述至少一个处理器执行的至少一个程序,所述至少一个程序被所述至少一个处理器执行时,实现上述权利要求1至8任一项所述识别方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810780286.8A CN109166183B (zh) | 2018-07-16 | 2018-07-16 | 一种解剖标志点识别方法及识别设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810780286.8A CN109166183B (zh) | 2018-07-16 | 2018-07-16 | 一种解剖标志点识别方法及识别设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109166183A CN109166183A (zh) | 2019-01-08 |
CN109166183B true CN109166183B (zh) | 2023-04-07 |
Family
ID=64897597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810780286.8A Active CN109166183B (zh) | 2018-07-16 | 2018-07-16 | 一种解剖标志点识别方法及识别设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109166183B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113792623B (zh) * | 2021-08-27 | 2022-12-13 | 同方威视技术股份有限公司 | 安检ct目标物识别方法和装置 |
CN114648680B (zh) * | 2022-05-17 | 2022-08-16 | 腾讯科技(深圳)有限公司 | 图像识别模型的训练方法、装置、设备、介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101916367A (zh) * | 2010-08-19 | 2010-12-15 | 西北工业大学 | 三维人脸本征属性描述方法 |
WO2011071363A2 (en) * | 2009-12-09 | 2011-06-16 | Mimos Berhad | System and method for visualizing and learning of human anatomy |
CN108154066A (zh) * | 2016-12-02 | 2018-06-12 | 中国科学院沈阳自动化研究所 | 一种基于曲率特征递归神经网络的三维目标识别方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110311116A1 (en) * | 2010-06-17 | 2011-12-22 | Creighton University | System and methods for anatomical structure labeling |
US8831308B2 (en) * | 2011-06-16 | 2014-09-09 | Siemens Aktiengesellschaft | Shape based conditional random fields for segmenting intracranial aneurysms |
US9367667B2 (en) * | 2014-04-30 | 2016-06-14 | Siemens Aktiengesellschaft | Method and system for advanced aneurysm analysis |
US9710880B2 (en) * | 2014-07-03 | 2017-07-18 | Siemens Product Lifecycle Management Software Inc. | User-guided shape morphing in bone segmentation for medical imaging |
DE102014216702A1 (de) * | 2014-08-22 | 2016-02-25 | Siemens Aktiengesellschaft | Reformatierung unter Berücksichtigung der Anatomie eines zu untersuchenden Objekts |
-
2018
- 2018-07-16 CN CN201810780286.8A patent/CN109166183B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011071363A2 (en) * | 2009-12-09 | 2011-06-16 | Mimos Berhad | System and method for visualizing and learning of human anatomy |
CN101916367A (zh) * | 2010-08-19 | 2010-12-15 | 西北工业大学 | 三维人脸本征属性描述方法 |
CN108154066A (zh) * | 2016-12-02 | 2018-06-12 | 中国科学院沈阳自动化研究所 | 一种基于曲率特征递归神经网络的三维目标识别方法 |
Non-Patent Citations (2)
Title |
---|
Convolutional Neural Networks on Surfaces via Seamless Toric Covers;HAGGAI MARON等;《ACM Trans. Graph》;20170731;第1-10页 * |
脚型解剖学标志点自动标识方法;刘斌等;《机械工程学报》;20091115(第11期);第205-211页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109166183A (zh) | 2019-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109493346B (zh) | 一种基于多损失的胃癌病理切片图像分割方法和装置 | |
KR102698958B1 (ko) | 이미지 분류 모델 훈련 방법, 및 이미지 처리 방법 및 디바이스 | |
CN109145939B (zh) | 一种小目标敏感的双通道卷积神经网络语义分割方法 | |
CN106875406B (zh) | 图像引导的视频语义对象分割方法及装置 | |
CN110610166B (zh) | 文本区域检测模型训练方法、装置、电子设备和存储介质 | |
JP7540127B2 (ja) | 人工知能に基づく画像処理方法、画像処理装置、コンピュータプログラム及びコンピュータ機器 | |
JP2022529557A (ja) | 医用画像分割方法、医用画像分割装置、電子機器及びコンピュータプログラム | |
CN110414526B (zh) | 语义分割网络的训练方法、训练装置、服务器和存储介质 | |
CN108734120A (zh) | 标注图像的方法、装置、设备和计算机可读存储介质 | |
CN111652250B (zh) | 基于多边形的遥感影像建筑物提取方法、装置及存储介质 | |
EP4181059A1 (en) | Medical image processing method, apparatus, device, storage medium, and product | |
CN110659596A (zh) | 案管场景下人脸关键点定位方法、计算机存储介质及设备 | |
CN110689518B (zh) | 宫颈细胞图像筛查方法、装置、计算机设备及存储介质 | |
CN110879961A (zh) | 利用车道模型的车道检测方法和装置 | |
CN110705565A (zh) | 淋巴结肿瘤区域识别方法与装置 | |
CN111428191B (zh) | 基于知识蒸馏的天线下倾角计算方法、装置和存储介质 | |
CN110738132B (zh) | 一种具备判别性感知能力的目标检测质量盲评价方法 | |
WO2021057148A1 (zh) | 基于神经网络的脑组织分层方法、装置、计算机设备 | |
CN109166183B (zh) | 一种解剖标志点识别方法及识别设备 | |
CN111881919B (zh) | 一种基于追踪式格网剖分的线要素智能化简方法与装置 | |
WO2021027152A1 (zh) | 基于条件生成对抗网络合成图像的方法及相关设备 | |
CN113298910A (zh) | 生成交通标志线地图的方法、设备和存储介质 | |
CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
CN114663397A (zh) | 可行驶区域的检测方法、装置、设备及存储介质 | |
CN116052097A (zh) | 一种地图要素检测方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |