CN110310723A - 骨骼图像处理方法、电子设备及存储介质 - Google Patents
骨骼图像处理方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110310723A CN110310723A CN201810227359.0A CN201810227359A CN110310723A CN 110310723 A CN110310723 A CN 110310723A CN 201810227359 A CN201810227359 A CN 201810227359A CN 110310723 A CN110310723 A CN 110310723A
- Authority
- CN
- China
- Prior art keywords
- image
- fracture
- bone
- neural network
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 97
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims abstract description 77
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 230000004927 fusion Effects 0.000 claims abstract description 38
- 230000001537 neural effect Effects 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 25
- 238000012360 testing method Methods 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 5
- 208000005214 Poroma Diseases 0.000 claims description 2
- 201000001013 eccrine acrospiroma Diseases 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 2
- 238000003745 diagnosis Methods 0.000 abstract description 10
- 238000007689 inspection Methods 0.000 abstract description 3
- 206010017076 Fracture Diseases 0.000 description 88
- 208000010392 Bone Fractures Diseases 0.000 description 85
- 238000002591 computed tomography Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 210000000038 chest Anatomy 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000003475 lamination Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 210000004218 nerve net Anatomy 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002297 emergency surgery Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Abstract
本发明揭示了一种骨骼图像处理方法、电子设备以及计算机可读存储介质。所述方法包括：对骨骼图像进行分割，并获取所述骨骼图像中的骨骼部分作为标签图像；将标签图像输入到融合神经网络中，得到融合输出结果，所述融合神经网络包含分类神经网络及检测神经网络；输出所述融合输出结果，所述融合输出结果包括所述骨骼图像的骨折位置及骨折概率。根据包括骨骼图像骨折类型、位置及概率的融合输出结果，医生得以获知骨骼图像中可能存在骨折的位置，无需对骨骼图像进行全覆盖、无针对的检查，使得骨折检测的人工工作量大大减少，漏诊率也大大降低。
Description
技术领域
本发明涉及计算机断层扫描图像处理技术领域，特别涉及一种骨骼图像处理方法、电子设备及计算机可读存储介质。
背景技术
现如今骨折检测来源除了急诊外科、创伤外科、脊柱外科等外科科室，还有疼痛诊疗科、肿瘤放疗科、消化道科等科，因此骨折检测数量巨大，人体薄层CT扫描图像常常多达数百近千张，需要逐张排查，骨折检测工作量极大。
在实际工作中，临床医生往往由于工作繁忙，撰写病例时没有时间记录病人的受伤详情或病史描述，使得影像科医生需要为病人进行无针对性全面检查，对于漏诊率控制十分不利。
而对于临床医生而言，需要从成百上千张扫描图像中每一张都进行甄别，工作量非常大，而且非常依赖于经验，在进行海量阅片时难免存在漏诊或者误判的情况。
比如，在进行肋骨骨折检测时，肋骨的数目较多，正常为24根，且呈发射性排列。一般情况下，骨折受伤存在于某条肋骨或某些肋骨上，而在进行断层扫描时，有些图片上不会显示受伤位置，即受伤位置仅会出现在某些张数某些位置的图片上，这样医生要找出这些图片，需要前期大量的筛选和仔细的判断，给诊断医生带来了巨大的工作量，漏诊率也会上升，导致对病情判断不够准确。
急需提供一种辅助诊断手段，能够减轻医生海量阅片的工作量，提供诊断参考。
发明内容
为了解决相关技术中存在骨折检测的人工工作量大，漏诊率高的问题，本发明提供了一种骨骼图像处理方法、电子设备以及计算机可读存储介质。
一种骨骼图像处理方法，所述方法包括：
对骨骼图像进行分割，并获取所述骨骼图像中的骨骼部分作为标签图像；
将标签图像输入到融合神经网络中，得到融合输出结果，所述融合神经网络包含分类神经网络及检测神经网络；
输出所述融合输出结果，所述融合输出结果包括所述骨骼图像的骨折位置及骨折概率。
一种电子设备，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器，存储于所述存储器中的计算机可读指令被所述处理器执行时实现如前所述的骨骼图像处理方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的骨骼图像处理方法。
本发明的实施例提供的技术方案可以包括以下有益效果：
通过对骨骼图像进行分割，得到骨骼图像中的骨骼部分，即标签图像，将标签图像输入到融合神经网络中，得到融合输出结果并输出，融合神经网络包含分类神经网络及检测神经网络，融合输出结果包括骨骼图像的骨折位置及骨折概率。通过融合分类神经网络所得分类结果及检测神经网络所得检测结果，得到指示骨骼图像骨折位置及融合后的骨折概率的融合输出结果，由于融合输出结果中的骨折概率是根据分类结果及检测结果中的骨折概率融合所得，因此，与分类结果或检测结果中的骨折概率相比，融合后的骨折概率较为可靠。根据包括骨骼图像骨折类型、位置及概率的融合输出结果，医生得以获知骨骼图像中可能存在骨折的位置，无需对骨骼图像进行全覆盖、无针对的检查，使得骨折检测的人工工作量大大减少，漏诊率也大大降低。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种骨骼图像处理方法的流程图；
图2是建立分割神经网络在一个实施例的示意图；
图3是图1对应实施例的步骤110在一个实施例的流程图；
图4是VGG19网络在一个实施例的结构图；
图5是图1对应实施例的步骤130在一个实施例的流程图；
图6是fuse层在一个实施例的示意图。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种骨骼图像处理方法的流程图。如图1所示，该骨骼图像处理方法可以包括以下步骤。
在步骤110中，对骨骼图像进行分割，并获取骨骼图像中的骨骼部分作为标签图像。
其中，首先获取到骨骼图像，一般为CT(Computed Tomography，计算机断层扫描)扫描图像，由于不同的窗宽窗位可能对应不同灰度值的器官组织，因此将骨骼图像的窗宽窗位调节到合适的值，以便于在骨骼图像上清楚的显示骨骼的位置。
由于骨骼图像中包含人体的各个组织，直接使用骨骼图像进行骨折检测，骨骼图像中会包含干扰信息，因此将每张骨骼图像进行分割，从而将每张图片中的骨骼分割出来，然后将每个分割好的骨骼图片进行归一化，最后进行分类、检测。
分割后的骨骼图像中，骨骼部分与非骨骼部分区别明显，对骨骼图像进行分割后，获取骨骼图像中的骨骼部分作为标签图像。
在步骤130中，将标签图像输入到融合神经网络中，得到融合输出结果，该融合神经网络包含分类神经网络及检测神经网络。
其中，分类神经网络用于判断骨折类型，检测神经网络用于检测骨折的位置。
将标签图像输入到分类神经网络和检测神经网络中，得到输出结果，将分类神经网络输出结果和检测神经网络的输出结果进行融合得到融合输出结果，融合输出结果用于指示输入的标签图像是骨折图像和不是骨折图像的概率以及标签图像的骨折位置。
在步骤150中，输出融合输出结果，该融合输出结果包括骨骼图像的骨折位置及骨折概率。
根据融合输出结果，医生得以判断标签图像中骨骼的骨折状态，骨折状态包括标签图像中的骨骼是否骨折，以及标签图像中骨骼的骨折位置。从而通过融合分类神经网络和检测神经网络的融合输出结果，判断标签图像中骨骼的骨折状态，解决了现有技术中存在的骨折检测的人工工作量大，漏诊率高的问题。
在一个示例性实施例中，该骨骼图像处理方法还可以包括以下步骤：建立并训练分割神经网络。
其中，分割神经网络用于对骨骼图像进行分割。图2是建立分割神经网络在一个实施例的示意图。输入层：由于骨骼图像一般CT扫描图像，大小是512*512，因此分割神经网络的输入为512*512的图像，图像像素经过归一化后形成512*512的图像矩阵。
卷积层1：卷积层1采用36个大小为5*5的卷积核对输入图像进行卷积，输出为36个特征映射图。池化层1：池化层1的采样区域大小为2*2，采用最大值采样。卷积层2：卷积层2采用36个大小为3*3的卷积核，对池化层1进行卷积。池化层2采用与池化层1相同的方式对卷积层2输出的特征映射图进行最大池化操作。卷积层3：卷积层3的卷积核数目为64个，卷积核大小为3*3.池化层3：池化层3采用3*3的最大池化，反卷积层：反卷积层通过反卷积操作能够将图像放大，恢复到输入图像大小。
卷积神经网络训练流程与传统多层前馈神经网络的训练类似，分为前向传播和逆传播两个阶段，算法流程如下：(1)初始化网络的权值和偏置项；(2)从训练集中取一个batch的训练样本作为卷积神经网络的输入；(3)训练样本通过神经网络进行前向传播，得到输出值；(4)根据设定的损失函数计算网络的输出值与实际值之间的误差，如果误差值小于设定的阈值或者训练的迭代次数达到预定的阈值，则停止神经网络的训练。否则继续下面的步骤；(5)在误差逆传播阶段，逐步更新网络的权值；(6)回到(2)，继续神经网络的训练。
具体实现中，向分割神经网络输入一张图像，输出尺寸相同的一张图像，该图像是输入图像的分割图像，即为输出标签图。每一个图像都有一个精确的分割图像，该图像大多是由人手工画出，在本实施例中是骨骼分割图像。用输出标签图与真正的标签图进行比对，通过对两幅图像的每一个像素一一进行比对，来进行求残差，残差越大，说明两幅图像相似度越低，分割神经网络就会较大幅度地调整网络参数，使下一次残差变小。如此重复，运行几十万上百万次使残差变小的过程即为训练的过程。
此实施例实现了建立并训练分割神经网络。
图3是图1对应实施例的步骤110在一个实施例的流程图。如图3所示，该步骤110可以包括以下步骤。
在步骤111中，将骨骼图像输入到分割神经网络，得到分割图像。
其中，分割图像为将骨骼图像进行分割得到的图像。通过将骨骼图像输入到分割神经网络，通过分割神经网络的卷积，得到分割图像。
在步骤113中，获取分割图像中的骨骼部分，得到标签图像。
首先，寻找分割图像的所有联通区来保证完整抠取出骨骼部分。之后，求每个联通区中每个像素的横坐标与纵坐标的最大值与最小值。将横坐标和纵坐标的最大值分别增加10，最小值分别减少10，然后获取该骨骼部分所在的矩形区域，并对该矩形区域的原始骨骼图像进行复制，获得每条骨骼所在的矩形区域，即为标签图像。
此实施例实现了分割骨骼图像得到标签图像。
在一个示例性实施例中，该骨骼图像处理方法还可以包括以下步骤：建立并联合训练分类神经网络和检测神经网络。
检测神经网络和分类神经网络的功能不同，检测神经网络可以准确判断标签图像的骨折位置，但难以判断标签图像的骨折类型，分类神经网络除可以判断骨骼图像是否骨折外，还可以进一步判断骨折的类型。
通过检测神经网络与分类神经网络配合提升骨折检测准确率时，需将检测神经网络和分类神经网络分别得到的检测结果和分类结果按权重进行融合，所以在训练分类神经网络和检测神经网络时，需使分类神经网络与检测神经网络配合进行联合训练。
在一个示例性实施例的具体实现中，分类神经网络采用了VGG19的分类神经网络结构进行建立和训练。在其他实施例中，分类神经网络有多种，不限于VGG19网络，其它网络也能实现本发明的分类神经网络的建立和训练。
图4是VGG19网络在一个实施例的结构图。
如图4所示，VGG19网络包含总共19个卷积层和全连接层的网络。VGG19网络的网络种类包括：卷积层conv，激励层relu，pooling层和全连接层fc四类。在全连接层中，由于分类神经网络用来判断图像是否是骨折图像，是一个二分类神经网络，因此将最后一层全连接的输出更改为2。最后分类神经网络输出该图像是骨折图像和不是骨折图像的概率。
yolo2检测神经网络由29层网络组成。检测神经网络输入是标签图像，网络算法辨别该标签图像是否有骨折，然后给出骨折位置，所以对于一张标签图像可以用6个参数描述该标签图像是否骨折。其中第一个参数代表一个概率，说明该图像是否有骨折，第二参数代表不骨折的概率，剩下的四个参数代表骨折的位置。
yolo2检测神经网络判断骨折的方法是，首先，将标签图像划分成4*4的格子，检测神经网络最后会以每个格子为中心给出5个假想框，框出骨折位置，每个假想框由上述6个参数组成，代表是否骨折、骨折位置与框的大小。
构建骨折训练数据库，构建的时候是手工构建的，用户知道图像是否骨折，知道骨折位置，设计一个软件，将图像打成4*4的格子，将结果和软件检测结果比对，按照预期哪个格子应该测出骨折，并计算相应的骨折框的大小位置，自动生成训练数据。
训练的时候，对于每一张图像，训练结果4*4*30会和该图像手工标注的结果求误差，每一个4*4*6都会和手工标注的结果求误差，预期被检测出的格子会在下次训练时让它与手工标注的结果接近，其余的格子会让它输出的概率越来越低。最终网络收敛，选取判断输出结果概率高的位置，由此知道哪个位置较大概率有骨折。
yolo2检测神经网络可以同时输出该张图片是否骨折，并输出骨折位置。在实际应用中，为增加骨折检测的准确率，应在检测神经网络中增加fuse(融合)层，将分类神经网络的输出结果和检测神经网络的结果结合。
含fuse层的检测网络结构如下所示：
如上所示，本发明所提出的检测神经网络包含如下层结构：卷积层、pooling层、regorg层、路由层(route)，和fuse层。其中，输入的标签图像大小为32*32*3，23层有一个route层，表示将14层网络输出结果拿来作为下面的网络结构的输入。26层有一个route层，表示将22层和25层输出合并到一起，输出到下一层。
30层大小是4×4×30，即表示将原始的32*32大小的图片缩小到4*4大小的格子，每一个格子的输出大小是30(5*6)，5指对每一个4*4的小格配有5个边框，6是指每一个边框输出6个浮点数。一共有2个类别，有骨折和没骨折，一个代表是，另一个代表否。
具体地，这6个数中有2个参数是是否有骨折的概率，剩余4个来识别边框的位置和大小。两个参数代表骨折和非骨折概率的数值，理论上应该等于1，但在训练中它们的和不一定1，或大或小，判断是否骨折的时候只看其中一个参数的概率，例如只看骨折的概率。两个参数和训练数据库时，建立数据库时设定的参数是紧密相关的，数据库标签中这两个参数一个为1，另一个为0。
分类神经网络在输出该张图片是否为骨折图片的概率后，将该概率值与fuse层每个格子输出的骨折概率进行加权相加。
检测神经网络的训练过程如下：(1)初始化网络的权值和偏置项；(2)从训练集中取一个batch的训练样本作为卷积神经网络的输入；(3)训练样本通过神经网络进行前向传播，得到输出值；(4)根据设定的损失函数计算网络的输出值与实际值之间的误差，如果误差值小于设定的阈值或者训练的迭代次数达到预定的阈值，则停止神经网络的训练。否则继续下面的步骤；(5)在误差逆传播阶段，逐步更新网络的权值；(6)回到(2)，继续神经网络的训练。
此实施例实现了建立并训练分类神经网络和检测神经网络。
图5是图1对应实施例的步骤130在一个实施例的流程图。如图5所示，该步骤130可以包括以下步骤。
在步骤131中，将标签图像分别输入到分类神经网络和检测神经网络中，得到分类神经网络的分类结果和检测神经网络的检测结果。
分类结果包括骨骼图像的骨折类型及骨折概率，检测结果包括骨骼图像的骨折位置及骨折概率。
其中，将标签图像作为输入，分别输入到分类神经网络和检测神经网络中，得到分类神经网络的分类结果和检测神经网络的检测结果，分类结果为标签图像是骨折图像和不是骨折图像的概率，检测神经网络的输出结果为标签图像是否骨折以及骨折的位置。
在步骤133中，通过融合层将分类结果与检测结果融合，得到融合输出结果。
融合层用于将分类结果与检测结果融合，以提升骨折检测的准确率。融合层根据分类结果和检测结果获得的融合输出结果可以指示骨骼图像的骨折类型、骨折位置以及骨折概率。
图6是fuse层在一个实施例的示意图。
如图6所示，fuse层采用Detect_Prob1参数预测标签图像是否是骨折图像，如果是，将输出检测框位置，指明骨折位置。Detect_Prob1，Prob2就是检测神经网络中6个参数中的一个，代表图片是否存在骨折，stx，sty，tw，th为检测神经网络输出的骨折位置。class_prob1，class_prob2代表分类神经网络中输出结果，代表有和没有骨折的概率。
ωi即加权权重，i指示分类结果中的骨折类型，融合层按照骨折类型对分类结果进行加权，骨折类型包括不连续、骨痂、骨折，不同的骨折类型加权权重不同，将分类神经网络的结果加权后与检测神经网络的结果相加，在具体实现中，权重与分类神经网络的识别率正相关，最高不超过0.5(经验值)。
之后，将加权后的分类结果与检测结果相加，得到融合输出结果，该融合输出结果指示所述骨骼图像的骨折位置以及融合后的骨折概率。
此实施例实现了将分类神经网络的输出结果加权，并与检测神经网络的输出结果相加，得到融合输出结果。
检测神经网络用于检测骨折位置，但难以用于骨折类型判断，分类神经网络用于判断骨折类型，因此，通过将分类结果加权，对检测结果进行修正，得到更准确的骨折概率，使得医生只需对骨骼图像中融合输出结果所指示的可能骨折位置进行检查，既减少了医生的工作量，也降低了漏诊率。
在一个示例性实施例中，本发明还包括一种电子设备，该电子设备包括：
处理器；
用于存储处理器可执行指令的存储器，存储于所述存储器中的计算机可读指令被所述处理器执行时实现如前所示的骨骼图像处理方法。
在一个示例性实施例中，本发明包括一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所示的骨骼图像处理方法。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (8)
1.一种骨骼图像处理方法，其特征在于，所述方法包括：
对骨骼图像进行分割，并获取所述骨骼图像中的骨骼部分作为标签图像；
将标签图像输入到融合神经网络中，得到融合输出结果，所述融合神经网络包含分类神经网络及检测神经网络；
输出所述融合输出结果，所述融合输出结果包括所述骨骼图像的骨折位置及骨折概率。
2.根据权利要求1所述的方法，其特征在于，所述对骨骼图像进行分割，并获取所述骨骼图像中的骨骼部分作为标签图像之前，所述方法还包括：
建立并训练分割神经网络，所述分割神经网络用于对骨骼图像进行分割。
3.根据权利要求2所述的方法，其特征在于，所述对骨骼图像进行分割，并获取所述骨骼图像中的骨骼部分作为标签图像包括：
将骨骼图像输入到所述分割神经网络，得到分割图像；
获取所述分割图像中的骨骼部分，得到标签图像。
4.根据权利要求1所述的方法，其特征在于，所述将标签图像输入到融合神经网络中，得到融合输出结果之前，所述方法还包括：
建立并联合训练分类神经网络和检测神经网络。
5.根据权利要求1所述的方法，其特征在于，所述将标签图像输入到融合神经网络中，得到融合输出结果，包括：
将标签图像分别输入到分类神经网络和检测神经网络中，得到所述分类神经网络的分类结果和检测神经网络的检测结果，所述分类结果包括所述骨骼图像的骨折类型及骨折概率，所述检测结果包括所述骨骼图像的骨折位置及骨折概率；
通过融合层将所述分类结果与检测结果融合，得到融合输出结果。
6.根据权利要求5所述的方法，其特征在于，所述通过融合层将所述分类结果与检测结果融合，得到融合输出结果，包括：
所述融合层按照骨折类型对所述分类结果进行加权，所述骨折类型包括不连续、骨痂、骨折；
将加权后的所述分类结果与所述检测结果相加，得到融合输出结果，所述融合输出结果指示所述骨骼图像的骨折位置以及融合后的骨折概率。
7.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器，存储于所述存储器中的计算机可读指令被所述处理器执行时实现如权利要求1至6任一项所述的骨骼图像处理方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的骨骼图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810227359.0A CN110310723A (zh) | 2018-03-20 | 2018-03-20 | 骨骼图像处理方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810227359.0A CN110310723A (zh) | 2018-03-20 | 2018-03-20 | 骨骼图像处理方法、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110310723A true CN110310723A (zh) | 2019-10-08 |
Family
ID=68073414
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810227359.0A Pending CN110310723A (zh) | 2018-03-20 | 2018-03-20 | 骨骼图像处理方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110310723A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110895812A (zh) * | 2019-11-28 | 2020-03-20 | 北京推想科技有限公司 | Ct图像的检测方法、装置、存储介质及电子设备 |
| CN111325745A (zh) * | 2020-03-09 | 2020-06-23 | 北京深睿博联科技有限责任公司 | 骨折区域分析方法和装置、电子设备及可读存储介质 |
| CN111513743A (zh) * | 2020-04-10 | 2020-08-11 | 青岛海信医疗设备股份有限公司 | 一种骨折检测方法及装置 |
| CN111627005A (zh) * | 2020-05-25 | 2020-09-04 | 殷晓峰 | 一种基于形状进行骨骼细分的骨折区域识别方法和系统 |
| CN111627554A (zh) * | 2020-05-28 | 2020-09-04 | 浙江德尔达医疗科技有限公司 | 一种基于深度卷积神经网络的骨折图像自动分类系统 |
| CN111967540A (zh) * | 2020-09-29 | 2020-11-20 | 北京大学口腔医学院 | 基于ct数据库的颌面部骨折的识别方法、装置及终端设备 |
| CN112489005A (zh) * | 2020-11-26 | 2021-03-12 | 推想医疗科技股份有限公司 | 骨分割方法及装置、骨折检出方法及装置 |
| CN113837192A (zh) * | 2021-09-22 | 2021-12-24 | 推想医疗科技股份有限公司 | 图像分割方法及装置，神经网络的训练方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140233820A1 (en) * | 2012-11-01 | 2014-08-21 | Virginia Commonweath University | Segmentation and Fracture Detection in CT Images |
| CN106023195A (zh) * | 2016-05-18 | 2016-10-12 | 河南师范大学 | 基于自适应遗传算法的bp神经网络图像分割方法及装置 |
| CN106327495A (zh) * | 2016-08-26 | 2017-01-11 | 穆达文 | 一种生物骨骼识别方法、装置及系统 |
| CN107492099A (zh) * | 2017-08-28 | 2017-12-19 | 京东方科技集团股份有限公司 | 医学图像分析方法、医学图像分析系统以及存储介质 |
| CN107680088A (zh) * | 2017-09-30 | 2018-02-09 | 百度在线网络技术（北京）有限公司 | 用于分析医学影像的方法和装置 |
| CN107730507A (zh) * | 2017-08-23 | 2018-02-23 | 成都信息工程大学 | 一种基于深度学习的病变区域自动分割方法 |
| CN107767419A (zh) * | 2017-11-07 | 2018-03-06 | 广州深域信息科技有限公司 | 一种人体骨骼关键点检测方法及装置 |
-
2018
- 2018-03-20 CN CN201810227359.0A patent/CN110310723A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140233820A1 (en) * | 2012-11-01 | 2014-08-21 | Virginia Commonweath University | Segmentation and Fracture Detection in CT Images |
| CN106023195A (zh) * | 2016-05-18 | 2016-10-12 | 河南师范大学 | 基于自适应遗传算法的bp神经网络图像分割方法及装置 |
| CN106327495A (zh) * | 2016-08-26 | 2017-01-11 | 穆达文 | 一种生物骨骼识别方法、装置及系统 |
| CN107730507A (zh) * | 2017-08-23 | 2018-02-23 | 成都信息工程大学 | 一种基于深度学习的病变区域自动分割方法 |
| CN107492099A (zh) * | 2017-08-28 | 2017-12-19 | 京东方科技集团股份有限公司 | 医学图像分析方法、医学图像分析系统以及存储介质 |
| CN107680088A (zh) * | 2017-09-30 | 2018-02-09 | 百度在线网络技术（北京）有限公司 | 用于分析医学影像的方法和装置 |
| CN107767419A (zh) * | 2017-11-07 | 2018-03-06 | 广州深域信息科技有限公司 | 一种人体骨骼关键点检测方法及装置 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110895812A (zh) * | 2019-11-28 | 2020-03-20 | 北京推想科技有限公司 | Ct图像的检测方法、装置、存储介质及电子设备 |
| CN111325745A (zh) * | 2020-03-09 | 2020-06-23 | 北京深睿博联科技有限责任公司 | 骨折区域分析方法和装置、电子设备及可读存储介质 |
| CN111325745B (zh) * | 2020-03-09 | 2023-08-25 | 北京深睿博联科技有限责任公司 | 骨折区域分析方法和装置、电子设备及可读存储介质 |
| CN111513743A (zh) * | 2020-04-10 | 2020-08-11 | 青岛海信医疗设备股份有限公司 | 一种骨折检测方法及装置 |
| CN111513743B (zh) * | 2020-04-10 | 2023-08-11 | 青岛海信医疗设备股份有限公司 | 一种骨折检测方法及装置 |
| CN111627005A (zh) * | 2020-05-25 | 2020-09-04 | 殷晓峰 | 一种基于形状进行骨骼细分的骨折区域识别方法和系统 |
| CN111627005B (zh) * | 2020-05-25 | 2023-02-17 | 殷晓峰 | 一种基于形状进行骨骼细分的骨折区域识别方法和系统 |
| CN111627554A (zh) * | 2020-05-28 | 2020-09-04 | 浙江德尔达医疗科技有限公司 | 一种基于深度卷积神经网络的骨折图像自动分类系统 |
| CN111967540A (zh) * | 2020-09-29 | 2020-11-20 | 北京大学口腔医学院 | 基于ct数据库的颌面部骨折的识别方法、装置及终端设备 |
| CN112489005A (zh) * | 2020-11-26 | 2021-03-12 | 推想医疗科技股份有限公司 | 骨分割方法及装置、骨折检出方法及装置 |
| CN113837192A (zh) * | 2021-09-22 | 2021-12-24 | 推想医疗科技股份有限公司 | 图像分割方法及装置，神经网络的训练方法及装置 |
| CN113837192B (zh) * | 2021-09-22 | 2024-04-19 | 推想医疗科技股份有限公司 | 图像分割方法及装置，神经网络的训练方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110310723A (zh) | 骨骼图像处理方法、电子设备及存储介质 | |
| CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统 | |
| US10997466B2 (en) | Method and system for image segmentation and identification | |
| US20210174503A1 (en) | Method, system and storage medium with a program for the automatic analysis of medical image data | |
| Korez et al. | A deep learning tool for fully automated measurements of sagittal spinopelvic balance from X-ray images: performance evaluation | |
| CN112070119A (zh) | 超声切面图像质量控制方法、装置和计算机设备 | |
| CN109508644A (zh) | 基于深度视频数据分析的面瘫等级评估系统 | |
| US20210133473A1 (en) | Learning apparatus and learning method | |
| CN107669273A (zh) | 磁共振设备扫描系统、扫描方法及计算机可读存储介质 | |
| Pluim et al. | The truth is hard to make: Validation of medical image registration | |
| CN111080584A (zh) | 医学图像的质控方法、计算机设备和可读存储介质 | |
| WO2020206135A1 (en) | Image-based methods for estimating a patient-specific reference bone model for a patient with a craniomaxillofacial defect and related systems | |
| US20200074631A1 (en) | Systems And Methods For Identifying Implanted Medical Devices | |
| CN110555860A (zh) | 医学图像中肋骨区域标注的方法、电子设备和存储介质 | |
| CN112869697A (zh) | 同时识别糖尿病视网膜病变的分期和病变特征的判断方法 | |
| CN110910342B (zh) | 通过使用深度学习来分析骨骼创伤 | |
| Tran et al. | MBNet: A multi-task deep neural network for semantic segmentation and lumbar vertebra inspection on X-ray images | |
| Shi et al. | A Virtual Monochromatic Imaging Method for Spectral CT Based on Wasserstein Generative Adversarial Network With a Hybrid Loss. | |
| US20140228667A1 (en) | Determining lesions in image data of an examination object | |
| TWI399194B (zh) | 基於細胞自動機之半自動膝蓋ｍｒｉ軟骨影像分割方法 | |
| US11704796B2 (en) | Estimating bone mineral density from plain radiograph by assessing bone texture with deep learning | |
| CN107845106B (zh) | 利用改进的nndr策略的医学图像配准方法 | |
| AU2020223750A1 (en) | Method and System for Image Annotation | |
| Kockelkorn et al. | Semi-automatic classification of textures in thoracic CT scans | |
| CN110555850A (zh) | 识别图像中肋骨区域的方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191008 |