CN110555850B - 识别图像中肋骨区域的方法、装置、电子设备和存储介质 - Google Patents
识别图像中肋骨区域的方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN110555850B CN110555850B CN201810565563.3A CN201810565563A CN110555850B CN 110555850 B CN110555850 B CN 110555850B CN 201810565563 A CN201810565563 A CN 201810565563A CN 110555850 B CN110555850 B CN 110555850B
- Authority
- CN
- China
- Prior art keywords
- rib
- image
- areas
- region
- scanning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 238000004891 communication Methods 0.000 claims abstract description 17
- 238000002372 labelling Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 12
- 238000012163 sequencing technique Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000002591 computed tomography Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 230000005856 abnormality Effects 0.000 description 7
- 210000000988 bone and bone Anatomy 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 4
- 210000004072 lung Anatomy 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 208000010392 Bone Fractures Diseases 0.000 description 2
- 206010017076 Fracture Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 206010016454 Femur fracture Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000027790 Rib fracture Diseases 0.000 description 1
- 206010061363 Skeletal injury Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002297 emergency surgery Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 210000001872 metatarsal bone Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Abstract
本申请揭示了一种识别图像中肋骨区域的方法、装置、电子设备和计算机可读存储介质。所述方法包括:获取肋骨扫描图像序列,所述肋骨扫描图像序列包括有序排列的若干张肋骨扫描图像;通过所构建检测网络检测所述肋骨扫描图像中的肋骨区域;将不同肋骨扫描图像中的所述肋骨区域相与,根据相与结果得到所述肋骨扫描图像序列中的若干肋骨连通域,相与结果匹配的肋骨区域在同一肋骨连通域中;对所述肋骨连通域中的肋骨区域进行标注。通过上述方法能够检测出肋骨扫描图像中的肋骨区域,此外还对检测得到的肋骨区域进行标注,实现了对肋骨扫描图像中肋骨区域的识别,该识别由计算机执行,解决了当前肋骨区域的识别完全由人工进行、效率低下的问题。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种识别图像中肋骨区域的方法、装置、电子设备和计算机可读存储介质。
背景技术
翻阅CT(Computed Tomography,电子计算机断层扫描)图像是放射科医生的常规工作。放射科医生在工作中需处理大量不同科室病人的CT图像,例如急诊外科、创伤外科、脊柱外科、疼痛诊疗科、肿瘤放疗科,医生通过人体不同部位的CT图像诊断病人的脑、肺、骨骼等的异常,一次人体薄层CT扫描产生的CT图像多达七八百张,医生的工作量巨大。尤其是肋骨骨骼的检测,对医生是极大的负担。一般人左右各12根肋骨,医生需检查CT图像上的每一肋骨区域,给出诊断报告,在诊断报告中写明具体是哪一根肋骨有异常。
一张CT图像上并不会出现所有的肋骨,医生在CT图像上发现异常时,一般无法根据该张CT直接获知有异常的是病人的哪一根肋骨。因此,医生在检查CT图像的时候需时时记住当前CT图像上有哪些肋骨,但在实际工作中这是难以做到的,所以很多时候医生在翻阅到有异常的图像后,需从出现第一根肋骨的CT图像开始,重新数出有异常的是病人的哪一根肋骨。当有异常的是离下肢较近的肋骨时,医生为数出是第几根肋骨,需翻阅很多张CT图片,会耗费较多的时间,此外,为了防止数错,很多医生会数好几次比对确认,效率很低。
综上,CT图像中的每一肋骨区域都对应于人的哪一根肋骨,目前完全由医生人工判断,效率低下。
申请内容
为了解决相关技术中CT图像中的每一肋骨区域都对应于人的哪一根肋骨完全由人工判断,效率低下的技术问题,本申请提供了一种识别图像中肋骨区域的方法、装置、电子设备和计算机可读存储介质。
一种识别图像中肋骨区域的方法,所述方法包括:
获取肋骨扫描图像序列,所述肋骨扫描图像序列包括有序排列的若干张肋骨扫描图像;
通过所构建检测网络检测所述肋骨扫描图像中的肋骨区域;
将不同肋骨扫描图像中的所述肋骨区域相与,根据相与结果得到所述肋骨扫描图像序列中的若干肋骨连通域,相与结果匹配的肋骨区域在同一肋骨连通域中;
对所述肋骨连通域中的肋骨区域进行标注。
一种识别图像中肋骨区域的装置,所述装置包括:
图像获取模块,用于获取肋骨扫描图像序列,所述肋骨扫描图像序列包括有序排列的若干张肋骨扫描图像;
肋骨检测模块,用于通过所构建检测网络检测所述肋骨扫描图像中的肋骨区域;
连通域提取模块,用于将不同肋骨扫描图像中的所述肋骨区域相与,根据相与结果得到所述肋骨扫描图像序列中的若干肋骨连通域,相与结果匹配的肋骨区域在同一肋骨连通域中;
标注模块,用于对所述肋骨连通域中的肋骨区域进行标注。
一种电子设备,包括:
处理器;以及
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如前所述的方法。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前所述的方法。
本申请的实施例提供的技术方案可以包括以下有益效果:
通过所构建检测网络对肋骨扫描图像序列进行处理,检测得到肋骨扫描图像序列中的肋骨区域,对肋骨扫描图像序列中的肋骨扫描图像,将不同肋骨扫描图像中的所述肋骨区域相与,根据相与结果得到肋骨扫描图像序列中的肋骨连通域,相与结果匹配的肋骨区域在同一肋骨连通域中,之后,对肋骨连通域中的肋骨区域进行标注。本申请所提供的技术方案能够检测出肋骨扫描图像中的肋骨区域,此外还对检测得到的肋骨区域进行标注,实现了对肋骨扫描图像中肋骨区域的识别,该识别由计算机执行,解决了当前肋骨区域的识别完全由人工进行、效率低下的问题。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并于说明书一起用于解释本申请的原理。
图1是一张肋骨CT图像。
图2是一张肋骨CT图像。
图3是一张肋骨CT图像。
图4是根据一示例性实施例示出的一种识别图像中肋骨区域的方法的流程图。
图5是根据一示例性实施例示出的一种检测网络的结构图。
图6是根据图4对应实施例示出的步骤150的细节的流程图。
图7是根据一示例性实施例示出的肋骨二值图像。
图8是根据图7对应实施例示出的肋骨二值图像。
图9是根据图4对应实施例示出的步骤170的细节的流程图。
图10是根据一示例性实施例示出的步骤175的细节的流程图。
图11是根据图4对应实施例示出的一种识别图像中肋骨区域的方法的流程图。
图12是根据一示例性实施例示出的一种识别图像中肋骨区域的装置的框图。
图13是根据图12实施例示出的连通域提取模块的细节的框图。
图14是根据图12实施例示出的标注模块的细节的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所描述的、本申请的一些方面相一致的装置和方法的例子。
在医疗领域,医生为了判断病人的骨骼或脏器是否损伤、损伤是否严重,一般会借助于CT扫描技术,扫描得到若干CT图像,根据CT图像对病人的病情进行更确切的诊断。
在骨骼损伤(例如肋骨骨折、跖骨骨折、股骨骨折)的诊断中,肋骨CT扫描一般产生有序排列的多张CT图像,受扫描的方式及人体的肋骨分布的限制,难以从一张CT图像判断出图像中的肋骨区域都分别对应人的哪一根肋骨。图1至图3是肋骨CT图像序列中的3张,按人体从上到下的顺序排列。
如图3所示,中间的大片黑色区域对应人的肺部,沿肺部区域的外围间隔分布的是若干肋骨区域,对应人的肋骨,可见,一张CT图像上并没有显示所有的肋骨,医生难以根据一张CT图像判断出图像中的若干肋骨区域都分别对应的是人的哪一根肋骨。
当前,CT图像中的每一肋骨区域都对应于人的哪一根肋骨是完全由医生人工判断的,医生发现一张CT图像中的肋骨有异常时,先翻阅到出现第一根肋骨的CT图像,确定第一根肋骨,然后一张张向下翻,翻阅到出现第二根肋骨的CT图像时,确定第二根肋骨,之后,按上述方法确定第三根、第四根……,直到翻阅到有异常的图像,确定有异常的肋骨是哪一根。
为减少医生诊断骨折时在确定肋骨序号(即肋骨区域对应的是人的第几根肋骨)上所消耗的时间,本申请提出了一种识别图像中肋骨区域的方法,通过该方法,计算机可以自动检测出肋骨扫描图像(例如CT图像、MRI图像)中的肋骨区域,并确定肋骨区域对应人的第几根肋骨。
图4是根据一示例性实施例示出的一种识别图像中肋骨区域的方法的流程图。如图4所示,该方法包括以下步骤。
步骤110,获取肋骨扫描图像序列。
肋骨扫描图像序列包括有序排列的若干张肋骨扫描图像。该若干张肋骨扫描图像对应于人体从上向下或从下向上的若干横断面,通过扫描获得,扫描方式例如CT、MRI(Magnetic Resonance Imaging,磁共振成像),肋骨扫描图像的图像序号沿扫描进行方向(从上向下或从下向上)递增。
肋骨扫描图像中至少应包括肋骨区域,还可以包括肺部区域以及与人体其它器官对应的区域。在扫描生成肋骨扫描图像序列后,获取该肋骨扫描图像序列,以进行对其中肋骨区域的识别。
步骤130,通过所构建检测网络检测肋骨扫描图像中的肋骨区域。
检测网络检测肋骨区域的方法是基于深度学习的,例如yolo方法、faster-rcnn方法。
在一示例性实施例中,步骤130之前,还包括以下步骤:建立检测网络;用相应样本数据训练检测网络,使检测网络能够检测出肋骨扫描图像中的肋骨区域。
例如,该检测网络是yolo2网络。在检测肋骨区域之前,需先建立yolo2网络训练用数据库,建立方法如下:获取肋骨扫描图像,调节窗宽、窗位到指定值;建立数据库,人工框出样本图像中肋骨区域,获取肋骨区域在图像中的坐标以及肋骨区域的大小,作为样本数据存储到数据库中。
除需建立训练用数据库外,还需建立检测网络,图5是根据一示例性实施例示出的一种检测网络的结构图。如图5所示,该检测网络由31层网络构成,conv为卷积层,max为池化层,route层获取前面层的输出矩阵,reorg层对上一层的输出矩阵进行变形操作。
其中,第25层route 16是指获取第16层的输出结果,第16层的输出结果是26*26*512的矩阵。第26层conv层使用64个1*1的卷积核对第25层进行卷积,得到的输出结果为26*26*64的矩阵。第27层reorg层对第26层输出结果进行变形,得到的输出结果为13*13*256的矩阵。
第28层route层获取第27层和第24层的结果进行堆叠操作,输出结果为13*13*1280的矩阵。第29层是卷积层,卷积后获得的输出结果为13*13*1024的矩阵。第30层是最后一个卷积层,用25个1*1的卷积核与第30层的输入进行卷积得到13*13*25的矩阵。
第31层是detection层,对第30层的输出结果进行分析,获取肋骨扫描图像中肋骨区域的位置。
大体上,该网络将图像分成S*S个格子(例如13*13个),每个格子负责预测落入该格子的物体。例如,物体X的中心位置的坐标落入到第5行、第2列的格子内,则由第5行、第2列的格子负责预测物体X。
图5所示网络第30层输出结果大小是13*13*25,网络将图像分成13*13个格子,25是每个格子的预测结果。每个格子预测5个bounding box(假设框),每个假设框由5个参数组成,分别是x,y,w,h,confidence,其中x,y是指当前格子预测得到的物体的假设框的中心位置的坐标;w,h是假设框的宽度和高度;confidence是当前假设框是否包含物体以及物体位置的准确性。
该检测网络可以检测出肋骨扫描图像中肋骨区域的位置,并用矩形框标出。
在建立了训练用数据库和检测网络后,按以下步骤训练检测网络:初始化网络的权值和偏置项;从训练集中取一个batch的训练样本作为网络的输入;训练样本通过网络进行前向传播,得到输出值;根据设定的损失函数计算网络的输出值与实际值之间的误差,如果误差值小于设定的阈值或者训练的迭代次数达到预定的次数,则停止对网络的训练,否则继续下面的步骤:
在误差逆传播阶段,逐步更新网络的权值;回到从训练集取样本输入网络的步骤,继续对网络的训练。
步骤150,将不同肋骨扫描图像中的肋骨区域相与,根据相与结果得到肋骨扫描图像序列中的若干肋骨连通域,相与结果匹配的肋骨区域在同一肋骨连通域中。
肋骨扫描图像上分布若干肋骨区域,不同的肋骨扫描图像上肋骨区域的分布不同,在肋骨扫描图像序列中,图像序号邻近的肋骨扫描图像有相似的肋骨区域分布,图像序号相隔较远的肋骨扫描图像之间则肋骨区域的分布有较大的差异。
肋骨连通域由不同肋骨扫描图像上的肋骨区域构成,应当理解,肋骨扫描图像是一像素阵列。
肋骨区域是由肋骨扫描图像中的若干像素构成的。一肋骨区域与另一肋骨区域相与,比如肋骨区域A与肋骨区域B相与,假设构成肋骨区域A的若干像素在阵列中的位置,与构成肋骨区域B的若干像素在阵列中的位置有相当一部分是相同的,则称肋骨区域A与肋骨区域B相与的相与结果匹配。
应当理解,位于同一肋骨连通域中的肋骨区域相与结果匹配、对应同一肋骨、位于不同的肋骨扫描图像中。由于从肋骨扫描图像中检测肋骨区域时可能会误检(将其它骨骼甚至将脏器检为肋骨)或漏检(是肋骨区域但没有检出),所以同一肋骨可能对应若干肋骨连通域。
一肋骨区域与另一肋骨区域的相与是像素和像素的相与,相与双方像素分别位于不同的肋骨扫描图像上,肋骨扫描图像和肋骨扫描图像的图像序号邻近。
步骤170,对肋骨连通域中的肋骨区域进行标注。
在得到肋骨扫描图像序列中的肋骨连通域后,先对所得到的肋骨连通域进行筛选,由于人体的肋骨有一定长度,因此,肋骨连通域所包含的肋骨区域有一定数量,滤除所包含肋骨区域数量过少的肋骨连通域,将其它所包含肋骨区域数量达标的肋骨连通域作为有效肋骨连通域。
对有效肋骨连通域进行排序,根据排序结果为有效肋骨连通域中的肋骨区域进行标注,同一有效肋骨连通域中的肋骨区域标注同一记号,指示该有效肋骨连通域中肋骨区域所对应的肋骨。
本申请所提供的技术方案能够检测出肋骨扫描图像中的肋骨区域,此外还对检测得到的肋骨区域进行标注,实现了对肋骨扫描图像中肋骨区域的识别,该识别由计算机执行,解决了当前肋骨区域的识别完全由人工进行、效率低下的问题。医生可以根据计算机对肋骨区域标注的内容,获知该肋骨区域所对应的是哪一根肋骨。
图6是根据图4对应实施例示出的步骤150的细节的流程图。如图6所示,步骤150包括以下步骤。
步骤151,遍历肋骨扫描图像序列中的肋骨扫描图像,确定当前肋骨扫描图像在肋骨扫描图像序列中的邻近图像。
肋骨扫描图像序列中的肋骨扫描图像都是有图像序号的,图像序号邻近的肋骨扫描图像邻近,对应人体邻近的横断面,有相似的肋骨区域分布。
为将肋骨扫描图像序列中的肋骨连通域都提取出,需遍历肋骨扫描图像序列中的肋骨扫描图像,对肋骨扫描图像中的肋骨区域一一检测出和该肋骨区域连通(即相与结果匹配)的肋骨区域。
对于肋骨扫描图像序列中一肋骨扫描图像,该肋骨扫描图像的邻近图像即肋骨扫描图像序列中,若干与该肋骨扫描图像邻近的图像。
根据经验,为了防止因误检或漏检了邻近图像中肋骨区域,导致将当前肋骨扫描图像中的肋骨区域分到错误的肋骨连通域中,将邻近图像的数量配置为6,即对当前肋骨扫描图像,将与其邻近的6张肋骨扫描图像作为其邻近图像。
步骤153,遍历当前肋骨扫描图像中的肋骨区域,将当前肋骨区域与邻近图像中的肋骨区域相与,得到相与结果。
一张肋骨扫描图像中包括若干肋骨区域,因此,将当前肋骨扫描图像中的肋骨区域一一处理。
对于当前肋骨区域,将其与邻近图像一一进行肋骨区域的相与,得到邻近图像中所包括肋骨区域与当前肋骨区域的相与结果,相与结果的数量与邻近图像所包括肋骨区域的数量相同。
由于肋骨扫描图像中像素的颜色值分布较散,为避免其干扰肋骨区域之间的相与运算,将肋骨区域中的像素取同一颜色值(比如白色),肋骨区域以外的其它区域中的像素取另一颜色值(比如黑色),由从肋骨扫描图像检测出的若干肋骨区域形成肋骨二值图像。
肋骨二值图像与肋骨扫描图像一一对应,因此,肋骨二值图像序列与肋骨扫描图像序列是对应的,肋骨扫描图像的相与成为肋骨二值图像的相与。图7是根据一示例性实施例示出的肋骨二值图像。图8是根据图7对应实施例示出的肋骨二值图像。图8所示肋骨二值图像所对应肋骨扫描图像是图7所示肋骨二值图像所对应肋骨扫描图像的邻近图像之一。
图7所示肋骨二值图像(以下称为图像A)与图8所示肋骨二值图像(以下称为图像B)相与,步骤为:先对图像A中的肋骨区域进行标号,例如,从左向右依次标为A-1,A-2,A-3,A-4,A-5,即也对图像B中的肋骨区域进行标号,从左向右依次标为B-1,B-2,B-3,B-4,B-5。A-1即图像A中1号肋骨区域,B-1即图像B中1号肋骨区域。
标号后,将A-1与B-1、B-2、B-3、B-4、B-5分别相与,求出相与结果,即分别求出A-1与B-1、B-2、B-3、B-4、B-5相交的部分所包含的像素数量,根据相交部分的像素数量判断肋骨区域之间是否匹配。
根据相交部分的像素数量,可知A-1与图像B中的1号肋骨区域(B-1)相交部分所包含像素数量较多,因此,B-1是与A-1匹配的,B-2、B-3、B-4、B-5与A-1不匹配。或,将A-1与B-1、B-2、B-3、B-4、B-5的相与结果分别与一指定的像素数量比较,该指定的像素数量是根据经验数据得到的,由肋骨扫描图像的尺寸决定,例如对于标准的CT图像,指定像素数量取100。与A-1相与结果大于该指定像素数量的肋骨区域便与A-1匹配,因此B-1与A-1匹配,B-2、B-3、B-4、B-5则与A-1不匹配。
图像B只是图像A的一张邻近图像,还需将A-1与图像A的其它若干张(比如5张)邻近图像比较,确定其它邻近图像中与A-1匹配的肋骨区域。
步骤155,确定邻近图像中和当前肋骨区域相与结果匹配的肋骨区域,将匹配的肋骨区域和当前肋骨区域标注为位于同一肋骨连通域。
由于肋骨有一定长度,所以在肋骨扫描图像序列中会从一张图像开始出现,之后也会从一张图像开始就不出现了,此外,检测肋骨区域时可能误检或漏检,上述原因都可能导致与图像A直接相邻的图像中没有与A-1匹配的肋骨区域,为此,将A-1与图像A的若干张邻近图像进行肋骨区域相与。
图像A的邻近图像中与A-1匹配的肋骨区域数量大于指定数量时,将与A-1匹配的肋骨区域都标注为与A-1位于同一肋骨连通域,该指定数量是根据经验数据所指定的,取决于所取邻近图像的数量,例如,取6张邻近图像时,该指定数量则取3,既能解决由误检或漏检导致无法检出匹配的肋骨区域的问题,又能防止将不对应于同一肋骨的肋骨区域分配到同一肋骨连通域中。
将当前肋骨扫描图像中的肋骨区域一一分配到对应的肋骨连通域中,分配方法即将相与结果匹配的肋骨区域都分配到同一肋骨连通域中。
当对肋骨扫描图像序列中的肋骨扫描图像都遍历执行了上述操作后,就完成了肋骨扫描图像序列中肋骨连通域的提取。
只是,由于对肋骨扫描图像进行的肋骨区域检测可能出现漏检或误检,所以肋骨连通域的数量不一定与人体的肋骨数量(一般为24根,即左侧12根加右侧12根,小部分人为22根,即左侧11根加右侧11根)一致,其中,可能有的肋骨连通域对应了人体中的其它骨骼,有的肋骨连通域只对应了一根肋骨的一部分。
因此,还需对所得肋骨连通域进行筛选,筛选得到其中的有效肋骨连通域。
图9是根据图4对应实施例示出的步骤170的细节的流程图。如图9所示,步骤170包括以下步骤。
步骤171,对一肋骨连通域,将该肋骨连通域中的肋骨区域数量与一指定数量比较。
为了排除对应于其它骨骼的肋骨连通域,也为了避免将同一肋骨识别成若干根肋骨,需筛除所含肋骨区域数量过少的肋骨连通域,即,筛除可能对应于其它骨骼甚至器官的肋骨连通域,也筛除只对应于一根肋骨的一小部分的肋骨连通域。
筛选方法是遍历从肋骨扫描图像序列中所提取出的肋骨连通域,对当前肋骨连通域,将其所含肋骨区域数量与指定数量比较,该指定数量是根据经验数据所选定的,取决于肋骨扫描图像序列所含肋骨扫描图像的数量。或,将所得肋骨连通域中所含肋骨区域数量较少的肋骨连通域筛除。
步骤173,将肋骨区域数量大于指定数量的肋骨连通域确定为有效肋骨连通域。
从肋骨连通域中筛除所含肋骨区域数量过少的肋骨连通域后,得到有效肋骨连通域,应当理解,有效肋骨连通域所含肋骨区域数量是大于一定数量的,有效肋骨连通域的数量一般是与人体的肋骨数量对应的(22或24)。
步骤175,对有效肋骨连通域中的肋骨区域进行标注。
对肋骨区域的标注是基于对有效肋骨连通域的标注的,对有效肋骨连通域的标注则是基于对有效肋骨连通域的排序。
对有效肋骨连通域进行排序可以得到有效肋骨连通域与肋骨的对应关系,即,筛选出的有效肋骨连通域都对应于人体的左侧还是右侧肋骨,是人体从上向下数(或从下向上数)的第几根肋骨。
图10是根据一示例性实施例示出的步骤175的细节的流程图。如图10所示,步骤175包括以下步骤。
步骤210,由肋骨区域中的像素在图像中的位置,以及肋骨区域所在肋骨扫描图像在肋骨扫描图像序列中的位置,形成该肋骨区域的坐标。
肋骨扫描图像是一像素阵列。假设肋骨扫描图像A中有包括肋骨区域A-1在内的若干肋骨区域,肋骨区域A-1的中心像素位于阵列的横坐标为X1,则将X1作为肋骨区域A-1的X坐标,指示A-1在图像A中位于图像左半部分还是右半部分。
肋骨区域A-1的Z坐标取决于肋骨扫描图像A在肋骨扫描图像序列中的图像序号,假设肋骨扫描图像A的图像序号为n,则A-1的Z坐标Z1与n成正比,肋骨区域A-1的坐标为(X1,Z1)。按上述方法得到肋骨连通域中所含肋骨区域的坐标。
步骤230,根据肋骨连通域中肋骨区域的坐标,取平均生成该肋骨连通域的坐标。
假设肋骨连通域中包括肋骨区域A-1、B-1、C-1,A-1的坐标是(X1,Z1),B-1的坐标是(X2,Z2),C-1的坐标是(X3,Z3),则该肋骨连通域的X、Z坐标分别为按上述方法计算得到有效肋骨连通域的坐标。
步骤250,对有效肋骨连通域,按其坐标对其进行标注。
当有效对有效肋骨连通域,先按X坐标从小到大排序,X坐标较小的肋骨连通域对应人体左侧的肋骨,为左肋骨连通域,X坐标较大的肋骨连通域对应人体右侧的肋骨,为右肋骨连通域。
分别统计左肋骨连通域、右肋骨连通域的数量,当左肋骨连通域、右肋骨连通域的数量都为11或12时,将左肋骨连通域按Z坐标从小到大排序和标号,也将右肋骨连通域按Z坐标从小到大排序和标号。
当左肋骨连通域和/或右肋骨连通域的数量异常时,对左、右肋骨连通域分别按Z坐标排序,排序后比较左、右肋骨连通域的Z坐标,由于人体左、右肋骨为对称分布,通过比较左、右肋骨连通域Z坐标,匹配左、右肋骨连通域,为左、右肋骨连通域进行标号。
之后,根据为肋骨连通域所标序号,对肋骨连通域中的肋骨区域进行标注,例如,肋骨连通域的序号为3,则将该肋骨连通域中的肋骨区域都进行同一标注,指示肋骨区域是与人体第三根肋骨对应的。
图11是根据图4对应实施例示出的一种识别图像中肋骨区域的方法的流程图。如图11所示,在步骤170之后,该方法还包括以下步骤。
步骤310,在肋骨扫描图像显示时,对光标进行追踪。
设备扫描得到的肋骨扫描图像是可以在计算机上显示的,在完成对肋骨区域的标注后,肋骨区域与相应的标注内容关联,当计算机的光标位于肋骨区域中时,会触发相应标注内容的输出。
步骤330,光标位于肋骨区域内时,输出对该肋骨区域标注的内容。
标注内容的输出方式可以是与肋骨区域一同显示,也可以是以语音形式输出,医生可以根据需求选择其中的若干方式,在此不进行限定。医生可以根据计算机输出的标注内容,获知光标所位于肋骨区域所对应的肋骨。
此外,以语音形式输出标注内容时,标注内容的输出完全不会干扰医生对肋骨扫描图像的观察。
以显示方式输出标注内容时,医生即使在噪音较大的环境中也能够获知标注内容,在具体实现中,标注内容以一定比例与肋骨区域一同显示,当肋骨区域被放大时,标注内容也一同放大,使医生在较远距离也能够进行观察。
下述为本申请装置实施例,可以用于执行本申请上述方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
图12是根据一示例性实施例示出的一种识别图像中肋骨区域的装置的框图。如图12所示,所述装置包括:
图像获取模块410,用于获取肋骨扫描图像序列,所述肋骨扫描图像序列包括有序排列的若干张肋骨扫描图像。
肋骨检测模块430,用于通过所构建检测网络检测所述肋骨扫描图像中的肋骨区域。
连通域提取模块450,用于将不同肋骨扫描图像中的所述肋骨区域相与,根据相与结果得到所述肋骨扫描图像序列中的若干肋骨连通域,相与结果匹配的肋骨区域在同一肋骨连通域中。
标注模块470,用于对所述肋骨连通域中的肋骨区域进行标注。
图13是根据图12实施例示出的连通域提取模块的细节的框图。如图13所示,连通域提取模块450包括以下单元。
邻近图像获取单元451,用于遍历肋骨扫描图像序列中的肋骨扫描图像,确定当前肋骨扫描图像在肋骨扫描图像序列中的邻近图像。
相与单元453,用于遍历当前肋骨扫描图像中的肋骨区域,将当前肋骨区域与邻近图像中的肋骨区域相与,得到相与结果。
标注单元455,用于确定邻近图像中和当前肋骨区域相与结果匹配的肋骨区域,将匹配的肋骨区域和当前肋骨区域标注为位于同一肋骨连通域。
图14是根据图12实施例示出的标注模块的细节的框图。如图14所示,标注模块470包括以下单元。
比较单元471,用于对一肋骨连通域,将该肋骨连通域中的肋骨区域数量与一指定数量比较。
筛选单元473,用于将肋骨区域数量大于指定数量的肋骨连通域确定为有效肋骨连通域。
关联单元475,用于对有效肋骨连通域中的肋骨区域进行标注。
在一示例性实施例中,关联单元475具体用于执行以下步骤:
由肋骨区域中的像素在图像中的位置,以及肋骨区域所在肋骨扫描图像在肋骨扫描图像序列中的位置,形成该肋骨区域的坐标;
根据肋骨连通域中肋骨区域的坐标,取平均生成该肋骨连通域的坐标;
对有效肋骨连通域,按其坐标对其进行标注。
在一示例性实施例中,识别图像中肋骨区域的装置还包括以下追踪模块和输出模块。追踪模块用于在肋骨扫描图像显示时,对光标进行追踪。输出模块用于光标位于肋骨区域内时,输出对该肋骨区域标注的内容。
可选的,本申请还提供一种电子设备,该电子设备可以执行如上任一所示的方法的全部或者部分步骤。所述电子设备包括:
处理器;
用于存储处理器可执行指令的存储器;
所述计算机可读指令被所述处理器执行时实现前述方法。
该实施例中处理器执行操作的具体方式已经在前述方法的实施例中进行了详细描述,此处将不做详细阐述说明。
在示例性实施例中,还提供了一种存储介质,该存储介质为计算机可读存储介质,例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质例如包括指令的存储器,上述指令可由装置的处理器执行以完成上述方法。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围执行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (9)
1.一种识别图像中肋骨区域的方法,其特征在于,所述方法包括:
获取肋骨扫描图像序列,所述肋骨扫描图像序列包括有序排列的若干张肋骨扫描图像;
通过所构建检测网络检测所述肋骨扫描图像中的肋骨区域;
遍历所述肋骨扫描图像序列中的所述肋骨扫描图像,确定当前肋骨扫描图像在所述肋骨扫描图像序列中预定数量的邻近图像;所述邻近图像的数量至少为三张;
遍历所述当前肋骨扫描图像中的肋骨区域,将当前肋骨区域与各张所述邻近图像中的肋骨区域相与,得到相与结果;所述相与结果是所述当前肋骨区域和各张所述邻近图像中的肋骨区域相交的部分所包含的像素数量;
确定所述邻近图像中和所述当前肋骨区域相与结果大于指定像素数量的肋骨区域,将相与结果大于指定像素数量的肋骨区域和所述当前肋骨区域标注为位于同一肋骨连通域;所述指定像素数量由所述肋骨扫描图像的尺寸决定;
对所得到的所述肋骨连通域进行筛选得到有效肋骨连通域;
根据所述肋骨区域在所述肋骨扫描图像中的位置,以及所述肋骨区域所在的所述肋骨扫描图像在所述肋骨扫描图像序列中的位置,对所述有效肋骨连通域进行排序,并根据排序结果为所述有效肋骨连通域中的所述肋骨区域进行标注;其中,同一所述有效肋骨连通域中的所述肋骨区域标注同一记号。
2.根据权利要求1所述的方法,其特征在于,所述对所得到的所述肋骨连通域进行筛选得到有效肋骨连通域,包括:
对一肋骨连通域,将该肋骨连通域中的肋骨区域数量与一指定数量比较;
将肋骨区域数量大于指定数量的肋骨连通域确定为有效肋骨连通域。
3.根据权利要求1所述的方法,其特征在于,所述根据所述肋骨区域在所述肋骨扫描图像中的位置,以及所述肋骨区域所在的所述肋骨扫描图像在所述肋骨扫描图像序列中的位置,对所述有效肋骨连通域进行排序,并根据排序结果为所述有效肋骨连通域中的所述肋骨区域进行标注,包括:
由肋骨区域中的像素在图像中的位置,以及肋骨区域所在肋骨扫描图像在肋骨扫描图像序列中的位置,形成该肋骨区域的坐标;
根据肋骨连通域中肋骨区域的坐标,取平均生成该肋骨连通域的坐标;
根据肋骨连通域的坐标对肋骨连通域进行排序,得到排序结果;
根据排序结果对有效肋骨连通域,按其坐标对其进行标注。
4.根据权利要求1所述的方法,其特征在于,所述通过所构建检测网络检测所述肋骨扫描图像中的肋骨区域之前,所述方法还包括:
建立检测网络;
用相应样本数据训练所述检测网络,使所述检测网络能够检测出肋骨扫描图像中的肋骨区域。
5.根据权利要求1所述的方法,其特征在于,所述根据排序结果为所述有效肋骨连通域中的所述肋骨区域进行标注之后,所述方法还包括:
在肋骨扫描图像显示时,对光标进行追踪;
所述光标位于肋骨区域内时,输出对该肋骨区域标注的内容。
6.一种识别图像中肋骨区域的装置,其特征在于,所述装置包括:
图像获取模块,用于获取肋骨扫描图像序列,所述肋骨扫描图像序列包括有序排列的若干张肋骨扫描图像;
肋骨检测模块,用于通过所构建检测网络检测所述肋骨扫描图像中的肋骨区域;
连通域提取模块,用于遍历所述肋骨扫描图像序列中的所述肋骨扫描图像,确定当前肋骨扫描图像在所述肋骨扫描图像序列中预定数量的邻近图像;所述邻近图像的数量至少为三张;遍历所述当前肋骨扫描图像中的肋骨区域,将当前肋骨区域与各张所述邻近图像中的肋骨区域相与,得到相与结果;所述相与结果是所述当前肋骨区域和各张所述邻近图像中的肋骨区域相交的部分所包含的像素数量;确定所述邻近图像中和所述当前肋骨区域相与结果大于指定像素数量的肋骨区域,将相与结果大于指定像素数量的肋骨区域和当前肋骨区域标注为位于同一肋骨连通域;所述指定像素数量由所述肋骨扫描图像的尺寸决定;
标注模块,用于对所得到的所述肋骨连通域进行筛选得到有效肋骨连通域;根据所述肋骨区域在所述肋骨扫描图像中的位置,以及所述肋骨区域所在的所述肋骨扫描图像在所述肋骨扫描图像序列中的位置,对所述有效肋骨连通域进行排序,并根据排序结果为所述有效肋骨连通域中的所述肋骨区域进行标注,其中,同一所述有效肋骨连通域中的所述肋骨区域标注同一记号。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
追踪模块,用于在肋骨扫描图像显示时,对光标进行追踪;
输出模块,用于所述光标位于肋骨区域内时,输出对该肋骨区域标注的内容。
8.一种电子设备,其特征在于,包括:
处理器;以及
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现根据权利要求1至5中任一项所述的方法。
9.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现根据权利要求1至5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810565563.3A CN110555850B (zh) | 2018-06-04 | 2018-06-04 | 识别图像中肋骨区域的方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810565563.3A CN110555850B (zh) | 2018-06-04 | 2018-06-04 | 识别图像中肋骨区域的方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110555850A CN110555850A (zh) | 2019-12-10 |
CN110555850B true CN110555850B (zh) | 2023-11-03 |
Family
ID=68736200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810565563.3A Active CN110555850B (zh) | 2018-06-04 | 2018-06-04 | 识别图像中肋骨区域的方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110555850B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116490130A (zh) * | 2020-11-25 | 2023-07-25 | 松下控股株式会社 | 医学图像的异常检测系统以及异常检测方法 |
CN113763324A (zh) * | 2021-08-02 | 2021-12-07 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像处理方法、计算机可读存储介质、处理器和系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1836253A (zh) * | 2003-08-14 | 2006-09-20 | 美国西门子医疗解决公司 | 用于定位图像中紧凑目标的系统和方法 |
CN101452577A (zh) * | 2008-11-26 | 2009-06-10 | 沈阳东软医疗系统有限公司 | 一种肋骨自动标定的方法及装置 |
CN102663397A (zh) * | 2012-03-21 | 2012-09-12 | 华中科技大学 | 一种小麦出苗的自动检测方法 |
CN103150723A (zh) * | 2013-01-25 | 2013-06-12 | 西安电子科技大学 | 基于形状和椭圆拟合的胃部ct图像淋巴结检测系统及方法 |
CN103839258A (zh) * | 2014-02-13 | 2014-06-04 | 西安交通大学 | 一种二值化激光散斑图像的深度感知方法 |
CN104700062A (zh) * | 2015-03-20 | 2015-06-10 | 中国联合网络通信集团有限公司 | 一种识别二维码的方法及设备 |
CN106683090A (zh) * | 2016-12-31 | 2017-05-17 | 上海联影医疗科技有限公司 | 医学图像中肋骨的定位方法及其系统 |
CN107423730A (zh) * | 2017-09-20 | 2017-12-01 | 湖南师范大学 | 一种基于语义折叠的人体步态行为主动检测识别系统和方法 |
CN107808379A (zh) * | 2017-08-31 | 2018-03-16 | 深圳联影医疗科技有限公司 | 图像处理系统、方法、装置和计算机可读介质 |
-
2018
- 2018-06-04 CN CN201810565563.3A patent/CN110555850B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1836253A (zh) * | 2003-08-14 | 2006-09-20 | 美国西门子医疗解决公司 | 用于定位图像中紧凑目标的系统和方法 |
CN101452577A (zh) * | 2008-11-26 | 2009-06-10 | 沈阳东软医疗系统有限公司 | 一种肋骨自动标定的方法及装置 |
CN102663397A (zh) * | 2012-03-21 | 2012-09-12 | 华中科技大学 | 一种小麦出苗的自动检测方法 |
CN103150723A (zh) * | 2013-01-25 | 2013-06-12 | 西安电子科技大学 | 基于形状和椭圆拟合的胃部ct图像淋巴结检测系统及方法 |
CN103839258A (zh) * | 2014-02-13 | 2014-06-04 | 西安交通大学 | 一种二值化激光散斑图像的深度感知方法 |
CN104700062A (zh) * | 2015-03-20 | 2015-06-10 | 中国联合网络通信集团有限公司 | 一种识别二维码的方法及设备 |
CN106683090A (zh) * | 2016-12-31 | 2017-05-17 | 上海联影医疗科技有限公司 | 医学图像中肋骨的定位方法及其系统 |
CN107808379A (zh) * | 2017-08-31 | 2018-03-16 | 深圳联影医疗科技有限公司 | 图像处理系统、方法、装置和计算机可读介质 |
CN107423730A (zh) * | 2017-09-20 | 2017-12-01 | 湖南师范大学 | 一种基于语义折叠的人体步态行为主动检测识别系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110555850A (zh) | 2019-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110555860B (zh) | 医学图像中肋骨区域标注的方法、电子设备和存储介质 | |
CN108520519B (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
US10846853B2 (en) | Medical image processing apparatus, medical image processing method, and medical image processing program | |
CN110556179B (zh) | 使用深度神经网络标记全脊柱图像的方法和系统 | |
CN111417980A (zh) | 用于椎骨骨折的识别的三维医学图像分析方法和系统 | |
CN110619621B (zh) | 识别图像中肋骨区域的方法、装置、电子设备和存储介质 | |
CN113506294B (zh) | 一种医疗图像评估方法、系统、计算机设备及存储介质 | |
CN110246580B (zh) | 基于神经网络和随机森林的颅侧面影像分析方法和系统 | |
US8948483B2 (en) | Automated contrast enhancement for contouring | |
JP6458166B2 (ja) | 医用画像処理方法及び装置及びシステム及びプログラム | |
US20190392552A1 (en) | Spine image registration method | |
CN110555850B (zh) | 识别图像中肋骨区域的方法、装置、电子设备和存储介质 | |
US8644608B2 (en) | Bone imagery segmentation method and apparatus | |
CN109949288A (zh) | 肿瘤类型确定系统、方法及存储介质 | |
WO2012106580A2 (en) | Methods and apparatus for computer-aided radiological detection and imaging | |
US9672600B2 (en) | Clavicle suppression in radiographic images | |
US11715208B2 (en) | Image segmentation | |
US10307124B2 (en) | Image display device, method, and program for determining common regions in images | |
CN105447870A (zh) | 医学图像中身体组织的提取方法及装置 | |
CN113705807B (zh) | 神经网络的训练装置及方法,消融布针规划装置及方法 | |
EP2535001A1 (en) | Method, a system and a computer program product for registration and identification of diagnostic images | |
CN117015799A (zh) | 检测x射线图像中的异常 | |
US8340384B2 (en) | Method and apparatus for cerebral hemorrhage segmentation | |
US20050281373A1 (en) | Method for the automatic scaling verification of an image, in particular a patient image | |
WO2023020609A1 (en) | Systems and methods for medical imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |