CN111161268A - 图像处理方法、装置、电子设备及计算机存储介质 - Google Patents
图像处理方法、装置、电子设备及计算机存储介质 Download PDFInfo
- Publication number
- CN111161268A CN111161268A CN201911275373.9A CN201911275373A CN111161268A CN 111161268 A CN111161268 A CN 111161268A CN 201911275373 A CN201911275373 A CN 201911275373A CN 111161268 A CN111161268 A CN 111161268A
- Authority
- CN
- China
- Prior art keywords
- image
- rib
- segmentation
- original
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 77
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 112
- 238000000034 method Methods 0.000 claims description 37
- 238000012549 training Methods 0.000 claims description 28
- 238000002601 radiography Methods 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 17
- 238000007781 pre-processing Methods 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 10
- 238000012958 reprocessing Methods 0.000 claims description 10
- 230000009469 supplementation Effects 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 abstract description 7
- 238000003062 neural network model Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 10
- 210000004072 lung Anatomy 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 230000002746 orthostatic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Abstract
本申请提供了一种图像处理方法、装置、电子设备及计算机存储介质，首先获取目标用户的胸片图像；接着，将所述胸片图像输入训练好的分割模型，根据所述训练好的分割模型的输出确定原始肋骨图像；最后，对所述原始肋骨图像进行分割处理，得到目标肋骨图像，所述分割处理用于获取无粘连的肋骨图像。可以将深度学习的神经网络模型与后续处理结合，自动分割出每一根肋骨都独立的目标肋骨图像，提升图像处理的准确性和效率，也为医生提供了便利。
Description
技术领域
本申请涉及医学图像处理领域，特别是一种图像处理方法、装置、电子设备及存储介质。
背景技术
医生通过胸部数字X线摄影(Digital Radiography，DR)图像能有效对肺癌等疾病进行提前诊断，但已知的胸片图像通常采用正位拍摄，导致医生对疾病的判读容易受到肋骨等骨组织的干扰，因此对胸片图像中的肋骨进行准确分割成为非常重要的工作。
现有的肋骨分割方案主要采用传统的图像处理算法，例如先分割肺野以去除肺区外的信息干扰，再根据肋骨与肺区内不同组织的对比度差异进行固定阈值分割，并定位肋骨位置，最后按照肋骨形态进行曲线拟合。
上述现有方案过于依赖肺野分割结果，使得分布于肺区外的部分肋骨容易被去除；由于患者的体征各不相同，以及医生对设备操作时的参数设置差异，使得胸片图像中像素值分布差异大，选择固定阈值分割难以保证图像处理算法的鲁棒性；由于不同患病的肋骨分布和同一患者各肋骨形态均不相同，采用相同的曲线拟合参数也难以保证图像处理算法的鲁棒性。
发明内容
基于上述问题，本申请提出了一种图像处理方法、装置、电子设备及计算机存储介质，可以基于深度学习的神经网络模型和分割处理得到无粘连的肋骨图像，大大提升了图像处理的准确性和效率。
本申请实施例第一方面提供了一种图像处理方法，包括：
获取目标用户的胸片图像；
将所述胸片图像输入训练好的分割模型，根据所述训练好的分割模型的输出确定原始肋骨图像；
对所述原始肋骨图像进行分割处理，得到目标肋骨图像，所述分割处理用于获取无粘连的肋骨图像。
本申请实施例第二方面提供了一种图像处理装置，所述装置包括处理单元和通信单元，所述处理单元用于：
获取目标用户的胸片图像；
将所述胸片图像输入训练好的分割模型，根据所述训练好的分割模型的输出确定原始肋骨图像；
对所述原始肋骨图像进行分割处理，得到目标肋骨图像，所述分割处理用于获取无粘连的肋骨图像。
本申请实施例第三方面提供了一种电子设备，包括处理器、存储器，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如本申请实施例第一方面任一方项所描述的步骤的指令。
本申请实施例第四方面提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如本申请实施例第一方面任一项所描述的方法。
本申请实施例第五方面提供了一种计算机产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
通过实施上述申请实施例，可以得到以下有益效果：
上述图像处理方法、装置、电子设备及计算机存储介质，首先获取目标用户的胸片图像；接着，将所述胸片图像输入训练好的分割模型，根据所述训练好的分割模型的输出确定原始肋骨图像；最后，对所述原始肋骨图像进行分割处理，得到目标肋骨图像，所述分割处理用于获取无粘连的肋骨图像。可以将深度学习的神经网络模型与后续处理结合，自动分割出每一根肋骨都独立的目标肋骨图像，提升图像处理的准确性和效率，也为医生提供了便利。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像处理方法的系统构架图；
图2为本申请实施例提供的一种图像处理方法的流程示意图；
图3为本申请实施例提供的一种语义分割模型(DeepLab-V3+)的结构示意图；
图4a为本申请实施例提供的虚警区域和断裂区域的示意图；
图4b为基于图4a的预处理步骤的流程示意图；
图5a为本申请实施例提供的骨架提取图像的结构示意图；
图5b为本申请实施例提供的一条肋骨分割线的结构示意图；
图6a为本申请实施例提供的一种基于图5a的取反步骤的流程示意图；
图6b为本申请实施例提供的一种确定肋骨分割线步骤的流程示意图；
图6c为本申请实施例提供的一种肋骨分割图像的结构示意图；
图6d为本申请实施例提供的一种目标肋骨图像的结构示意图；
图7为本申请实施例提供的另一种图像处理方法；
图8为本申请实施例提供的一种电子设备的结构示意图；
图9为本申请实施例提供的一种图像处理装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以是具备通信能力的电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。
下面结合图1对本申请实施例中的图像处理方法的系统架构作详细说明，图1为本申请实施例提供的图像处理方法的系统架构图，包括医学影像获取装置110、服务器120以及图像输出装置130，其中上述医学影像获取装置110可以采用数字化成像(DigitalRadiography，DR)技术，采用DR技术可以高效地获取到清晰的便于处理的胸片图像，且上述医学影像获取装置110与服务器120有线或无线连接，上述服务器120内置深度学习的分割模型及相关处理算法，可以在获取到上述医学影像获取装置110发送的胸片图像后对上述胸片图像进行处理得到目标肋骨图像，上述目标肋骨图像表示每根肋骨都独立显示的且无粘连的肋骨图像，上述图像输出装置130可以为具备显示功能的屏幕等装置，同样与上述服务器120有线或无线连接，用于显示上述目标肋骨图像，便于医生根据该目标肋骨图像进行诊断。
需要说明的是，上述系统架构进行分开描述并不代表对其实际结构的限定，上述系统架构可以为同一电子设备也可以为多个电子设备，在此不具体限定。
可见，通过使用上述系统架构，可以将深度学习的神经网络模型与后续处理结合，自动分割出每一根肋骨都独立的目标肋骨图像，提升图像处理的准确性和效率，也为医生提供了便利。
下面结合图2对本申请实施例中的一种图像处理方法进行详细说明，图2为本申请实施例提供的一种图像处理方法的流程示意图，具体包括以下步骤：
步骤201，获取目标用户的胸片图像。
其中，上述胸片图像为目标用户的胸部区域的X光图像，上述目标用户即为进行检测的患者，可以通过多种医学影像获取装置获取到上述胸片图像，上述医学影像获取装置可以采用DR技术，在此对上述胸片图像的格式不做具体限定。
通过获取目标用户的胸片图像，可以直接对胸片图像进行后续处理，提升图像处理的效率。
步骤202，将所述胸片图像输入训练好的分割模型，根据所述训练好的分割模型的输出确定原始肋骨图像。
其中，上述训练好的分割模型可以识别胸片图像中的肋骨区域，并输出原始肋骨图像，上述训练好的分割模型可以为语义分割模型，可选的，如图3所示，图3为本申请实施例提供的一种语义分割模型(DeepLab-V3+)的结构示意图，包括编码模块和译码模块，上述编码模块采用空洞卷积，可以将胸片图像的低级特征与高级特征都输入译码模块，由译码模块合并上述低级特征和高级特征，并输出上述原始肋骨图像，由于该DeepLab-V3+模型为现有模型结构，在此不再赘述。
通过将所述胸片图像输入训练好的分割模型，根据所述训练好的分割模型的输出确定原始肋骨图像，可以基于空洞卷积、多采样率扩张卷积、多接收野卷积或池化等步骤，提高原始肋骨图像的精度，降低后续分割处理步骤的难度。
步骤203，对所述原始肋骨图像进行分割处理，得到目标肋骨图像。
其中，上述分割处理用于获取目标肋骨图像，即无粘连的肋骨图像，上述无粘连的肋骨图像表示每根肋骨都独立显示的肋骨图像，上述分割处理可以包括预处理和再处理。
首先，对上述原始肋骨图像进行预处理，得到处理后的原始肋骨图像，上述预处理包括虚警抑制和断裂补充；其中，虚警表示本不存在却显示在上述原始肋骨图像中的部分，虚警抑制即表示识别出上述原始肋骨图像中的虚警并删除的处理方式，上述断裂补充表示对上述原始肋骨图像中的肋骨不完整区域进行曲线拟合，得到完整的肋骨的处理方式。
具体的，首先根据上述原始肋骨图像确定预设面积范围，上述预设面积阈值包括最大面积阈值和最小面积阈值，将小于上述最小面积阈值的部分认定为虚警区域，将大于上述最大面积阈值的部分认定为完整的肋骨，将大于上述最小面积阈值且小于上述最大面积阈值的部分认定为断裂区域，如图4a所示，图4a为本申请实施例提供的虚警区域和断裂区域的示意图；接着，保留大于上述最大面积阈值的部分，并直接将上述虚警区域删除，然后，断裂区域存在两种情况：
第一种，断裂区域只有一个，则直接根据该断裂区域的全部像素点确定拟合曲线，然后根据拟合曲线将该断裂区域拟合为一根完整的肋骨图像；第二种，断裂区域存在多个，那么需要先判断多个断裂区域中是否存在为同一肋骨的断裂区域，可以基于角度和距离来进行判断，最后根据为同一肋骨的断裂区域的全部像素点和不为同一肋骨的断裂区域的全部像素点来确定一条或多条拟合曲线，同样将上述多个断裂区域拟合为一根或多根完整的肋骨图像。
上述仅仅分别描述了虚警抑制和断裂补充各自的处理方式，为更清楚地说明该预处理的步骤，下面结合图4b对上述预处理过程进行详细说明，图4b为基于图4a的预处理步骤的流程示意图，在确定了原始肋骨图像中的虚警区域和断裂区域之后，将全部虚警区域删除，并将断裂区域和大于上述最大面积阈值的部分进行拆分处理，上述拆分处理并不改变断裂区域和大于最大面积阈值的部分的初始位置，可以基于角度和距离判断出此时三个断裂区域为同一肋骨，此时可以根据上述三个断裂区域的全部像素点确定一条拟合曲线，再根据该条拟合曲线生成一根完整的肋骨图像，最后将上述的一根完整的肋骨图像与上述最大面积阈值的部分进行合并得到处理后的原始肋骨图像。
可见，上述预处理可以排除虚警区域和断裂区域等干扰因素，提高得到的肋骨图像的准确性的同时，可以提高后续处理的便捷度和效率。
最后，对处理后的原始肋骨图像进行再处理，可以得到目标肋骨图像。
其中，可以先对上述处理后的原始肋骨图像进行骨架提取，得到骨架提取图像，该骨架提取图像本质为细化的二值图像，上述骨架提取为现有技术，在此不再赘述，对上述骨架提取图像进行端点检测可以确定上述处理后的原始肋骨图像中的粘连区域图像和非粘连区域图像，结合图5a对上述端点检测进行具体说明，图5a为本申请实施例提供的骨架提取图像的结构示意图，该骨架提取图像是根据图4b中得到的处理后的原始肋骨图像来确定的，相互之间无断裂相连的端点构成一个连通域，可以看出，图5a中存在四个连通域，检测每个连通域中每个端点的连接度，上述连接度表示该端点与几个其他端点直接相连，如该端点只与一个其余端点直接相连，则确定该端点的连接度为1，以此类推可以确定连接度为2、3等的端点，获取每个端点的连接度之后，若整个连通域不存在连接度为3及以上的端点，则可以说明该连通域为一条线，如图5a中最下方的两个连通域只存在连接度为1的端点，最下方的两个连通域可以认定为一条直线，左上方的连通域和右上方的连通域都存在连接度为3的端点，所以可以认定左上方的连通域和右上方的连通域对应的部分为上述处理后的原始肋骨图像的粘连区域图像、左下方的连通域和右下方的连通域对应的部分为非粘连区域图像。上述粘连区域图像表示肋骨粘连图像，非粘连区域图像表示单独的肋骨的图像。
之后，可以将上述处理后的原始肋骨图像拆分为非粘连区域图像和肋骨粘连图像，单独对上述肋骨粘连图像进行处理，同样，上述拆分不改变上述肋骨粘连图像在原图中的位置关系，将上述肋骨粘连图像中连接度为1的端点所在侧定义为内侧，将内侧所有连接度为1的端点按照上下位置关系依次用线连接，每两个肋骨会围成一个闭合区域，此时可以通过取反得到每个闭合区域构成的肋骨取反图像，需要说明的是，上述取反删除了面积最大的背景区域，可以得到各自独立的闭合区域构成的肋骨取反图像；
接着，再对上述肋骨取反图像进行骨架提取，可以得到取反的骨架提取图像，该取反的骨架提取图像因为是根据各自独立的闭合区域构成的肋骨取反图像来确定的，所以该取反的骨架提取图像每个端点的连接度都为1，基于每个取反连通域的两个端点可以确定肋骨分割线，上述肋骨分割线可以为多条，用于将上述肋骨粘连图像分割为肋骨分割图像，上述肋骨分割图像中每根肋骨各自独立，具体的，结合图5b对一条肋骨分割线的确定步骤进行详细说明，图5b为本申请实施例提供的一条肋骨分割线的结构示意图，当一个取反连通域的两个端点坐标分别为(x_left，y_left)、(x_right，y_right)，且该取反连通域的曲线为F(x)＝ax2+b*x+c时，可以获取上述肋骨粘连图像的粘连点坐标x，当x＜x_left时，肋骨分割线为直线Y＝F(x_left)，当X＞X_right时，肋骨分割线为Y＝F(x_right)；当x_left＜＝x＜＝x_right时，肋骨分割线为曲线Y＝F(x)。
最后，根据每条肋骨分割线对上述肋骨粘连图像进行分割得到肋骨分割图像，具体的，可以将肋骨分割线的像素值和肋骨粘连图像的像素值设置为统一数值，避免分割出现误差。将上述肋骨分割图像和非粘连区域图像进行合并即可得到上述目标肋骨图像。
为进一步说明再处理的步骤，进行举例说明，图6a为本申请实施例提供的一种基于图5a的取反步骤的流程示意图，由于此时处理后的原始肋骨图像中的粘连区域图像的左右肋骨都存在粘连，所以可以将上述粘连区域图像拆分为左肋骨粘连图像和右肋骨粘连图像进行分别处理，同理，上述拆分不改变上述左肋骨粘连图像和上述右肋骨粘连图像在原图中的位置，将上述左肋骨粘连图像和右肋骨粘连图像中连接度为1的端点所在侧定义为内侧，分别将各自的内侧的所有连接度为1的端点按照上下位置关系依次用线连接，每两个肋骨会围成一个闭合区域，因为二值图像的0值表示黑色，1值表示白色，此时可以通过像素取反得到每个闭合区域构成的肋骨取反图像，需要说明的是，上述取反删除了面积最大的背景区域，可以得到各自独立的闭合区域构成的左肋骨取反图像和右肋骨取反图像；
接着，如图6b所示，图6b为本申请实施例提供的一种确定肋骨分割线步骤的流程示意图，对上述左肋骨取反图像和右肋骨取反图像进行骨架提取，可以得到取反的左骨架提取图像和取反的右骨架提取图像，上述取反的左骨架提取图像和取反的右骨架提取图像因为是根据各自独立的闭合区域构成的肋骨取反图像来确定的，所以上述取反的左骨架提取图像和取反的右骨架提取图像每个端点的连接度都为1，基于每个取反连通域的两个端点和全部像素点进行曲线拟合可以确定左肋骨分割线和右肋骨分割线；
最后，如图6c所示，图6c为本申请实施例提供的一种肋骨分割图像的结构示意图，根据图6b中的左肋骨分割线对左肋骨粘连图像进行分割可以得到左肋骨分割图像，根据图6b中的右肋骨分割线对右肋骨粘连图像进行分割可以得到右肋骨分割图像，将上述左肋骨分割图像、右肋骨分割图像和上述非粘连区域图像进行整合，可以得到如图6d所示的目标肋骨图像。
通过上述方法步骤，可以将深度学习的神经网络模型与后续处理结合，自动分割出每一根肋骨都独立的目标肋骨图像，提升图像处理的准确性和效率，也为医生提供了便利。
下面结合图7对本申请实施例中的另一种图像处理方法进行说明，图7为本申请实施例提供的另一种图像处理方法，具体包括以下步骤：
步骤701，将训练图像数据输入基础语义分割模型，根据所述基础语义分割模型的输出确定训练肋骨图像。
其中，上述训练图像数据可以来源于医院的数据库，并且是经过标注的胸片图像，上述基础语义分割模型可以为基础的DeepLab-V3+模型，上述训练肋骨图像为上述基础语音分割图像输出的图像。
可选的，可以将原始的胸片图像数据进行缩放，如缩放到1024*1024大小，并进行二值化得到上述训练图像数据，上述基础语义分割模型可以输出二值化的缩放后的训练肋骨图像。
通过将缩放后的训练图像数据输入基础语义分割模型，根据所述基础语义分割模型的输出确定训练肋骨图像，可以基于训练数据高效地训练上述基础语义分割模型。
步骤702，获取所述训练肋骨图像与所述训练图像数据对应的标准肋骨图像的重合度。
其中，上述标准肋骨图像为上述训练图像数据对应的正确结果，可以通过计算Dice系数和交叉熵损失函数确定上述训练肋骨图像与上述标准肋骨图像的重合度，上述重合度越高表示上述基础语义分割模型输出的结果越准确。
其中，通过获取所述训练肋骨图像与所述训练图像数据对应的标准肋骨图像的重合度，可以得到准确的训练进度。
步骤703，根据所述重合度更新所述基础语义分割模型，得到训练好的分割模型。
步骤704，获取目标用户的胸片图像。
步骤705，将所述胸片图像输入训练好的分割模型，根据所述训练好的分割模型的输出确定原始肋骨图像。
步骤706，对所述原始肋骨图像进行分割处理，得到目标肋骨图像，所述分割处理用于获取无粘连的肋骨图像。
上述未详细说明的部分参见图2中的部分或全部方法的步骤，在此不再赘述。
通过上述步骤，可以将深度学习的神经网络模型与后续处理结合，自动分割出每一根肋骨都独立的目标肋骨图像，提升图像处理的准确性和效率，也为医生提供了便利。
下面结合图8对本申请实施例中一种电子设备800进行说明，图8为本申请实施例提供的一种电子设备800的结构示意图，包括应用处理器801、通信接口802和存储器803，所述应用处理器801、通信接口802和存储器803通过总线804相互连接，总线804可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。总线804可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中，所述存储器803用于存储计算机程序，所述计算机程序包括程序指令，所述应用处理器801被配置用于调用所述程序指令，执行以下步骤的方法：
获取目标用户的胸片图像；
将所述胸片图像输入训练好的分割模型，根据所述训练好的分割模型的输出确定原始肋骨图像；
对所述原始肋骨图像进行分割处理，得到目标肋骨图像，所述分割处理用于获取无粘连的肋骨图像。
在一个可能的示例中，在所述对所述原始肋骨图像进行分割处理，得到目标肋骨图像方面，所述程序中的指令具体用于执行以下操作：
对所述原始肋骨图像进行预处理，得到处理后的原始肋骨图像，所述预处理包括虚警抑制和断裂补充；
对所述处理后的原始肋骨图像进行再处理，得到所述目标肋骨图像。
在一个可能的示例中，在所述对所述原始肋骨图像进行预处理，得到处理后的原始肋骨图像方面，所述程序中的指令具体用于执行以下操作：
获取所述原始肋骨图像的预设面积范围，所述预设面积阈值包括最大面积阈值和最小面积阈值；
根据所述最小面积阈值确定所述原始肋骨图像的虚警区域；
根据所述最大面积阈值和所述最小面积阈值确定所述原始肋骨图像的断裂区域；
根据所述虚警区域和所述断裂区域确定所述处理后的原始肋骨图像。
在一个可能的示例中，在所述根据所述虚警区域和所述断裂区域确定所述处理后的原始肋骨图像方面，所述程序中的指令具体用于执行以下操作：
删除所述虚警区域；
将为同一肋骨的所述断裂区域进行曲线拟合，以及，将不为同一肋骨的所述断裂区域的分别进行曲线拟合。
在一个可能的示例中，在所述对所述处理后的原始肋骨图像进行再处理，得到所述目标肋骨图像方面，所述程序中的指令具体用于执行以下操作：
通过骨架提取将所述处理后的原始肋骨图像拆分为粘连区域图像和非粘连区域图像，所述粘连区域图像包括肋骨粘连图像；
对所述肋骨粘连图像进行处理得到肋骨分割图像；
根据所述非粘连区域图像、所述肋骨分割图像确定所述目标肋骨图像。
在一个可能的示例中，在所述对所述肋骨粘连图像进行处理得到肋骨分割图像方面，所述程序中的指令具体用于执行以下操作：
对所述肋骨粘连图像进行取反确定肋骨取反图像；
通过骨架提取确定所述肋骨取反图像对应的肋骨分割线；
根据所述肋骨分割线分割所述肋骨粘连图像得到所述肋骨分割图像。
在一个可能的示例中，在所述获取目标用户的胸片图像之前方面，所述程序中的指令具体还用于执行以下操作：
将训练图像数据输入基础语义分割模型，根据所述基础语义分割模型的输出确定训练肋骨图像；
获取所述训练肋骨图像与所述训练图像数据对应的标准肋骨图像的重合度；
根据所述重合度更新所述基础语义分割模型，得到所述训练好的分割模型。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图9是本申请实施例提供的一种图像处理装置900的功能单元组成框图。所述图像处理装置900应用于电子设备，包括处理单元901、通信单元902和存储单元903，其中，所述处理单元901，用于执行如上述方法实施例中的任一步骤，且在执行诸如发送等数据传输时，可选择的调用所述通信单元902来完成相应操作。下面进行详细说明。
所述处理单元901，用于获取目标用户的胸片图像；
将所述胸片图像输入训练好的分割模型，根据所述训练好的分割模型的输出确定原始肋骨图像；
对所述原始肋骨图像进行分割处理，得到目标肋骨图像，所述分割处理用于获取无粘连的肋骨图像。
在一个可能的示例中，在所述对所述原始肋骨图像进行分割处理，得到目标肋骨图像方面，所述处理单元901具体用于：
对所述原始肋骨图像进行预处理，得到处理后的原始肋骨图像，所述预处理包括虚警抑制和断裂补充；
对所述处理后的原始肋骨图像进行再处理，得到所述目标肋骨图像。
在一个可能的示例中，在所述对所述原始肋骨图像进行预处理，得到处理后的原始肋骨图像方面，所述处理单元901具体用于：
获取所述原始肋骨图像的预设面积范围，所述预设面积阈值包括最大面积阈值和最小面积阈值；
根据所述最小面积阈值确定所述原始肋骨图像的虚警区域；
根据所述最大面积阈值和所述最小面积阈值确定所述原始肋骨图像的断裂区域；
根据所述虚警区域和所述断裂区域确定所述处理后的原始肋骨图像。
在一个可能的示例中，在所述根据所述虚警区域和所述断裂区域确定所述处理后的原始肋骨图像方面，所述处理单元901具体用于：
删除所述虚警区域；
将为同一肋骨的所述断裂区域进行曲线拟合，以及，将不为同一肋骨的所述断裂区域的分别进行曲线拟合。
在一个可能的示例中，在所述对所述处理后的原始肋骨图像进行再处理，得到所述目标肋骨图像方面，所述处理单元901具体用于：
通过骨架提取将所述处理后的原始肋骨图像拆分为粘连区域图像和非粘连区域图像，所述粘连区域图像包括肋骨粘连图像；
对所述肋骨粘连图像进行处理得到肋骨分割图像；
根据所述非粘连区域图像、所述肋骨分割图像确定所述目标肋骨图像。
在一个可能的示例中，在所述对所述肋骨粘连图像进行处理得到肋骨分割图像方面，所述处理单元901具体用于：
对所述肋骨粘连图像进行取反确定肋骨取反图像；
通过骨架提取确定所述肋骨取反图像对应的肋骨分割线；
根据所述肋骨分割线分割所述肋骨粘连图像得到所述肋骨分割图像。
在一个可能的示例中，在所述获取目标用户的胸片图像之前方面，所述处理单元901还具体用于：
将训练图像数据输入基础语义分割模型，根据所述基础语义分割模型的输出确定训练肋骨图像；
获取所述训练肋骨图像与所述训练图像数据对应的标准肋骨图像的重合度；
根据所述重合度更新所述基础语义分割模型，得到所述训练好的分割模型。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取目标用户的胸片图像；
将所述胸片图像输入训练好的分割模型，根据所述训练好的分割模型的输出确定原始肋骨图像；
对所述原始肋骨图像进行分割处理，得到目标肋骨图像，所述分割处理用于获取无粘连的肋骨图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述原始肋骨图像进行分割处理，得到目标肋骨图像，包括：
对所述原始肋骨图像进行预处理，得到处理后的原始肋骨图像，所述预处理包括虚警抑制和断裂补充；
对所述处理后的原始肋骨图像进行再处理，得到所述目标肋骨图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述原始肋骨图像进行预处理，得到处理后的原始肋骨图像，包括：
获取所述原始肋骨图像的预设面积范围，所述预设面积阈值包括最大面积阈值和最小面积阈值；
根据所述最小面积阈值确定所述原始肋骨图像的虚警区域；
根据所述最大面积阈值和所述最小面积阈值确定所述原始肋骨图像的断裂区域；
根据所述虚警区域和所述断裂区域确定所述处理后的原始肋骨图像。
4.根据权利要求3所述的方法，其特征在于，所述根据所述虚警区域和所述断裂区域确定所述处理后的原始肋骨图像，包括：
删除所述虚警区域；
将为同一肋骨的所述断裂区域进行曲线拟合，以及，将不为同一肋骨的所述断裂区域的分别进行曲线拟合。
5.根据权利要求2所述的方法，其特征在于，所述对所述处理后的原始肋骨图像进行再处理，得到所述目标肋骨图像，包括：
通过骨架提取将所述处理后的原始肋骨图像拆分为粘连区域图像和非粘连区域图像，所述粘连区域图像包括肋骨粘连图像；
对所述肋骨粘连图像进行处理得到肋骨分割图像；
根据所述非粘连区域图像、所述肋骨分割图像确定所述目标肋骨图像。
6.根据权利要求5所述的方法，其特征在于，所述对所述肋骨粘连图像进行处理得到肋骨分割图像，包括：
对所述肋骨粘连图像进行取反确定肋骨取反图像；
通过骨架提取确定所述肋骨取反图像对应的肋骨分割线；
根据所述肋骨分割线分割所述肋骨粘连图像得到所述肋骨分割图像。
7.根据权利要求1所述的方法，其特征在于，所述获取目标用户的胸片图像之前，所述方法还包括：
将训练图像数据输入基础语义分割模型，根据所述基础语义分割模型的输出确定训练肋骨图像；
获取所述训练肋骨图像与所述训练图像数据对应的标准肋骨图像的重合度；
根据所述重合度更新所述基础语义分割模型，得到所述训练好的分割模型。
8.一种图像处理装置，其特征在于，所述装置包括处理单元和通信单元，所述处理单元用于：
获取目标用户的胸片图像；
将所述胸片图像输入训练好的分割模型，根据所述训练好的分割模型的输出确定原始肋骨图像；
对所述原始肋骨图像进行分割处理，得到目标肋骨图像，所述分割处理用于获取无粘连的肋骨图像。
9.一种电子设备，其特征在于，包括应用处理器、存储器，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1～7任一项所述的方法中的步骤的指令。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1～7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911275373.9A CN111161268A (zh) | 2019-12-12 | 2019-12-12 | 图像处理方法、装置、电子设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911275373.9A CN111161268A (zh) | 2019-12-12 | 2019-12-12 | 图像处理方法、装置、电子设备及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111161268A true CN111161268A (zh) | 2020-05-15 |
Family
ID=70556845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911275373.9A Pending CN111161268A (zh) | 2019-12-12 | 2019-12-12 | 图像处理方法、装置、电子设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111161268A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111915620A (zh) * | 2020-06-19 | 2020-11-10 | 杭州深睿博联科技有限公司 | 一种ct肋骨分割方法及装置 |
| CN113255762A (zh) * | 2021-05-20 | 2021-08-13 | 推想医疗科技股份有限公司 | 图像处理的方法及装置 |
| CN116563647A (zh) * | 2023-07-05 | 2023-08-08 | 深圳市眼科医院(深圳市眼病防治研究所) | 年龄相关性黄斑病变图像分类方法及装置 |
| CN117689683A (zh) * | 2024-02-01 | 2024-03-12 | 江苏一影医疗设备有限公司 | 一种双腿膝关节运动状态图像处理方法、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1875378A (zh) * | 2003-11-12 | 2006-12-06 | 英国电讯有限公司 | 图像中的对象检测 |
| CN102298700A (zh) * | 2011-06-09 | 2011-12-28 | 华东师范大学 | 一种骨髓病理图像中细胞识别与定位方法 |
| CN105678746A (zh) * | 2015-12-30 | 2016-06-15 | 上海联影医疗科技有限公司 | 一种医学图像中肝脏范围的定位方法及装置 |
| CN106296664A (zh) * | 2016-07-30 | 2017-01-04 | 上海联影医疗科技有限公司 | 血管提取方法 |
| CN107038692A (zh) * | 2017-04-16 | 2017-08-11 | 南方医科大学 | 基于小波分解和卷积神经网络的x线胸片骨抑制处理方法 |
| CN108711177A (zh) * | 2018-05-15 | 2018-10-26 | 南方医科大学口腔医院 | 一种口腔cbct重建后体数据牙弓线快速自动提取方法 |
| CN109859233A (zh) * | 2018-12-28 | 2019-06-07 | 上海联影智能医疗科技有限公司 | 图像处理、图像处理模型的训练方法及系统 |
-
2019
- 2019-12-12 CN CN201911275373.9A patent/CN111161268A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1875378A (zh) * | 2003-11-12 | 2006-12-06 | 英国电讯有限公司 | 图像中的对象检测 |
| CN102298700A (zh) * | 2011-06-09 | 2011-12-28 | 华东师范大学 | 一种骨髓病理图像中细胞识别与定位方法 |
| CN105678746A (zh) * | 2015-12-30 | 2016-06-15 | 上海联影医疗科技有限公司 | 一种医学图像中肝脏范围的定位方法及装置 |
| CN106296664A (zh) * | 2016-07-30 | 2017-01-04 | 上海联影医疗科技有限公司 | 血管提取方法 |
| CN107038692A (zh) * | 2017-04-16 | 2017-08-11 | 南方医科大学 | 基于小波分解和卷积神经网络的x线胸片骨抑制处理方法 |
| CN108711177A (zh) * | 2018-05-15 | 2018-10-26 | 南方医科大学口腔医院 | 一种口腔cbct重建后体数据牙弓线快速自动提取方法 |
| CN109859233A (zh) * | 2018-12-28 | 2019-06-07 | 上海联影智能医疗科技有限公司 | 图像处理、图像处理模型的训练方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| ZHANG LI ET AL: "《Automatic Rib Segmentation in Chest CT Volume Data》", 《WEB OF SCIENCE》, 16 August 2012 (2012-08-16) * |
| 方忠玉: "《基于骨架的物体分离算法研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2016 * |
| 赵凯: "《医学影像中骨组织定量分析关键技术研究与应用》", no. 07, pages 138 - 60 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111915620A (zh) * | 2020-06-19 | 2020-11-10 | 杭州深睿博联科技有限公司 | 一种ct肋骨分割方法及装置 |
| CN111915620B (zh) * | 2020-06-19 | 2024-04-09 | 杭州深睿博联科技有限公司 | 一种ct肋骨分割方法及装置 |
| CN113255762A (zh) * | 2021-05-20 | 2021-08-13 | 推想医疗科技股份有限公司 | 图像处理的方法及装置 |
| CN116563647A (zh) * | 2023-07-05 | 2023-08-08 | 深圳市眼科医院(深圳市眼病防治研究所) | 年龄相关性黄斑病变图像分类方法及装置 |
| CN116563647B (zh) * | 2023-07-05 | 2023-09-12 | 深圳市眼科医院(深圳市眼病防治研究所) | 年龄相关性黄斑病变图像分类方法及装置 |
| CN117689683A (zh) * | 2024-02-01 | 2024-03-12 | 江苏一影医疗设备有限公司 | 一种双腿膝关节运动状态图像处理方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111161268A (zh) | 图像处理方法、装置、电子设备及计算机存储介质 | |
| CN110874594B (zh) | 基于语义分割网络的人体外表损伤检测方法及相关设备 | |
| US11488302B2 (en) | Object recognition method and device, and storage medium | |
| CN111161275A (zh) | 医学图像中目标对象的分割方法、装置和电子设备 | |
| CN109785311B (zh) | 一种疾病诊断装置、电子设备及存储介质 | |
| US11501431B2 (en) | Image processing method and apparatus and neural network model training method | |
| CN109859217B (zh) | 人脸图像中毛孔区域的分割方法及计算设备 | |
| CN111899268A (zh) | 图像分割方法及装置、电子设备和存储介质 | |
| CN110009656B (zh) | 目标对象的确定方法、装置、存储介质及电子装置 | |
| CN111160309A (zh) | 一种图像处理方法和相关设备 | |
| CN110613417A (zh) | 一种输出上消化内镜操作信息的方法、设备及存储介质 | |
| CN113160153A (zh) | 一种基于深度学习技术的肺结节筛查方法及筛查系统 | |
| Pushparaj et al. | Dental radiographs and photographs in human forensic identification | |
| CN115601811A (zh) | 面部痤疮的检测方法和装置 | |
| CN109241930B (zh) | 用于处理眉部图像的方法和装置 | |
| CN113888566B (zh) | 目标轮廓曲线确定方法、装置、电子设备以及存储介质 | |
| CN114283110A (zh) | 用于医学图像的图像处理方法、装置、设备及存储介质 | |
| US20160217564A1 (en) | Pacs viewer and a method for identifying patient orientation | |
| JP2022548453A (ja) | 画像分割方法及び装置、電子デバイス並びに記憶媒体 | |
| CN114049674A (zh) | 一种三维人脸重建方法、装置及存储介质 | |
| CN113012144A (zh) | 一种肺部肿瘤的自动勾画方法、勾画系统、计算设备和存储介质 | |
| CN116721143B (zh) | 3d医学图像的深度信息处理装置及方法 | |
| CN113744288B (zh) | 用于生成经标注的样本图像的方法、设备和介质 | |
| CN116523914B (zh) | 一种动脉瘤分类识别装置、方法、设备、存储介质 | |
| CN113487575B (zh) | 用于训练医学影像检测模型的方法及装置、设备、可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |