CN112435269A - 一种基于Faster-RCNN的桡骨远端骨折图像处理方法 - Google Patents

一种基于Faster-RCNN的桡骨远端骨折图像处理方法 Download PDF

Info

Publication number
CN112435269A
CN112435269A CN202011387794.3A CN202011387794A CN112435269A CN 112435269 A CN112435269 A CN 112435269A CN 202011387794 A CN202011387794 A CN 202011387794A CN 112435269 A CN112435269 A CN 112435269A
Authority
CN
China
Prior art keywords
image
fracture
distal radius
rcnn
processing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011387794.3A
Other languages
English (en)
Inventor
杨锋
曹慧
张俊忠
魏德健
刘静
丛日坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Traditional Chinese Medicine
Original Assignee
Shandong University of Traditional Chinese Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Traditional Chinese Medicine filed Critical Shandong University of Traditional Chinese Medicine
Priority to CN202011387794.3A priority Critical patent/CN112435269A/zh
Publication of CN112435269A publication Critical patent/CN112435269A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/033Recognition of patterns in medical or anatomical images of skeletal patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

为了使普通计算机能够完成对JPEG格式桡骨远端骨折X射线图像的分割任务,改进原始的目标检测算法,优化骨折图像,本发明提出一种基于Faster‑RCNN的桡骨远端骨折图像处理方法,对待处理的桡骨远端骨折X射线图像,进行预处理,利用LabelImg标注工具对桡骨远端骨折区域进行标注,选取Faster‑RCNN作为图像分割工具,利用Faster‑RCNN进行目标检测,输出获取的桡骨远端骨折感兴趣区域,从而方便将分割出的桡骨远端骨折感兴趣区域输入分类器。

Description

一种基于Faster-RCNN的桡骨远端骨折图像处理方法
技术领域
本发明涉及骨折影像的计算机辅助领域,更具体涉及一种基于Faster-RCNN的桡骨远端骨折图像处理方法。
背景技术
临床桡骨远端骨折术前的骨折检查多为拍摄X射线图像,其只能得到整个桡骨叠加在一起的影像和数据,使得桡骨远端骨折图像缺乏清晰的病灶显示。且因腕部的骨质结构不规则,骨碎块多,存在重叠、压缩、旋转、嵌插等复杂骨折形式,使得骨科医生判断桡骨远端骨折的具体类型困难,从而影响后续复位方式的选择。
在特征提取中,研究重点主要集中在设计新特征或特征选择以改进图像的描述和区分,如形态和纹理特征,形状特征,放射学特征,深度学习特征。然而它们中的大多数(除了深层特征)都受到类内变异和类间模糊问题的困扰,深度特征会遇到与其他特征融合的问题。整张桡骨远端骨折图像病灶区域占比小且病灶类型复杂,单纯的特征提取-分类器模型难以取得较好的效果。
发明内容
为了解决现有技术的不足,本发明提出以下解决方案。
一种基于Faster-RCNN的桡骨远端骨折图像处理方法,包括如下步骤:
101、获取待处理的桡骨远端骨折X射线图像,对获取的桡骨远端骨折X射线图像进行预处理,突出骨折图像内部的病灶信息;
102、利用LabelImg标注工具对桡骨远端骨折区域进行标注;
103、选取Faster-RCNN作为图像分割工具,并对原始的Faster-RCNN的特征提取层进行改进,将原始的特征提取网络VGG-16替换为层数较深,特征提取效果较好的Resnet101;
104、将经预处理后的桡骨远端骨折图像利用Faster-RCNN进行目标检测,从而获得桡骨远端骨折病灶的感兴趣区域;
105、输出步骤104中获取的桡骨远端骨折感兴趣区域的坐标点,并利用输出的坐标点完成感兴趣区域的分割任务。
优选的,步骤101还包括:
A1、将获取的桡骨远端骨折X射线图像全部转换为JPEG格式;
A2、利用CLAHE算法对桡骨远端骨折X射线图像进行预处理,突出骨折图像内部的病灶信息,抑制噪声。
优选的,步骤102还包括如下步骤:
B1、将桡骨远端骨折图像数据集制作成Pascal VOC数据集格式;
B2、将转化格式后的数据集利用LabelImg标注工具进行标注,并在标注好的区域注明桡骨远端骨折图像所属的具体类别。
优选的,步骤103还包括:
C1、将目标检测Faster-RCNN的原始特征提取网络VGG-16替换为Resnet101;
C2、将Faster-RCNN源程序里的Pascal VOC数据集替换为桡骨远端骨折图像数据集。
优选的,步骤104还包括:
利用改进后的Faster-RCNN完成桡骨远端骨折X射线图像病灶的检测和分类任务,用改进后的Faster-RCNN目标检测算法来自动检测桡骨远端骨折的病灶区域,将检测出的桡骨远端骨折病灶区域的图像分割出来,通过提取分割图像的特征,送入分类器进行分类。
优选的,步骤105还包括:
根据Faster-RCNN检测到的坐标值,利用坐标值对桡骨远端骨折图像的病灶区域进行裁剪。
优选的,还包括步骤:
106、将分割出的桡骨远端骨折感兴趣区域输入分类器。
优选的,步骤106还包括:
完成桡骨远端骨折X射线图像具体类型的分类任务。
优选的,使用深度学习算法来完成桡骨远端骨折X射线图像具体类型的分类任务。
本发明提供的方法能够使普通计算机完成对JPEG格式桡骨远端骨折X射线图像的分割任务,改进了原始的目标检测算法,优化骨折图像,以方便对桡骨远端骨折图像进行精准分类。
在我们的实验研究中,通过改进后的Faster R-CNN,其自动检测待测试的桡骨远端骨折X射线图像中的ROI数据集的成功率达到了80.23%,实验在图像特征提取方面,跳过传统机器学习方法,不对图像进行手动的特征选择(如每张图像进行形状、纹理等特征提取), 而是利用深度学习的卷积层逐层提取图像的深层语义特征,并引入迁移学习的概念,提高了现有模型的分类性能。
附图说明
图1是实施例1中所述方法的流程图。
具体实施方式
为了更好地解释本发明的技术方案,下文将结合附图进行具体的实施例阐述,应注意的是,实施例只作为对发明内容的补充辅助说明,并非对本发明保护范围的限制,任何本领域普通技术人员对实施例中的技术手段所做出的任何等效替换,都将落在本发明的保护范围内。
实施例1
如图1所示流程的一种基于Faster-RCNN的桡骨远端骨折图像处理方法,包括如下步骤:
S1、获取待处理的桡骨远端骨折X射线图像,将获取的桡骨远端骨折X射线图像全部转换为JPEG格式,由于X射线图像具有亮度低且对比度差的问题,因此对获取的桡骨远端骨折X射线图像进行预处理,选用限制对比度自适应直方图均衡化算法(Contrast LimitedAdaptive Histogram Equalization,CLAHE)能够增强图像对比度,还能抑制噪声,突出桡骨远端骨折图像的内部细节,从而更好地显示桡骨远端骨折图像的病灶信息。
S2、将桡骨远端骨折图像数据集制作成Pascal VOC数据集格式,将转化格式后的数据集利用LabelImg标注工具进行标注,并在标注好的区域注明桡骨远端骨折图像所属的具体类别。
S3、选取Faster-RCNN作为图像分割工具,并对原始的Faster-RCNN的特征提取层进行改进,将目标检测Faster-RCNN的原始特征提取网络VGG-16替换为层数较深,特征提取效果较好的Resnet101, Faster-RCNN自带的程序中的特征提取网络为VGG-16(一种深度学习模型,总共包括16层,13个卷积层和3个全连接层),为改进Faster-RCNN的目标检测性能,将原始特征提取网络替换为Resnet101,Resnet101是为了解决随着网络层数的增加而产生的梯度爆炸/弥散现象而产生的,Resnet网络通过引入残差块解决了上述问题;将Faster-RCNN源程序里的Pascal VOC数据集替换为桡骨远端骨折图像数据集,Pascal VOC数据集是指原始Faster-RCNN的目标检测代码中所用的公共数据集,将经预处理步骤后的桡骨远端骨折图像数据改为跟公共数据集Pascal VOC一样的结构,如Annotations文件夹存放的是xml文件,它们是一些标注信息,比如VOC数据集中000001图片的标注信息在<annotation></annotation>中,<filename></filename>中间存放的文件名,图片的长、宽、通道存放在<size></size>中;桡骨远端骨折图像数据集是指经预处理步骤后的与公共数据集格式一致的图像数据。
S4、利用改进后的Faster-RCNN完成桡骨远端骨折X射线图像病灶的检测和分类任务,用改进后的Faster-RCNN目标检测算法来自动检测桡骨远端骨折的病灶区域,将检测出的桡骨远端骨折病灶区域的图像分割出来,通过提取分割图像的特征,送入分类器进行分类。
S5、根据Faster-RCNN检测到的坐标值,利用坐标值对桡骨远端骨折图像的病灶区域进行裁剪。
S6、将分割出的桡骨远端骨折感兴趣区域输入分类器,从而完成桡骨远端的骨折图像分类,完成桡骨远端骨折X射线图像具体类型的分类任务。
实施例2
在实施例1基础上,优选使用深度学习算法来完成桡骨远端骨折X射线图像具体类型的分类任务,在检测并分割出桡骨远端骨折的病灶区域后,利用分类器完成桡骨远端骨折的具体分类任务。不是必须用深度学习算法,可以选择常规的机器学习算法进行分类,其步骤为提取分割出骨折病灶图像的传统特征,选择经典的机器学习分类器如SVM,ELM,RF等进行分类,或者选择深度学习框架进行分类。深度学习框架的优点是其分类的速度快,且利用卷积层可以提取到骨折图像的高层语义特征,能够显著提高桡骨远端骨折具体类型的分类准确率,因此作为优选方案。

Claims (9)

1.一种基于Faster-RCNN的桡骨远端骨折图像处理方法,其特征在于:包括如下步骤:
101、获取待处理的桡骨远端骨折X射线图像,对获取的桡骨远端骨折X射线图像进行预处理,突出骨折图像内部的病灶信息;
102、利用LabelImg标注工具对桡骨远端骨折区域进行标注;
103、选取Faster-RCNN作为图像分割工具,并对原始的Faster-RCNN的特征提取层进行改进,将原始的特征提取网络VGG-16替换为层数较深,特征提取效果较好的Resnet101;
104、将经预处理后的桡骨远端骨折图像利用Faster-RCNN进行目标检测,从而获得桡骨远端骨折病灶的感兴趣区域;
105、输出步骤104中获取的桡骨远端骨折感兴趣区域的坐标点,并利用输出的坐标点完成感兴趣区域的分割任务。
2.根据权利要求1所述的图像处理方法,其特征在于,所述步骤101还包括:
A1、将获取的桡骨远端骨折X射线图像全部转换为JPEG格式;
A2、利用CLAHE算法对桡骨远端骨折X射线图像进行预处理,突出骨折图像内部的病灶信息,抑制噪声。
3.根据权利要求1所述的图像处理方法,其特征在于,所述步骤102还包括如下步骤:
B1、将桡骨远端骨折图像数据集制作成Pascal VOC数据集格式;
B2、将转化格式后的数据集利用LabelImg标注工具进行标注,并在标注好的区域注明桡骨远端骨折图像所属的具体类别。
4.根据权利要求1所述的图像处理方法,其特征在于,所述步骤103还包括:
C1、将目标检测Faster-RCNN的原始特征提取网络VGG-16替换为Resnet101;
C2、将Faster-RCNN源程序里的Pascal VOC数据集替换为桡骨远端骨折图像数据集。
5.根据权利要求1所述的图像处理方法,其特征在于,所述步骤104还包括:
利用改进后的Faster-RCNN完成桡骨远端骨折X射线图像病灶的检测和分类任务,用改进后的Faster-RCNN目标检测算法来自动检测桡骨远端骨折的病灶区域,将检测出的桡骨远端骨折病灶区域的图像分割出来,通过提取分割图像的特征,送入分类器进行分类。
6.根据权利要求1所述的图像处理方法,其特征在于,所述步骤105还包括:
根据Faster-RCNN检测到的坐标值,利用坐标值对桡骨远端骨折图像的病灶区域进行裁剪。
7.根据权利要求1所述的图像处理方法,其特征在于,还包括步骤:
106、将分割出的桡骨远端骨折感兴趣区域输入分类器。
8.根据权利要求7所述的图像处理方法,其特征在于,所述步骤106还包括:
完成桡骨远端骨折X射线图像具体类型的分类任务。
9.根据权利要求8所述的图像处理方法,其特征在于,使用深度学习算法来完成桡骨远端骨折X射线图像具体类型的分类任务。
CN202011387794.3A 2020-12-02 2020-12-02 一种基于Faster-RCNN的桡骨远端骨折图像处理方法 Pending CN112435269A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011387794.3A CN112435269A (zh) 2020-12-02 2020-12-02 一种基于Faster-RCNN的桡骨远端骨折图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011387794.3A CN112435269A (zh) 2020-12-02 2020-12-02 一种基于Faster-RCNN的桡骨远端骨折图像处理方法

Publications (1)

Publication Number Publication Date
CN112435269A true CN112435269A (zh) 2021-03-02

Family

ID=74698162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011387794.3A Pending CN112435269A (zh) 2020-12-02 2020-12-02 一种基于Faster-RCNN的桡骨远端骨折图像处理方法

Country Status (1)

Country Link
CN (1) CN112435269A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129278A (zh) * 2021-04-06 2021-07-16 华东师范大学 基于非局部分离注意力机制的X-Ray图片股骨干骨折检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977971A (zh) * 2017-11-09 2018-05-01 哈尔滨理工大学 基于卷积神经网络的椎骨定位的方法
CN108305248A (zh) * 2018-01-17 2018-07-20 慧影医疗科技(北京)有限公司 一种骨折识别模型的构建方法及应用
CN108491770A (zh) * 2018-03-08 2018-09-04 李书纲 一种基于骨折影像的数据处理方法
CN109285139A (zh) * 2018-07-23 2019-01-29 同济大学 一种基于深度学习的x射线成像焊缝检测方法
CN110930373A (zh) * 2019-11-06 2020-03-27 天津大学 一种基于神经网络的肺炎识别装置
CN111209917A (zh) * 2020-01-03 2020-05-29 天津大学 一种肺炎检测装置
CN111553882A (zh) * 2020-03-31 2020-08-18 江苏广宇淘璞网络科技有限公司 Mr图像股骨头缺血型坏死识别方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977971A (zh) * 2017-11-09 2018-05-01 哈尔滨理工大学 基于卷积神经网络的椎骨定位的方法
CN108305248A (zh) * 2018-01-17 2018-07-20 慧影医疗科技(北京)有限公司 一种骨折识别模型的构建方法及应用
CN108491770A (zh) * 2018-03-08 2018-09-04 李书纲 一种基于骨折影像的数据处理方法
CN109285139A (zh) * 2018-07-23 2019-01-29 同济大学 一种基于深度学习的x射线成像焊缝检测方法
CN110930373A (zh) * 2019-11-06 2020-03-27 天津大学 一种基于神经网络的肺炎识别装置
CN111209917A (zh) * 2020-01-03 2020-05-29 天津大学 一种肺炎检测装置
CN111553882A (zh) * 2020-03-31 2020-08-18 江苏广宇淘璞网络科技有限公司 Mr图像股骨头缺血型坏死识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S REN ET AL.: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《ARXIV:1506.01497V3》 *
欧阳汉强 等: "人工智能在脊柱影像中的应用现状及发展趋势相关研究进展", 《中国脊柱脊髓杂志》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129278A (zh) * 2021-04-06 2021-07-16 华东师范大学 基于非局部分离注意力机制的X-Ray图片股骨干骨折检测方法

Similar Documents

Publication Publication Date Title
WO2022063199A1 (zh) 一种肺结节自动检测方法、装置及计算机系统
KR101443187B1 (ko) 영상 군집화 기반의 의료 영상 검색 방법
CN109389584A (zh) 基于cnn的多尺度鼻咽肿瘤分割方法
CN108664996A (zh) 一种基于深度学习的古文字识别方法及系统
CN111340130A (zh) 一种基于深度学习和影像组学的泌尿结石检测分类方法
CN109949297B (zh) 基于Reception和Faster R-CNN的肺结节检测方法
CN110738660B (zh) 基于改进U-net的脊椎CT图像分割方法及装置
CN110188750A (zh) 一种基于深度学习的自然场景图片文字识别方法
CN113314215A (zh) 超声甲状腺结节样例丰富及良恶性自动辅助识别系统
CN110826612A (zh) 深度学习的训练识别方法
CN114140465A (zh) 基于宫颈细胞切片图像的自适应的学习方法和学习系统
Ko et al. Microscopic cell nuclei segmentation based on adaptive attention window
CN112435269A (zh) 一种基于Faster-RCNN的桡骨远端骨折图像处理方法
CN115482384A (zh) 一种可见光oct图像视网膜层分割方法及系统
CN116681883A (zh) 基于Swin Transformer改进的乳腺影像病灶检测方法
CN117523350A (zh) 基于多模态特征的口腔影像识别方法、系统及电子设备
CN116612337A (zh) 基于高光谱图像的物体检测方法、装置、系统及存储介质
CN116779093A (zh) 一种医学影像结构化报告的生成方法、装置和计算机设备
CN116258686A (zh) 基于图像卷积特征捕捉的结肠息肉分型检测模型建立方法
Zaryab et al. Optical Character Recognition for Medical Records Digitization with Deep Learning
CN116128799A (zh) 一种基于高光谱图像的肿瘤切缘识别系统
CN111783571A (zh) 一种宫颈细胞自动分类模型建立及宫颈细胞自动分类方法
CN110738266A (zh) 一种医疗影像特征的提取与检索方法
Haque et al. RenalNet: An End-to-End Hybrid Deep Learning and Ensemble Model for Accurate Kidney Disorder Classification
CN114387214B (zh) 人工智能肺癌病理免疫表型预测及辅助分型系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210302

RJ01 Rejection of invention patent application after publication