CN111724314A - 一种医疗影像中特殊标记的检测与去除方法 - Google Patents
一种医疗影像中特殊标记的检测与去除方法 Download PDFInfo
- Publication number
- CN111724314A CN111724314A CN202010381927.XA CN202010381927A CN111724314A CN 111724314 A CN111724314 A CN 111724314A CN 202010381927 A CN202010381927 A CN 202010381927A CN 111724314 A CN111724314 A CN 111724314A
- Authority
- CN
- China
- Prior art keywords
- medical
- image
- network
- repair
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000008439 repair process Effects 0.000 claims abstract description 31
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 239000003550 marker Substances 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 238000012549 training Methods 0.000 claims description 14
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 9
- 238000002474 experimental method Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种医疗影像中特殊标记的检测与去除方法，包含以下步骤：步骤一：对输入的数据进行预处理与模型学习，使得网络可以识别出医疗标记；步骤二：对医疗影像进行学习，使得网络可以修复医疗影像，并且修复结果中不可出现明显的人工痕迹；步骤三：用Faster R‑CNN目标检测算法检测出图像中的医疗标记；步骤四：将检测出的掩码制作为二进制掩码；步骤五：使用部分卷积去修复带有掩码的医疗影像。在本申请中，使用了两个神经网络分别对医疗标记进行识别和修复工作。通过实验可以看出，使用本方法的实验效果达到了可使用结果，识别区域准确并且无明显的修复痕迹。图像中很难看到鱼鳞状修复区域或者网格状修复区域。
Description
技术领域
本发明属于人工智能领域，涉及深度学习和图像处理技术，是一种基于神经网络的数据增强方法，具体涉及一种医疗影像中特殊标记的检测与去除方法。
背景技术
卷积神经网络是深度学习中重要的一个分支，通过多次的卷积提取特征，经过反向传播等机器学习方法学习到卷积的权重，抽取出整张图像的feature map用于其他问题的处理。使用得到的feature map以及其提取方法可以进行图像识别算法的拓展研究，同时也可以使用feature map进行图像修复。可以说卷积神经网络是深度学习中重要的一个分支。
Faster R-CNN是当下准确率极高的一个目标检测网络。它使用resnet架构作为基础的特征提取架构，然后使用RPN作为辅助网络提取边框，在目标检测上有很好的表现。NVDIA公司提出的部分卷积修复图像的方法同样是使用resnet作为特征提取架构，使用深度学习完善反卷积过程，将图像由feature map重新复原为原始图像由此达到图像修复的目的。
目前在机器学习时获得的大部分数据都是经过医生处理过的，这是在早起开发的医疗系统遗留下的弊病。当下面临的一个课题就是将医疗标记进行去除处理。
发明内容
本发明的目的在于提供一种医疗影像中特殊标记的检测与去除方法，用于将目前数据集中含有医疗标记的图像处理为原始的图像。本方法使用将两种方法聚合的方法去除医疗标记，以此来获取接近于医疗影像原始数据的图像。
为实现本发明的目的，本发明提供的一种医疗影像中特殊标记的检测与去除方法，包含以下步骤：
步骤一：对输入的数据进行预处理与模型学习，对医疗标记进行学习，使得网络可以识别出医疗标记；
步骤二：对医疗影像进行学习，使得网络可以修复医疗影像，并且修复结果中不可出现明显的人工痕迹；
步骤三：用Faster R-CNN目标检测算法检测出图像中的医疗标记；
步骤四：将检测出的掩码制作为二进制掩码；
步骤五：使用部分卷积去修复带有掩码的医疗影像。
其中，步骤一具体包括如下步骤：在得到包含医疗标记的数据后，首先需要从数据中挑选出质量较高的数据，然后使用标记软件LabelImg制作为VOC标准数据集，同时搭建Faster R-CNN网络，将制作出的数据集使用网络进行训练，直到网络可以分割出大于75％的医疗标记。
其中，步骤二具体包括如下步骤：首先使用随机方法生成掩码，搭建一个部分卷积修复图像的网络，使用原图像和掩码对网络进行训练，在Loss已经低于0.03时停止训练，同时需要保证修复的图像中无法看出明显的人工痕迹。
其中，步骤三具体包括如下步骤：将图像输入至神经网络，使用网络对图像进行识别，输出所有的医疗标记的位置，如果在步骤三中的结果过差，则此时需要返回步骤一，重新对网络进行训练，直到保证步骤三可标记出的图像在80％之上。
其中，步骤四具体包括如下步骤：在获得图像的医疗标记标注后，使用python读取原图以及输出的标注点，将图像中标注边框的位置都使用255置位，获得原医疗标记的掩码。
其中，步骤五中具体包括如下步骤：将获得的掩码和原图像放入基于部分卷积的图像修复网络中，获得修复成果；如果此步骤发现修复成果无法达到预期成果，则需要重新进行步骤二，重新对网络训练，直到修复结果中无明显人工痕迹。
与现有技术相比，本发明的有益效果为，
在本申请中，使用了两个神经网络分别对医疗标记进行识别和修复工作。
通过实验可以看出，使用本方法的实验效果达到了可使用结果，识别区域准确并且无明显的修复痕迹。图像中很难看到鱼鳞状修复区域或者网格状修复区域。同时网络可以理解结节信息，使得修复部位符合结节的特征。
在实验中，Faster R-CNN网络的最终Loss为0.02，在测试时网络的识别率可以达到76.3％，可以认为Faster R-CNN网络能够识别出大部分的医疗标记的位置信息。同时，部分卷积网络的Loss降低为0.003。本项目在制定损失函数时针对医疗图像有所改进，保证了在识别时由更好的效果。其次，使用Faster R-CNN来代替传统方法对目标特征进行提取保证了更高的识别准确率。这两方面的改进保证了本项目相对于其他修复方法有更加优良的特性。
附图说明
图1所示为本申请的方法流程图。
图2所示为原图与使用本申请修复后的效果对比图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
图1所示为本申请的方法流程图。
图2所示为原图与使用本申请修复后的效果对比图。
本发明包括：
步骤S0101：从多数据集中筛选出优质数据用作训练集，其中训练集包括用于训练标记识别网络的训练集和标记去除网络的训练集。需要选择图像清晰并且保证有清晰标记的数据用于训练。对于标记识别数据集，需要使用LabelImage制作出相应的VOC标准数据集作为备用。对于图像修复数据集，需要使用随机生成的方式制作出数据集相应掩码备用。
步骤S0201:搭建Faster R-CNN图像识别网络，使用已经制作好的数据集进行训练，当训练结果在测试集中可以检测出超过75％的医学标记时，可以认为模型已经达到了比较好的效果。
步骤S0301：搭建编码-解码器网络用于图像修复工作。其中使用部分卷积替换完全卷积，部分卷积计算方法为
其中X代表当前层次的feature map，M代表部分卷积掩码，掩码由0和1组成，其中0表示待修复空洞。W代表学习的权重，b为偏置量。
卷积的传播公式为
同时使用多种损失函数去限制修复的成果，保证解码器修复出的图像符合预期效果。在训练过程中需要使得Loss降低至0.003之下。
步骤S0401：网络使用的过程中，将图像输入到Faster R-CNN网络中，获得图像的标记定位，使用python获得图像的掩码信息，将掩码图和原图一一对应，用作之后图像修复的原图像。
步骤S0501：使用已经训练好的部分卷积网络对图像进行修复。并输出修复结果。如果发现修复结果不够好，则需要重新训练网络。直到修复图像无明显痕迹且网络可以理解图像的特征信息。
本发明所述的一种基于两种神经网络的聚合方法，用于去除医疗图像中的特殊标记。本项目考虑到了医疗标记的特殊性，对网络进行了部分调整。保证了更好的使用效果。通过实验可以看到，这种聚合的神经网络方法取得了较好的效果。有利于推进医疗图像数据集的构建和人工智能与医疗交叉结合的发展。
在表1中，给出了本项目的实现效果和其他三个试验的区别。对比试验中可以看到，GLCIC算法同属于神经网络算法，但是相较于本项目使用的部分卷积修复方法效果还是有一定的差异。非人工智能方法中Patch Match算法的修复时间太长，不适合目前实时修复的需求，opencv算法的修复有明显的缺陷，在修复后有可见的菱形修复区域，也不宜采用。实验对比可以得出，本项目使用的方法是当下比较优良的医疗标记去除方法。
表1为各类修复方法对比试验表
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种医疗影像中特殊标记的检测与去除方法，其特征在于，包含以下步骤：
步骤一：对输入的数据进行预处理与模型学习，使得网络可以识别出医疗标记；
步骤二：对医疗影像进行学习，使得网络可以修复医疗影像，并且修复结果中不可出现明显的人工痕迹；
步骤三：用Faster R-CNN目标检测算法检测出图像中的医疗标记；
步骤四：将检测出的掩码制作为二进制掩码；
步骤五：使用部分卷积去修复带有掩码的医疗影像。
2.根据权利要求1所述的一种医疗影像中特殊标记的检测与去除方法，其特征在于，
步骤一具体包括如下步骤：
在得到包含医疗标记的数据后，首先需要从数据中挑选出质量较高的数据，然后使用标记软件LabelImg制作为VOC标准数据集，同时搭建Faster R-CNN网络，将制作出的数据集使用网络进行训练，直到网络可以分割出大于75％的医疗标记。
3.根据权利要求1所述的一种医疗影像中特殊标记的检测与去除方法，其特征在于，
步骤二具体包括如下步骤：
首先使用随机方法生成掩码，搭建一个部分卷积修复图像的网络，使用原图像和掩码对网络进行训练，在Loss已经低于0.03时停止训练，同时需要保证修复的图像中无法看出明显的人工痕迹。
4.根据权利要求1所述的一种医疗影像中特殊标记的检测与去除方法，其特征在于，
步骤三具体包括如下步骤：
将图像输入至神经网络，使用网络对图像进行识别，输出所有的医疗标记的位置，如果在步骤三中的结果过差，则此时需要返回步骤一，重新对网络进行训练，直到保证步骤三可标记出的图像在80％之上。
5.根据权利要求1所述的一种医疗影像中特殊标记的检测与去除方法，其特征在于，
步骤四具体包括如下步骤：
在获得图像的医疗标记标注后，使用python读取原图以及输出的标注点，将图像中标注边框的位置都使用255置位，获得原医疗标记的掩码。
6.根据权利要求1所述的一种医疗影像中特殊标记的检测与去除方法，其特征在于，
步骤五中具体包括如下步骤：
将获得的掩码和原图像放入基于部分卷积的图像修复网络中，获得修复成果；如果此步骤发现修复成果无法达到预期成果，则需要重新进行步骤二，重新对网络训练，直到修复结果中无明显人工痕迹。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010381927.XA CN111724314A (zh) | 2020-05-08 | 2020-05-08 | 一种医疗影像中特殊标记的检测与去除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010381927.XA CN111724314A (zh) | 2020-05-08 | 2020-05-08 | 一种医疗影像中特殊标记的检测与去除方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111724314A true CN111724314A (zh) | 2020-09-29 |
Family
ID=72564295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010381927.XA Pending CN111724314A (zh) | 2020-05-08 | 2020-05-08 | 一种医疗影像中特殊标记的检测与去除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111724314A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115424082A (zh) * | 2022-10-31 | 2022-12-02 | 杭州三坛医疗科技有限公司 | 一种图像处理方法、装置及电子设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345638A (zh) * | 2013-06-24 | 2013-10-09 | 清华大学深圳研究生院 | 基于医学影像的腔体病灶计算机辅助检测方法 |
| CN103984957A (zh) * | 2014-05-04 | 2014-08-13 | 中国科学院深圳先进技术研究院 | 胶囊内窥镜图像可疑病变区域自动预警系统 |
| CN106097362A (zh) * | 2016-06-20 | 2016-11-09 | 中国科学院深圳先进技术研究院 | 一种x光图像中人工圆形标记的自动检测和定位方法 |
| CN106890031A (zh) * | 2017-04-11 | 2017-06-27 | 东北大学 | 一种标记物识别及标记点定位方法及手术导航系统 |
| CN107993228A (zh) * | 2017-12-15 | 2018-05-04 | 中国人民解放军总医院 | 一种基于心血管oct影像的易损斑块自动检测方法和装置 |
| CN108665456A (zh) * | 2018-05-15 | 2018-10-16 | 广州尚医网信息技术有限公司 | 基于人工智能的乳腺超声病灶区域实时标注的方法及系统 |
| CN109961838A (zh) * | 2019-03-04 | 2019-07-02 | 浙江工业大学 | 一种基于深度学习的超声影像慢性肾脏病辅助筛查方法 |
| CN110059730A (zh) * | 2019-03-27 | 2019-07-26 | 天津大学 | 一种基于胶囊网络的甲状腺结节超声图像分类方法 |
| CN110176002A (zh) * | 2019-06-05 | 2019-08-27 | 深圳大学 | 一种x射线图像的病灶检测方法及终端设备 |
| CN110909756A (zh) * | 2018-09-18 | 2020-03-24 | 苏宁 | 用于医学图像识别的卷积神经网络模型训练方法和装置 |
-
2020
- 2020-05-08 CN CN202010381927.XA patent/CN111724314A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345638A (zh) * | 2013-06-24 | 2013-10-09 | 清华大学深圳研究生院 | 基于医学影像的腔体病灶计算机辅助检测方法 |
| CN103984957A (zh) * | 2014-05-04 | 2014-08-13 | 中国科学院深圳先进技术研究院 | 胶囊内窥镜图像可疑病变区域自动预警系统 |
| CN106097362A (zh) * | 2016-06-20 | 2016-11-09 | 中国科学院深圳先进技术研究院 | 一种x光图像中人工圆形标记的自动检测和定位方法 |
| CN106890031A (zh) * | 2017-04-11 | 2017-06-27 | 东北大学 | 一种标记物识别及标记点定位方法及手术导航系统 |
| CN107993228A (zh) * | 2017-12-15 | 2018-05-04 | 中国人民解放军总医院 | 一种基于心血管oct影像的易损斑块自动检测方法和装置 |
| CN108665456A (zh) * | 2018-05-15 | 2018-10-16 | 广州尚医网信息技术有限公司 | 基于人工智能的乳腺超声病灶区域实时标注的方法及系统 |
| CN110909756A (zh) * | 2018-09-18 | 2020-03-24 | 苏宁 | 用于医学图像识别的卷积神经网络模型训练方法和装置 |
| CN109961838A (zh) * | 2019-03-04 | 2019-07-02 | 浙江工业大学 | 一种基于深度学习的超声影像慢性肾脏病辅助筛查方法 |
| CN110059730A (zh) * | 2019-03-27 | 2019-07-26 | 天津大学 | 一种基于胶囊网络的甲状腺结节超声图像分类方法 |
| CN110176002A (zh) * | 2019-06-05 | 2019-08-27 | 深圳大学 | 一种x射线图像的病灶检测方法及终端设备 |
Non-Patent Citations (1)
| Title |
|---|
| GUILIN LIU.ETC: ""Image Inpainting for Irregular Holes Using Partial Convolutions"", 《CVF》, pages 41 - 45 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115424082A (zh) * | 2022-10-31 | 2022-12-02 | 杭州三坛医疗科技有限公司 | 一种图像处理方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107305630B (zh) | 文本序列识别方法和装置 | |
| CN107292311A (zh) | 一种基于神经网络的字符粘连验证码的识别方法 | |
| US20190019055A1 (en) | Word segmentation system, method and device | |
| CN103366167B (zh) | 用于处理图像以识别一连串字母数字字符的系统和方法 | |
| CN110543878A (zh) | 一种基于神经网络的指针仪表读数识别方法 | |
| CN113239930B (zh) | 一种玻璃纸缺陷识别方法、系统、装置及存储介质 | |
| CN107516316B (zh) | 一种在fcn中引入聚焦机制对静态人体图像进行分割的方法 | |
| CN111145209A (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
| CN112819840B (zh) | 一种融合深度学习与传统处理的高精度图像实例分割方法 | |
| CN111754538B (zh) | Usb表面缺陷检测的阈值分割方法 | |
| CN107392221B (zh) | 分类模型的训练方法、分类ocr识别结果的方法及装置 | |
| CN109241973A (zh) | 一种纹理背景下的字符全自动软分割方法 | |
| CN110532938B (zh) | 基于Faster-RCNN的纸质作业页码识别方法 | |
| CN111353978B (zh) | 一种识别心脏解剖学结构的方法及装置 | |
| CN115761225A (zh) | 一种基于神经网络可解释性的图像标注方法 | |
| CN116597466A (zh) | 一种基于改进YOLOv5s的工程图纸文字检测识别方法及系统 | |
| Tang et al. | Leaf extraction from complicated background | |
| CN111724314A (zh) | 一种医疗影像中特殊标记的检测与去除方法 | |
| CN114882204A (zh) | 船名自动识别方法 | |
| CN111950556A (zh) | 一种基于深度学习的号牌印刷质量检测方法 | |
| CN107944393B (zh) | 人脸鼻尖定位方法 | |
| CN108898188A (zh) | 一种图像数据集辅助标记系统及方法 | |
| CN111860173B (zh) | 一种基于弱监督的遥感图像地物要素提取方法及系统 | |
| CN114972274A (zh) | 一种基于裂缝连通域的区域搜索连接方法 | |
| CN110991449B (zh) | 一种面向字轮字符的全字半字识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |