CN109523563A - 一种提高显微图像标注效率的方法 - Google Patents
一种提高显微图像标注效率的方法 Download PDFInfo
- Publication number
- CN109523563A CN109523563A CN201811294123.5A CN201811294123A CN109523563A CN 109523563 A CN109523563 A CN 109523563A CN 201811294123 A CN201811294123 A CN 201811294123A CN 109523563 A CN109523563 A CN 109523563A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- carried out
- micro
- xml document
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000000877 morphologic effect Effects 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 239000000284 extract Substances 0.000 claims abstract description 8
- 239000012535 impurity Substances 0.000 claims abstract description 8
- 238000003708 edge detection Methods 0.000 claims abstract description 7
- 239000003550 marker Substances 0.000 claims abstract description 4
- 238000012216 screening Methods 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 9
- 239000013589 supplement Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 238000012217 deletion Methods 0.000 abstract description 3
- 230000037430 deletion Effects 0.000 abstract description 3
- 210000004027 cell Anatomy 0.000 description 12
- 210000003743 erythrocyte Anatomy 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 210000005259 peripheral blood Anatomy 0.000 description 2
- 239000011886 peripheral blood Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Abstract
本发明公开一种提高显微图像标注效率的方法，所述方法包括以下步骤：首先对原图像的灰度图进行Canny算子的边缘检测，并对其进行形态学的处理；对处理后的二值图进行控制标记符的分水岭分割，将图像中粘连的目标分割成独立的个体，并对上述结果进行杂质删除；然后根据目标所具有的相似的形态特征对目标进行进一步的筛选；最后求取所要标注目标的最小外接矩形，提取其坐标信息，按照VOC2007格式写入xml文件，将生成的xml文件与被处理的原图在专业的标注工具LabelImg中打开，即可进行补漏调整。该方法通过图像处理对显微图像进行批量预处理标注，自动完成图像中占比比较大且形态比较规则的被检测目标的标注任务，从而大大减轻了标注人员的负担，提高了标注效率。
Description
技术领域
本发明涉及数字图像处理技术领域，特别涉及一种提高显微图像标注效率的方法。
背景技术
近年，关于深度学习的研究正处于火热阶段，其中深度学习也越来越多的被应用到医学行业中来。在大量的医学数据库的支撑下，将神经网络应用于各种医学检测研究成为了可能，但关于医学公开的带标签的数据集少之又少或者无从获得，所以研究人员需要利用相应的标注软件手动标注图片来制作需要的标签文件。同时，显微图像中往往包含大量同种类型且形态比较规则的被检测目标，例如血涂片的显微图像中通常包含几十个甚至上百个红细胞，那么对红细胞的标注将耗费大量的时间。对这类被检测目标进行手动标注，不仅耗时费力，效率低下，且标注过程内容单一，机械呆板，容易使标注人员感到疲惫，使得研究人员无法将有限的精力投入到研究本身，因此，对于提高具有这样分布特征的数据集的标注速度是非常有必要的，可节省大量标注时间。
发明内容
本发明的目的在于提供一种适用于提高显微图像的标注效率的方法，该方法可对显微图像进行批量预处理，对图像中数量占比最大的细胞种类或结构进行标注，并生成VOC2007格式的标签文件，研究人员只需要结合相关标注工具LabelImg，在生成的标签文件的基础上再进行补漏和调整即可，通过该方法大大提高了数据集的标注效率。
实现本发明目的的具体技术方案是：
一种提高显微图像标注效率的方法，该方法包括以下具体步骤：
步骤1：对原图像的灰度图进行Canny边缘检测，得到图像的边缘轮廓图，再对图像进行闭运算以及孔洞填充；
步骤2：对步骤1得到的图像进行控制标记符的分水岭分割，使得黏连的目标分开来；
步骤3：对步骤2得到的图像进行初步筛选，去除杂质；
步骤4：对步骤3所得图像中的连通区域进行标签化，根据目标的形态特征进一步筛选目标，然后提取符合筛选条件目标的最小外接矩形的坐标信息，并生成VOC2007格式的XML文件；
步骤5：将步骤4生成的xml文件与未被处理的原图在标注工具LabelImg中打开，进行补漏与调整的标注操作。
所述步骤2具体为：对步骤1得到的图像求补集，求取该补集每一个像素到最近非零像素的几何距离的相反值集合；设定阈值，由该几何距离的相反值集合求得图像的局部极小值集合；由所述几何距离的相反值集合与局部极小值集合来获得强调显示最小值的强度图像，然后对该强度图像利用分水岭算法得到分水岭变换的脊线图，最后在步骤1的结果图像上叠加该脊线图得到最后的分割结果。
所述步骤3具体为：对步骤2所得的图像进行初步筛选，删除图像中面积小于阈值的连通区域，以及图像中的畸变点和孤立点，即去除图像中明显非期望目标的杂质。
所述步骤4具体为：对步骤3所得图像进行连通区域的标签化，遍历该标签集合，根据目标所共有的形态特征：像素面积、圆形度、长宽比指标来进一步筛选，求取符合筛选条件的目标的最小外接矩形，提取其左上角和右下角的坐标信息并按照VOC2007格式存入xml文件。
步骤5具体为：将步骤4得到xml文件在标注工具LabelImg中打开，在生成的xml文件的基础上手动对漏标的细胞或结构进行补充标注，以及对个别偏大或偏小的标注方框进行调整。
本发明的有益效果是：本发明提供了一种利用图像处理来提高显微图像标注效率的方法，本发明采用了图像分析与处理的方法，对显微图像进行预处理，完成了图像数量占比最大的细胞或结构的标注，并生成深度学习所需的标签文件，缩短了数据集的制作周期，提高了工作效率。
附图说明
图1为本发明的流程图；
图2为本发明中使用的外周血涂片的显微图像；
图3为本发明中对细胞进行边缘检测后的图像；
图4为本发明对细胞进行形态处理后的图像；
图5为本发明中对图像进行细胞分割后的图像；
图6为本发明中对分割后的图像进行杂质删除后的图像；
图7为本发明进一步根据形态特征对细胞进行筛选后的结果，图中方框为目标细胞的最小外接矩形；
图8以及图9为本发明中生成的标签文件与原图在标注工具LabelImg中打开后的示意图，图中的方框即为前述步骤完成的对红细胞的标注。
具体实施方式
为了更加清楚明白地说明本发明所述的技术手段、技术改进及有益效果，以下结合附图对本发明进行详细的说明。
实施例
以两张外周血涂片的显微图像为例，对图中大量的红细胞进行预标注，具体包括：
S101：将原图转为灰度图，并进行Canny边缘检测，并进行形态学处理；
该步骤具体为：图2中(a)、(b)分别为不同密度的血细胞的显微图像，首先对两张图像转为灰度图后进行Canny算子的边缘检测，结果如图3(a)、(b)所示。再对图像进行闭运算与连通区域的孔洞填充这两种形态学处理，结果记为I0，如图4中(a)、(b)所示。
S102：对图像进行控制标记符的分水岭分割，使得黏连的目标分开来；
该步骤具体为：计算I0的补集中每一个像素到最近非零像素的几何距离的相反值，结果记为D1。由D1求得图像的局部极小值，记为D2，此处阈值设为1。根据D1与D2来强调显示最小值的图像，将结果记为D3，然后对D3利用分水岭算法得到分水岭变换的脊线图，记为D4。在I0上叠加分水岭脊线D4得到最后分割结果，如图5(a)、(b)所示。
S103：对二值图进行初步筛选，去除杂质；
该步骤具体为：对S102所得的分割图像，即图5(a)、(b)进行初步筛选，删除图像中面积小于红细胞阈值的连通区域，以及图像中的畸变点以及孤立点，从而去除明显非红细胞的连通区域。结果如图6(a)、(b)所示。
S104：对图像中的连通区域进行标签化，根据目标共有的形态特征进一步筛选目标，然后提取符合筛选条件的目标区域的最小外接矩形的坐标信息，并生成VOC2007格式的XML文件；
该步骤具体为：对S103所得图像进行连通区域的标签化，遍历该标签集合，根据红细胞相似的像素面积，圆形度，长宽比这三种形态特征指标来进一步筛选，并求取符合筛选条件的目标区域的最小外接矩形，如图7(a)、(b)所示。最后提取其该矩形的左上角和右下角的坐标值，并按照VOC2007格式存入xml文件。
S105：将步骤4的生成的xml文件与未被处理的原图在标注工具LabelImg中打开，进行补漏与调整的标注操作；
该步骤具体为：将S104中的xml文件与未被处理的原图放置在同一个文件夹中，在常用的标注工具LabelImg中打开该文件夹，如图8、图9所示，可以看到图7(a)、(b)生成的矩形框已经转为在LabelImg中可手动调整的标注框，大部分红细胞已被标注完成，其中图中下半部分的“rbc”为红细胞的英文缩写，标识了该细胞的种类。标注者可在该xml文件的基础上，对其他种类的细胞进行补标以及对个别标注框进行调整。
综上所述，本发明提出一种提高显微图像的标注效率的方法，首先对图像进行边缘检测，并进行形态学的处理，包括闭运算与孔洞填充。对处理后的图像进行目标分割，将图像中大多粘连的细胞或结构分割成独立的区域，并对上述结果进行杂质删除。然后通过目标所共有的形态特征等信息对目标进行进一步的筛选。最后提取图像中目标轮廓的最小外接矩形的位置信息，并标明目标的类别，按照VOC2007格式写入xml文件。利用本发明方法可自动完成图像中占比最大的细胞或结构的标注任务，大大减轻了标注人员的负担，提高了标注效率。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种提高显微图像标注效率的方法，其特征在于，该方法包括以下具体步骤：
步骤1：对原图像的灰度图进行Canny边缘检测，得到图像的边缘轮廓图，再对图像进行闭运算以及孔洞填充；
步骤2：对步骤1得到的图像进行控制标记符的分水岭分割，使得黏连的目标分开来；
步骤3：对步骤2得到的图像进行初步筛选，去除杂质；
步骤4：对步骤3所得图像中的连通区域进行标签化，根据目标的形态特征进一步筛选目标，然后提取符合筛选条件目标的最小外接矩形的坐标信息，并生成VOC2007格式的XML文件；
步骤5：将步骤4生成的xml文件与未被处理的原图在标注工具LabelImg中打开，进行补漏与调整的标注操作。
2.根据权利要求1所述的提高显微图像标注效率的方法，其特征在于，所述步骤2具体为：对步骤1得到的图像求补集，求取该补集每一个像素到最近非零像素的几何距离的相反值集合；设定阈值，由该几何距离的相反值集合求得图像的局部极小值集合；由所述几何距离的相反值集合与局部极小值集合来获得强调显示最小值的强度图像，然后对该强度图像利用分水岭算法得到分水岭变换的脊线图，最后在步骤1的结果图像上叠加该脊线图得到最后的分割结果。
3.根据权利要求1所述的提高显微图像标注效率的方法，其特征在于，所述步骤3具体为：对步骤2所得的图像进行初步筛选，删除图像中面积小于阈值的连通区域，以及图像中的畸变点和孤立点，即去除图像中明显非期望目标的杂质。
4.根据权利要求1所述的提高显微图像标注速率的方法，其特征在于，所述步骤4具体为：对步骤3所得图像进行连通区域的标签化，遍历该标签集合，根据目标所共有的形态特征：像素面积、圆形度、长宽比指标来进一步筛选，求取符合筛选条件的目标的最小外接矩形，提取其左上角和右下角的坐标信息并按照VOC2007格式存入xml文件。
5.根据权利要求1所述的提高显微图像标注速率的方法，其特征在于，步骤5具体为：将步骤4得到xml文件在标注工具LabelImg中打开，在生成的xml文件的基础上手动对漏标的细胞或结构进行补充标注，或对需要调整的标注方框进行调整。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811294123.5A CN109523563A (zh) | 2018-11-01 | 2018-11-01 | 一种提高显微图像标注效率的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811294123.5A CN109523563A (zh) | 2018-11-01 | 2018-11-01 | 一种提高显微图像标注效率的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109523563A true CN109523563A (zh) | 2019-03-26 |
Family
ID=65774196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811294123.5A Pending CN109523563A (zh) | 2018-11-01 | 2018-11-01 | 一种提高显微图像标注效率的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109523563A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111414907A (zh) * | 2020-03-12 | 2020-07-14 | 深圳中兴网信科技有限公司 | 数据集标注方法、数据集标注装置和计算机可读存储介质 |
| CN112767321A (zh) * | 2021-01-05 | 2021-05-07 | 华东师范大学 | 一种基于随机森林的荧光结核杆菌检测方法 |
| CN112819796A (zh) * | 2021-02-05 | 2021-05-18 | 杭州天宸建筑科技有限公司 | 烟丝异物识别方法及设备 |
| CN113284160A (zh) * | 2021-04-23 | 2021-08-20 | 北京天智航医疗科技股份有限公司 | 一种手术导航标记珠体识别的方法、装置和设备 |
| CN114820478A (zh) * | 2022-04-12 | 2022-07-29 | 江西裕丰智能农业科技有限公司 | 脐橙果实病害图像标注方法、装置、计算机设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101567084A (zh) * | 2009-06-05 | 2009-10-28 | 西安电子科技大学 | 基于水平集和分水岭相结合的图像轮廓检测方法 |
| CN103914843A (zh) * | 2014-04-04 | 2014-07-09 | 上海交通大学 | 基于分水岭算法和形态学标记的图像分割方法 |
| CN104075965A (zh) * | 2014-07-02 | 2014-10-01 | 北京机械设备研究所 | 一种基于分水岭分割的显微图像颗粒粒度测量方法 |
| CN105931253A (zh) * | 2016-05-16 | 2016-09-07 | 陕西师范大学 | 一种基于半监督学习相结合的图像分割方法 |
| CN107316077A (zh) * | 2017-06-21 | 2017-11-03 | 上海交通大学 | 一种基于图像分割及边缘检测的脂肪细胞自动计数方法 |
-
2018
- 2018-11-01 CN CN201811294123.5A patent/CN109523563A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101567084A (zh) * | 2009-06-05 | 2009-10-28 | 西安电子科技大学 | 基于水平集和分水岭相结合的图像轮廓检测方法 |
| CN103914843A (zh) * | 2014-04-04 | 2014-07-09 | 上海交通大学 | 基于分水岭算法和形态学标记的图像分割方法 |
| CN104075965A (zh) * | 2014-07-02 | 2014-10-01 | 北京机械设备研究所 | 一种基于分水岭分割的显微图像颗粒粒度测量方法 |
| CN105931253A (zh) * | 2016-05-16 | 2016-09-07 | 陕西师范大学 | 一种基于半监督学习相结合的图像分割方法 |
| CN107316077A (zh) * | 2017-06-21 | 2017-11-03 | 上海交通大学 | 一种基于图像分割及边缘检测的脂肪细胞自动计数方法 |
Non-Patent Citations (4)
| Title |
|---|
| K. PARVATI: "Image Segmentation Using Gray-Scale Morphology and Marker-Controlled Watershed Transformation", 《DISCRETE DYNAMICS IN NATURE AND SOCIETY》 * |
| 李永焯: "改进分水岭算法在脑肿瘤ＣＴ图像分割中的应用", 《软件导刊》 * |
| 杨帆, 北京航空航天大学出版社 * |
| 聂秀珍: "基于控制标记符分水岭的重叠细胞分割", 《山西煤炭管理干部学院学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111414907A (zh) * | 2020-03-12 | 2020-07-14 | 深圳中兴网信科技有限公司 | 数据集标注方法、数据集标注装置和计算机可读存储介质 |
| CN112767321A (zh) * | 2021-01-05 | 2021-05-07 | 华东师范大学 | 一种基于随机森林的荧光结核杆菌检测方法 |
| CN112767321B (zh) * | 2021-01-05 | 2023-02-17 | 华东师范大学 | 一种基于随机森林的荧光结核杆菌检测方法 |
| CN112819796A (zh) * | 2021-02-05 | 2021-05-18 | 杭州天宸建筑科技有限公司 | 烟丝异物识别方法及设备 |
| CN113284160A (zh) * | 2021-04-23 | 2021-08-20 | 北京天智航医疗科技股份有限公司 | 一种手术导航标记珠体识别的方法、装置和设备 |
| CN113284160B (zh) * | 2021-04-23 | 2024-03-12 | 北京天智航医疗科技股份有限公司 | 一种手术导航标记珠体识别的方法、装置和设备 |
| CN114820478A (zh) * | 2022-04-12 | 2022-07-29 | 江西裕丰智能农业科技有限公司 | 脐橙果实病害图像标注方法、装置、计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109523563A (zh) | 一种提高显微图像标注效率的方法 | |
| Oliveira et al. | dhSegment: A generic deep-learning approach for document segmentation | |
| CN111723585B (zh) | 一种风格可控的图像文本实时翻译与转换方法 | |
| CN109378052B (zh) | 图像标注的预处理方法及系统 | |
| CN107832767A (zh) | 集装箱箱号识别方法、装置及电子设备 | |
| CN104820990A (zh) | 一种交互式图像抠图系统 | |
| CN111145209A (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
| Maglad | A vehicle license plate detection and recognition system | |
| CN110276354A (zh) | 一种高分辨率街景图片语义分割训练与实时分割方法 | |
| CN109460735A (zh) | 基于图半监督学习的文档二值化处理方法、系统、装置 | |
| KR102600475B1 (ko) | 제품 결함 검출 학습을 위한 딥러닝 기반 데이터 증강 방법 | |
| CN105844275A (zh) | 文本图像中文本行的定位方法 | |
| CN113673338A (zh) | 自然场景文本图像字符像素弱监督自动标注方法、系统及介质 | |
| CN111027538A (zh) | 一种基于实例分割模型的集装箱检测方法 | |
| CN111476794A (zh) | 一种基于unet的宫颈病理组织分割方法 | |
| Bijalwan et al. | Automatic text recognition in natural scene and its translation into user defined language | |
| CN101710385A (zh) | 高性能二维条形码解码方法 | |
| CN106611416A (zh) | 一种医学图像中肺分割的方法及装置 | |
| Li et al. | Fast regions-of-interest detection in whole slide histopathology images | |
| CN112132848B (zh) | 一种基于图像图层分割抽取的预处理方法 | |
| Dubey | Digital image restoration of historical devanagari manuscripts | |
| CN113743159A (zh) | 一种应用于电力企业的ocr方法 | |
| CN110533049A (zh) | 提取印章图像的方法和装置 | |
| CN117197459A (zh) | 基于显著性图与注意力机制的弱监督语义分割方法 | |
| CN111666954A (zh) | 一种显著区域的联合学习提取方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190326 |