CN109378052A - 图像标注的预处理方法及系统 - Google Patents
图像标注的预处理方法及系统 Download PDFInfo
- Publication number
- CN109378052A CN109378052A CN201811013931.XA CN201811013931A CN109378052A CN 109378052 A CN109378052 A CN 109378052A CN 201811013931 A CN201811013931 A CN 201811013931A CN 109378052 A CN109378052 A CN 109378052A
- Authority
- CN
- China
- Prior art keywords
- mark
- image
- pixel
- area
- tab area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000002372 labelling Methods 0.000 title claims abstract description 47
- 230000001575 pathological effect Effects 0.000 claims abstract description 112
- 238000012545 processing Methods 0.000 claims abstract description 54
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 238000012937 correction Methods 0.000 claims description 12
- 230000007170 pathology Effects 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000007792 addition Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000012217 deletion Methods 0.000 claims description 6
- 230000037430 deletion Effects 0.000 claims description 6
- 238000004043 dyeing Methods 0.000 claims description 2
- 238000011282 treatment Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 22
- 238000004590 computer program Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Epidemiology (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像标注的预处理方法及系统，通过针对人工已标注的病理图像，对病理图像同一区域内的标注线进行识别和处理，得到闭合的标注区域；对标注区域内包含的不同类型的细胞区域进行多分类处理；对多分类处理后的标注区域进行像素值填充，将病理图像对应的线型标注转化为像素点标注；根据得到的像素点标注，统计同类标注的原始图像特征，优化像素点标注边缘，得到处理后的病理图像标注；具有对图像的人工标注进行预处理，将病理图像对应的轮廓标注准确地转化为像素点标注的有益效果，减轻了人工标注的负担，降低了人工标注数据的获取成本，提高了标注的数据质量、数据预处理效率以及标注的准确率。
Description
技术领域
本发明涉及医疗领域的图像处理技术，特别涉及一种图像标注的预处理方法及系统。
背景技术
有监督的人工智能算法离不开海量的带标注的数据，对于绝大多数的人工智能项目而言，大量数据的人工标注是一项非常繁重的任务。基于人工智能的病理辅助诊断，同样需要依赖大量的数字病理图像的标注数据。相比普通自然图像的标注，数字病理图像的标注成本更高；因为医疗图像标注的专业门槛高，尤其是病理的判读，需要经验丰富的病理专家才能完成；且数字化的病理图像是一种全扫描图像(Whole Slide Image，WSI)，相比于其他医疗影像具有多层级、分辨率高、图像尺寸大的特点，标注非常耗时。标注完成后，在模型训练之前，通常需要对标注进行预处理，才能将其转化为训练数据。
现有的针对语义分割图像标注的预处理技术，通常采用以下两种方式：一种是对标注的轮廓进行连接和填充，将轮廓的标注转化为像素点的标注；另一种是结合原始图像对人工的标注进行局部修正。利用现有的预处理技术对病理图像标注进行识别转化时，由于不同类型标注的复杂嵌套，会导致标注间的互相覆盖，从而使得转化出错。另外，现有的标注修正技术都是针对普通尺寸的图像。对于高分辨率的全扫描图像，运用现有的区域提取和结合原图的标注修正算法可能无法在加载到内存运行，或者运行速度非常缓慢。且现有的标注预处理技术也缺少对标注边缘的修正。
发明内容
本发明提供一种图像标注的预处理方法及系统，用以对图像的人工标注进行预处理，将病理图像对应的轮廓标注准确地转化为像素点标注且能够对图像标注边缘进行自动修正。
本发明提供了一种图像标注的预处理方法，所述图像标注的预处理方法包括：
针对人工已标注的病理图像，对所述病理图像同一区域内的标注线进行识别和处理，得到闭合的标注区域；
对所述标注区域内包含的不同类型的细胞区域进行多分类处理；
对多分类处理后的标注区域进行像素值填充，将所述病理图像对应的线型标注转化为像素点标注；
根据得到的像素点标注，统计同类标注的原始图像特征，优化像素点标注边缘，得到处理后的病理图像标注。
优选地，所述对所述病理图像同一区域内的标注线进行识别和处理，得到闭合的标注区域，包括：
识别所述病理图像中属于同一区域的标注线；
针对识别出的同一区域的标注线，对分段标注线进行拼接处理，得到闭合的标注区域。
优选地，所述对所述标注区域内包含的不同类型的细胞区域进行多分类处理，包括：
将每个标注的标签类型定义为该标注所对应的细胞区域的区域类型；
分析各类型标注区域之间的重叠和包含关系，结合原图进行对照分析，对各类标注进行分组；
对每个分组的标注区域排序，得到有序的闭合标注区域。
优选地，所述对多分类处理后的标注区域进行像素值填充，将所述病理图像对应的线型标注转化为像素点标注，包括：
对排序后的标注区域分别处理；
按每各标注区域类型的对应值进行区域像素值填充，得到整个病理图像对应的像素点标注结果。
优选地，所述根据得到的像素点标注，统计同类标注的原始图像特征，优化像素点标注边缘，得到处理后的病理图像标注，包括：
统计所有类型标注的原始图像的整体特征；
对于每个标注区域，判断其边缘图像是否符合该种标签对应的特征；
根据与特征的相似程度对边缘轮廓进行增删，完成边缘修正，得到病理图像的精确标注。
基于以上所提供的一种图像标注的预处理方法，本发明还提供了一种图像标注的预处理系统，所述图像标注的预处理系统包括：
区域识别模块，用于针对人工已标注的病理图像，对所述病理图像同一区域内的标注线进行识别和处理，得到闭合的标注区域；
多分类处理模块，用于对所述标注区域内包含的不同类型的细胞区域进行多分类处理；
像素标注转化模块，用于对多分类处理后的标注区域进行像素值填充，将所述病理图像对应的线型标注转化为像素点标注；
边缘修正模块，用于根据得到的像素点标注，统计同类标注的原始图像特征，优化像素点标注边缘，得到处理后的病理图像标注。
优选地，所述区域识别模块用于：
识别所述病理图像中属于同一区域的标注线；
针对识别出的同一区域的标注线，对分段标注线进行拼接处理，得到闭合的标注区域。
优选地，所述多分类处理模块用于：
将每个标注的标签类型定义为该标注所对应的细胞区域的区域类型；
分析各类型标注区域之间的重叠和包含关系，结合原图进行对照分析，对各类标注进行分组；
对每个分组的标注区域排序，得到有序的闭合标注区域。
优选地，所述像素标注转化模块用于：
对排序后的标注区域分别处理；
按每各标注区域类型的对应值进行区域像素值填充，得到整个病理图像对应的像素点标注结果。
优选地，所述边缘修正模块用于：
统计所有类型标注的原始图像的整体特征；
对于每个标注区域，判断其边缘图像是否符合该种标签对应的特征；
根据与特征的相似程度对边缘轮廓进行增删，完成边缘修正，得到病理图像的精确标注。
本发明一种图像标注的预处理方法及系统可以达到如下有益效果：
通过针对人工已标注的病理图像，对所述病理图像同一区域内的标注线进行识别和处理，得到闭合的标注区域；对所述标注区域内包含的不同类型的细胞区域进行多分类处理；对多分类处理后的标注区域进行像素值填充，将所述病理图像对应的线型标注转化为像素点标注；根据得到的像素点标注，统计同类标注的原始图像特征，优化像素点标注边缘，得到处理后的病理图像标注；具有对图像的人工标注进行预处理，将病理图像对应的轮廓标注准确地转化为像素点标注的有益效果，由于这种处理方式能够对模糊、不准确的标注进行自动优化，即可达到甚至高于精细标注的效果，因此，减轻了人工标注的负担，降低了人工标注数据的获取成本，提高了标注的数据质量和数据预处理效率，同时也由于能够自动进行边缘修正，因此也提高了标注的准确率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所指出的内容来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明图像标注的预处理方法的一种实施方式的流程示意图；
图2是本发明图像标注的预处理方法中，图1所述实施例中的步骤S10的一种实施方式的流程示意图；
图3是本发明图像标注的预处理方法中，图1所述实施例中的步骤S20的一种实施方式的流程示意图；
图4是本发明图像标注的预处理方法中，“对多分类处理后的标注区域进行像素值填充”在一个具体应用场景中的部分病理图像示意图；
图5是本发明图像标注的预处理方法中，图1所述实施例中的步骤S30的一种实施方式的流程示意图；
图6是本发明图像标注的预处理方法中，图1所述实施例中的步骤S40的一种实施方式的流程示意图；
图7是本发明图像标注的预处理方法中，“通过最大类间方差法修正标注边缘”在一个具体应用场景中的部分病理图像示意图；
图8是本发明图像标注的预处理系统的一种实施方式的功能模块示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明提供一种图像标注的预处理方法及系统，用以对图像的人工标注进行预处理，将病理图像对应的轮廓标注准确地转化为像素点标注且能够对图像标注边缘进行自动修正；由于这种处理方式能够对模糊、不准确的标注进行自动优化，即可达到甚至高于精细标注的效果，因此，减轻了人工标注的负担，提高了标注效率和准确率，降低了人工标注数据的获取成本。
如图1所示，图1是本发明图像标注的预处理方法的一种实施方式的流程示意图；本发明一种图像标注的预处理方法可以实施为如下描述的步骤S10-S40：
步骤S10、针对人工已标注的病理图像，对所述病理图像同一区域内的标注线进行识别和处理，得到闭合的标注区域；
在本发明实施例中，由于全扫描病理图像(Whole Slide Image，WSI)是通过全自动显微镜或光学放大系统扫描采集得到高分辨数字图像，通过计算机进行高精度多视野无缝隙拼接和处理，从而获得的多层级可视化的图像，因此该病理图像具备多层级、分辨率高以及图像尺寸大的特点，在对该类型的病理图像进行标注的标注工具中，为了适应高分辨率病理图像的标注需求，标注工具允许通过在不同层级的多段曲线来标注一个区域。因此，在标注处理中需要对同一区域的标注线进行识别和处理，从而得到闭合的标注区域；其中，本发明实施例中的区域识别可以理解为，将分段的标注首尾拼接成闭合的曲线。
步骤S20、对所述标注区域内包含的不同类型的细胞区域进行多分类处理；
由于同一张病理图像中的标注区域内可能包含不同类型的细胞区域，而各类型的细胞区域相互包含会引起各种不同类型的标注相互嵌套的问题，因此，针对上述标注区域，为了确保后续将线性标注转化为像素点标注的正确处理，需要将标注区域内包含的不同类型的细胞区域进行多分类处理。
步骤S30、对多分类处理后的标注区域进行像素值填充，将所述病理图像对应的线型标注转化为像素点标注；
由于后续用于图像语义分割的训练数据必须是像素点的标注，因此，需要对多分类处理后的标注区域进行像素值填充，从而将对应的病理图像的线型标注转化为对应的像素点标注，从而得到后续图像语音分割所使用的训练数据。
步骤S40、根据得到的像素点标注，统计同类标注的原始图像特征，优化像素点标注边缘，得到处理后的病理图像标注。
因为病理图像的标注通常是为了区分不同类型的细胞或者组织，因此正确的标注边缘必然是沿着完整的细胞组织边缘的；所以，在得到像素点标注结果后，可以通过病理图像对应的原图细胞组织轮廓的提取，并结合人工标注进行标注边缘修正，从而得到更加准确的已标注病理图像。
由于数字化的病理图像还需要用于人工智能项目的训练，因此，为了提高数字化的病理图像作为训练集的质量，提高人工智能项目的稳健性，避免数字化的病理图像自身质量不佳的影响，在本发明的一个实施例中，
在对所述病理图像同一区域内的标注线进行识别和处理之前，还包括步骤：
识别病理图像中的识别对象；所述识别病理图像中的识别对象为根据病理图像的标题、病理图像中的文字或支持向量机等分类方法得到；
评估所述病理图像的整体质量；优选的，为了更适合大规模的图像质量评价，所述评估所述病理图像的整体质量，为基于图像边缘结构的图像质量评价方法，以图像的梯度结构相似度标准差作为图像质量评估的指标；
当所述病理图像的整体质量不大于预设第一质量阈值时，不对所述病理图像进行后续处理，并剔除所述病理图像；
当所述病理图像的整体质量大于预设第一质量阈值时，识别病理图像中的模糊区域；优选的，所述识别病理图像中的模糊区域为基于Sobel算子的空域评价算法，考虑到病理图像中的细胞具有较规则的排列和形状，所述基于Sobel算子的空域评价算法中的Sobel算子为八方向Sobel算子；
统计识别对象中的标注区域在图形中的分布，获取每种识别对象所对应的病理图像的标注区域的分布区域；
当存在与所述分布区域有交集的模糊区域时，不对所述病理图像进行后续处理，并剔除所述病理图像；否则，统计模糊区域的面积在整个病理图像面积中的占比，当所述占比大于预设第二质量阈值时，不对所述病理图像进行后续处理，并剔除所述病理图像；
当无法识别病理图像中的识别对象时，以第一公式作为模糊区域的面积修正权值统计修正后的模糊区域的面积在整个病理图像面积中的占比，当所述占比大于预设第二质量阈值时，不对所述病理图像进行后续处理，并剔除所述病理图像；所述第一公式为：
w(i)＝min(1,k×L(i))
其中，w(i)表示模糊区域中的像素i的面积修正权值，k为预设的正实数，表示图像的边界附近被标注的可能性，L(i)表示模糊区域中的像素i距离病理图像边界的最小距离。
在本发明一优选的实施例中，如图2所示，图2是本发明图像标注的预处理方法中，图1所述实施例中的步骤S10的一种实施方式的流程示意图；图1所述实施例的步骤S10中，“对所述病理图像同一区域内的标注线进行识别和处理，得到闭合的标注区域”，可以实施为如下描述的步骤S11-S12：
步骤S11、识别所述病理图像中属于同一区域的标注线；
步骤S12、针对识别出的同一区域的标注线，对分段标注线进行拼接处理，得到闭合的标注区域。
在本发明一优选的实施例中，如图3所示，图3是本发明图像标注的预处理方法中，图1所述实施例中的步骤S20的一种实施方式的流程示意图；图1所述实施例的“步骤S20、对所述标注区域内包含的不同类型的细胞区域进行多分类处理”，可以实施为如下描述的步骤S21-S23：
步骤S21、将每个标注的标签类型定义为该标注所对应的细胞区域的区域类型；
步骤S22、分析各类型标注区域之间的重叠和包含关系，结合原图进行对照分析，对各类标注进行分组；
步骤S23、对每个分组的标注区域排序，得到有序的闭合标注区域。
也可以理解为：本发明实施例中，为了处理病理图像的标注中，各种类型的细胞区域相互包含所引起的各种类型的标注相互嵌套的问题，首先定义每个标注的标签类型对应的是该标签所属细胞区域内的区域类型，然后对各个具有包含关系的标签建立依赖关系，即在执行像素值填充时，先对外层进行填充，再对内层进行填充。如图4所示，图4是本发明图像标注的预处理方法中，“对多分类处理后的标注区域进行像素值填充”在一个具体应用场景中的部分病理图像示意图；针对图4所示的病理图像，根据标注对应的标签之间的依赖关系，对建立完依赖关系的所有区域标注进拓扑排序，并按照排序完成的区域顺序执行后续的像素值填充，即可确保标注的正确处理。
在本发明一优选的实施例中，如图5所示，图5是本发明图像标注的预处理方法中，图1所述实施例中的步骤S30的一种实施方式的流程示意图；图1所述实施例的“步骤S30、对多分类处理后的标注区域进行像素值填充，将所述病理图像对应的线型标注转化为像素点标注”，可以实施为如下描述的步骤S31-S32：
步骤S31、对排序后的标注区域分别处理；
步骤S32、按每各标注区域类型的对应值进行区域像素值填充，得到整个病理图像对应的像素点标注结果。
在通过分区对每块小图区域进行填充时，第一是需要确定填充的边界，第二是需要确定填充的标注类型。本发明实施例通过缩略图的标注类型结合精确的标注边缘实现精确的区域类型值的填充，得到像素标注结果；再将所有的标注进行拼接，得到最终整图的像素点标注结果。图5所述的这种实施方式，提高了区域标注到像素标注的转化效率。
在本发明一优选的实施例中，如图6所示，图6是本发明图像标注的预处理方法中，图1所述实施例中的步骤S40的一种实施方式的流程示意图；图1所述实施例的“步骤S40、根据得到的像素点标注，统计同类标注的原始图像特征，优化像素点标注边缘，得到处理后的病理图像标注”，可以实施为如下描述的步骤S41-S43：
步骤S41、统计所有类型标注的原始图像的整体特征；
步骤S42、对于每个标注区域，判断其边缘图像是否符合该种标签对应的特征；
步骤S43、根据与特征的相似程度对边缘轮廓进行增删，完成边缘修正，得到病理图像的精确标注。
本发明实施例中，通过最大类间方差法(Otsu's method)，根据病理图像对应的原图的灰度特性，确定一个自适应的阈值，将图像分为前景和背景两个部分；再提取病理图像对应的原图的其余显著的特征得到基本的细胞组织边缘轮廓。在修正人工标注数据的过程中，如果标注像素处于细胞组织边缘之外，则将细胞组织边缘之外的标注区域删除，令人工标注的数据点贴合相近的细胞组织边缘轮廓，最终实现人工标注的修正。如图7所示，图7是本发明图像标注的预处理方法中，“通过最大类间方差法修正标注边缘”在一个具体应用场景中的部分病理图像示意图；通过利用图6所描述的实施方式，即可使得人工标注的数据点贴合相近的细胞组织边缘轮廓，达到人工标注的边缘修正。
其中，本发明实施例中所描述的最大类间方差法可以理解为：是一种自适应的阈值确定的方法，是按图像的灰度特性，将图像分成背景和目标两部分；背景和目标之间的类间方差越大，说明构成图像的两部分的差别越大，当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小。因此，使类间方差最大的分割意味着错分概率最小。
本发明图像标注的预处理方法通过针对人工已标注的病理图像，对所述病理图像同一区域内的标注线进行识别和处理，得到闭合的标注区域；对所述标注区域内包含的不同类型的细胞区域进行多分类处理；对多分类处理后的标注区域进行像素值填充，将所述病理图像对应的线型标注转化为像素点标注；根据得到的像素点标注，统计同类标注的原始图像特征，优化像素点标注边缘，得到处理后的病理图像标注；具有对图像的人工标注进行预处理，将病理图像对应的轮廓标注准确地转化为像素点标注的有益效果，由于这种处理方式能够对模糊、不准确的标注进行自动优化，即可达到甚至高于精细标注的效果，因此，减轻了人工标注的负担，降低了人工标注数据的获取成本，提高了标注的数据质量和数据预处理效率，同时也由于能够自动进行边缘修正，因此也提高了标注的准确率。
对应于以上实施例所描述的一种图像标注的预处理方法，本发明还提供了一种图像标注的预处理系统；该图像标注的预处理系统能够实施上述图1至图7任意一个实施例所描述的一种图像标注的预处理方法；针对图像标注的预处理方法的相关实施例，在此不再赘述。如图8所示，图8是本发明图像标注的预处理系统的一种实施方式的功能模块示意图；本发明图像标注的预处理系统包括：
区域识别模块100，用于针对人工已标注的病理图像，对所述病理图像同一区域内的标注线进行识别和处理，得到闭合的标注区域；
多分类处理模块200，用于对所述标注区域内包含的不同类型的细胞区域进行多分类处理；
像素标注转化模块300，用于对多分类处理后的标注区域进行像素值填充，将所述病理图像对应的线型标注转化为像素点标注；
边缘修正模块400，用于根据得到的像素点标注，统计同类标注的原始图像特征，优化像素点标注边缘，得到处理后的病理图像标注。
在本发明一优选的实施例中，所述区域识别模块100用于：
识别所述病理图像中属于同一区域的标注线；
针对识别出的同一区域的标注线，对分段标注线进行拼接处理，得到闭合的标注区域。
在本发明一优选的实施例中，所述多分类处理模块200用于：
将每个标注的标签类型定义为该标注所对应的细胞区域的区域类型；
分析各类型标注区域之间的重叠和包含关系，结合原图进行对照分析，对各类标注进行分组；
对每个分组的标注区域排序，得到有序的闭合标注区域。
在本发明一优选的实施例中，所述像素标注转化模块300用于：
对排序后的标注区域进行分区处理，得到分区后对应的每块小图像；
确定得到的每块小图像所分别对应的填充边界，利用缩略图的标注类型结合对应的标注边缘，采用分区并行处理的方式，通过分区染色对每块小图像进行区域类型值的填充，得到每块小图像分别对应的像素标注结果；
将所有小图像的像素标注进行拼接，得到整个病理图像对应的像素点标注结果。
在本发明一优选的实施例中，所述边缘修正模块400用于：
统计所有类型标注的原始图像的整体特征；
对于每个标注区域，判断其边缘图像是否符合该种标签对应的特征；
根据与特征的相似程度对边缘轮廓进行增删，完成边缘修正，得到病理图像的精确标注。
本发明图像标注的预处理系统通过针对人工已标注的病理图像，对所述病理图像同一区域内的标注线进行识别和处理，得到闭合的标注区域；对所述标注区域内包含的不同类型的细胞区域进行多分类处理；对多分类处理后的标注区域进行像素值填充，将所述病理图像对应的线型标注转化为像素点标注；根据得到的像素点标注，统计同类标注的原始图像特征，优化像素点标注边缘，得到处理后的病理图像标注；具有对图像的人工标注进行预处理，将病理图像对应的轮廓标注准确地转化为像素点标注的有益效果，由于这种处理方式能够对模糊、不准确的标注进行自动优化，即可达到甚至高于精细标注的效果，因此，减轻了人工标注的负担，降低了人工标注数据的获取成本，提高了标注的数据质量和数据预处理效率，同时也由于能够自动进行边缘修正，因此也提高了标注的准确率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种图像标注的预处理方法，其特征在于，所述图像标注的预处理方法包括：
针对人工已标注的病理图像，对所述病理图像同一区域内的标注线进行识别和处理，得到闭合的标注区域；
对所述标注区域内包含的不同类型的细胞区域进行多分类处理；
对多分类处理后的标注区域进行像素值填充，将所述病理图像对应的线型标注转化为像素点标注；
根据得到的像素点标注，统计同类标注的原始图像特征，优化像素点标注边缘，得到处理后的病理图像标注。
2.如权利要求1所述的图像标注的预处理方法，其特征在于，所述对所述病理图像同一区域内的标注线进行识别和处理，得到闭合的标注区域，包括：
识别所述病理图像中属于同一区域的标注线；
针对识别出的同一区域的标注线，对分段标注线进行拼接处理，得到闭合的标注区域。
3.如权利要求1或2所述的图像标注的预处理方法，其特征在于，所述对所述标注区域内包含的不同类型的细胞区域进行多分类处理，包括：
将每个标注的标签类型定义为该标注所对应的细胞区域的区域类型；
分析各类型标注区域之间的重叠和包含关系，结合原图进行对照分析，对各类标注进行分组；
对每个分组的标注区域排序，得到有序的闭合标注区域。
4.如权利要求3所述的图像标注的预处理方法，其特征在于，所述对多分类处理后的标注区域进行像素值填充，将所述病理图像对应的线型标注转化为像素点标注，包括：
对排序后的标注区域分别处理；
按每各标注区域类型的对应值进行区域像素值填充，得到整个病理图像对应的像素点标注结果。
5.如权利要求1或2所述的图像标注的预处理方法，其特征在于，所述根据得到的像素点标注，统计同类标注的原始图像特征，优化像素点标注边缘，得到处理后的病理图像标注，包括：
统计所有类型标注的原始图像的整体特征；
对于每个标注区域，判断其边缘图像是否符合该种标签对应的特征；
根据与特征的相似程度对边缘轮廓进行增删，完成边缘修正，得到病理图像的精确标注。
6.一种图像标注的预处理系统，其特征在于，所述图像标注的预处理系统包括：
区域识别模块，用于针对人工已标注的病理图像，对所述病理图像同一区域内的标注线进行识别和处理，得到闭合的标注区域；
多分类处理模块，用于对所述标注区域内包含的不同类型的细胞区域进行多分类处理；
像素标注转化模块，用于对多分类处理后的标注区域进行像素值填充，将所述病理图像对应的线型标注转化为像素点标注；
边缘修正模块，用于根据得到的像素点标注，统计同类标注的原始图像特征，优化像素点标注边缘，得到处理后的病理图像标注。
7.如权利要求6所述的图像标注的预处理系统，其特征在于，所述区域识别模块用于：
识别所述病理图像中属于同一区域的标注线；
针对识别出的同一区域的标注线，对分段标注线进行拼接处理，得到闭合的标注区域。
8.如权利要求6或7所述的图像标注的预处理系统，其特征在于，所述多分类处理模块用于：
将每个标注的标签类型定义为该标注所对应的细胞区域的区域类型；
分析各类型标注区域之间的重叠和包含关系，结合原图进行对照分析，对各类标注进行分组；
对每个分组的标注区域排序，得到有序的闭合标注区域。
9.如权利要求8所述的图像标注的预处理系统，其特征在于，所述像素标注转化模块用于：
对排序后的标注区域进行分区处理，得到分区后对应的每块小图像；
确定得到的每块小图像所分别对应的填充边界，利用缩略图的标注类型结合对应的标注边缘，采用分区并行处理的方式，通过分区染色对每块小图像进行区域类型值的填充，得到每块小图像分别对应的像素标注结果；
将所有小图像的像素标注进行拼接，得到整个病理图像对应的像素点标注结果。
10.如权利要求6或7所述的图像标注的预处理系统，其特征在于，所述边缘修正模块用于：
统计所有类型标注的原始图像的整体特征；
对于每个标注区域，判断其边缘图像是否符合该种标签对应的特征；
根据与特征的相似程度对边缘轮廓进行增删，完成边缘修正，得到病理图像的精确标注。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811013931.XA CN109378052B (zh) | 2018-08-31 | 2018-08-31 | 图像标注的预处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811013931.XA CN109378052B (zh) | 2018-08-31 | 2018-08-31 | 图像标注的预处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109378052A true CN109378052A (zh) | 2019-02-22 |
| CN109378052B CN109378052B (zh) | 2019-07-30 |
Family
ID=65404809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811013931.XA Active CN109378052B (zh) | 2018-08-31 | 2018-08-31 | 图像标注的预处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109378052B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109975196A (zh) * | 2019-03-01 | 2019-07-05 | 深圳大学 | 一种网织红细胞检测方法及其系统 |
| CN110377779A (zh) * | 2019-05-29 | 2019-10-25 | 腾讯科技（深圳）有限公司 | 图像标注的方法、基于病理图像的标注展示方法及装置 |
| CN110782439A (zh) * | 2019-10-21 | 2020-02-11 | 北京云聚智慧科技有限公司 | 一种辅助检测图像标注质量的方法及装置 |
| CN110826560A (zh) * | 2019-11-06 | 2020-02-21 | 山东省计算中心（国家超级计算济南中心） | 一种食管癌病理图像标注方法 |
| CN110866930A (zh) * | 2019-11-18 | 2020-03-06 | 北京云聚智慧科技有限公司 | 语义分割辅助标注方法与装置 |
| CN111986150A (zh) * | 2020-07-17 | 2020-11-24 | 万达信息股份有限公司 | 一种数字病理图像的交互式标注精细化方法 |
| CN112132232A (zh) * | 2020-10-19 | 2020-12-25 | 武汉千屏影像技术有限责任公司 | 医学图像的分类标注方法和系统、服务器 |
| WO2021164328A1 (zh) * | 2020-02-17 | 2021-08-26 | 腾讯科技（深圳）有限公司 | 图像生成方法、设备及存储介质 |
| CN113744267A (zh) * | 2021-11-04 | 2021-12-03 | 智洋创新科技股份有限公司 | 一种基于深度学习的输电导线覆冰检测和厚度估计的方法 |
| CN114067118A (zh) * | 2022-01-12 | 2022-02-18 | 湖北晓雲科技有限公司 | 一种航空摄影测量数据的处理方法 |
| CN114170481A (zh) * | 2022-02-10 | 2022-03-11 | 北京字节跳动网络技术有限公司 | 用于图像处理的方法、设备、存储介质和程序产品 |
| CN116386902A (zh) * | 2023-04-24 | 2023-07-04 | 北京透彻未来科技有限公司 | 基于深度学习的大肠癌人工智能辅助病理诊断系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105608319A (zh) * | 2015-12-21 | 2016-05-25 | 江苏康克移软软件有限公司 | 一种数字病理切片的标注方法及标注装置 |
| CN107516005A (zh) * | 2017-07-14 | 2017-12-26 | 上海交通大学 | 一种数字病理图像标注的方法和系统 |
| CN108288506A (zh) * | 2018-01-23 | 2018-07-17 | 雨声智能科技（上海）有限公司 | 一种基于人工智能技术的癌症病理辅助诊断方法 |
| CN108364288A (zh) * | 2018-03-01 | 2018-08-03 | 北京航空航天大学 | 用于乳腺癌病理图像的分割方法和装置 |
-
2018
- 2018-08-31 CN CN201811013931.XA patent/CN109378052B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105608319A (zh) * | 2015-12-21 | 2016-05-25 | 江苏康克移软软件有限公司 | 一种数字病理切片的标注方法及标注装置 |
| CN107516005A (zh) * | 2017-07-14 | 2017-12-26 | 上海交通大学 | 一种数字病理图像标注的方法和系统 |
| CN108288506A (zh) * | 2018-01-23 | 2018-07-17 | 雨声智能科技（上海）有限公司 | 一种基于人工智能技术的癌症病理辅助诊断方法 |
| CN108364288A (zh) * | 2018-03-01 | 2018-08-03 | 北京航空航天大学 | 用于乳腺癌病理图像的分割方法和装置 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109975196B (zh) * | 2019-03-01 | 2021-10-08 | 深圳大学 | 一种网织红细胞检测方法及其系统 |
| CN109975196A (zh) * | 2019-03-01 | 2019-07-05 | 深圳大学 | 一种网织红细胞检测方法及其系统 |
| CN110377779A (zh) * | 2019-05-29 | 2019-10-25 | 腾讯科技（深圳）有限公司 | 图像标注的方法、基于病理图像的标注展示方法及装置 |
| CN110782439A (zh) * | 2019-10-21 | 2020-02-11 | 北京云聚智慧科技有限公司 | 一种辅助检测图像标注质量的方法及装置 |
| CN110782439B (zh) * | 2019-10-21 | 2022-02-15 | 北京云聚智慧科技有限公司 | 一种辅助检测图像标注质量的方法及装置 |
| CN110826560A (zh) * | 2019-11-06 | 2020-02-21 | 山东省计算中心（国家超级计算济南中心） | 一种食管癌病理图像标注方法 |
| CN110826560B (zh) * | 2019-11-06 | 2023-10-27 | 山东省计算中心（国家超级计算济南中心） | 一种食管癌病理图像标注方法 |
| CN110866930A (zh) * | 2019-11-18 | 2020-03-06 | 北京云聚智慧科技有限公司 | 语义分割辅助标注方法与装置 |
| CN110866930B (zh) * | 2019-11-18 | 2022-04-12 | 北京云聚智慧科技有限公司 | 语义分割辅助标注方法与装置 |
| WO2021164328A1 (zh) * | 2020-02-17 | 2021-08-26 | 腾讯科技（深圳）有限公司 | 图像生成方法、设备及存储介质 |
| US11847812B2 (en) | 2020-02-17 | 2023-12-19 | Tencent Technology (Shenzhen) Company Limited | Image generation method and apparatus, device, and storage medium |
| CN111986150A (zh) * | 2020-07-17 | 2020-11-24 | 万达信息股份有限公司 | 一种数字病理图像的交互式标注精细化方法 |
| CN111986150B (zh) * | 2020-07-17 | 2024-02-09 | 万达信息股份有限公司 | 一种数字病理图像的交互式标注精细化方法 |
| CN112132232A (zh) * | 2020-10-19 | 2020-12-25 | 武汉千屏影像技术有限责任公司 | 医学图像的分类标注方法和系统、服务器 |
| CN113744267A (zh) * | 2021-11-04 | 2021-12-03 | 智洋创新科技股份有限公司 | 一种基于深度学习的输电导线覆冰检测和厚度估计的方法 |
| CN114067118A (zh) * | 2022-01-12 | 2022-02-18 | 湖北晓雲科技有限公司 | 一种航空摄影测量数据的处理方法 |
| CN114170481A (zh) * | 2022-02-10 | 2022-03-11 | 北京字节跳动网络技术有限公司 | 用于图像处理的方法、设备、存储介质和程序产品 |
| CN116386902A (zh) * | 2023-04-24 | 2023-07-04 | 北京透彻未来科技有限公司 | 基于深度学习的大肠癌人工智能辅助病理诊断系统 |
| CN116386902B (zh) * | 2023-04-24 | 2023-12-19 | 北京透彻未来科技有限公司 | 基于深度学习的大肠癌人工智能辅助病理诊断系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109378052B (zh) | 2019-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109378052B (zh) | 图像标注的预处理方法及系统 | |
| CN108921166A (zh) | 基于深度神经网络的医疗票据类文本检测识别方法及系统 | |
| CN110556179B (zh) | 使用深度神经网络标记全脊柱图像的方法和系统 | |
| CN105844621A (zh) | 一种印刷品质量检测方法 | |
| CN108537751B (zh) | 一种基于径向基神经网络的甲状腺超声图像自动分割方法 | |
| CN104484886B (zh) | 一种mr图像的分割方法及装置 | |
| CN106611416B (zh) | 一种医学图像中肺分割的方法及装置 | |
| CN110246567B (zh) | 一种医学图像预处理方法 | |
| CN110807775A (zh) | 基于人工智能的中医舌像分割装置、方法及存储介质 | |
| CN109284779A (zh) | 基于深度全卷积网络的物体检测方法 | |
| CN110674808A (zh) | 一种变电站压板状态智能识别方法及装置 | |
| CN112037180B (zh) | 染色体分割方法及装置 | |
| CN109522963A (zh) | 一种单机运行的特征建筑目标检测方法和系统 | |
| CN104217213A (zh) | 一种基于对称性理论的医学图像多阶段分类方法 | |
| Liu et al. | Region segmentation via deformable model-guided split and merge | |
| CN108876795A (zh) | 一种图像中物体的分割方法及系统 | |
| CN109919149A (zh) | 基于物体检测模型的物体标注方法及相关设备 | |
| CN109002831A (zh) | 一种基于卷积神经网络的乳腺密度分类方法、系统及装置 | |
| CN113158895A (zh) | 票据识别方法、装置、电子设备及存储介质 | |
| CN112883926A (zh) | 表格类医疗影像的识别方法及装置 | |
| CN104463091B (zh) | 一种基于图像lgbp特征子向量的人脸图像识别方法 | |
| CN115546466A (zh) | 一种基于多尺度显著特征融合的弱监督图像目标定位方法 | |
| CN105404682B (zh) | 一种基于数字图像内容的图书检索方法 | |
| CN108416304B (zh) | 一种利用上下文信息的三分类人脸检测方法 | |
| CN113807364A (zh) | 一种基于三光融合成像的电力设备缺陷检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221031 Address after: 100000 608, Floor 6, No. 39, Lianhuachi East Road, Haidian District, Beijing Patentee after: Beijing Thorough Future Technology Co.,Ltd. Address before: 100000 No. 141, 1st Floor, Building B, Building 1, No. 38 A, Zhongguancun Street, Haidian District, Beijing Patentee before: TOUCHE IMAGE (BEIJING) TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |