CN113469972B - 标注医学切片图像的方法、装置、存储介质及电子设备 - Google Patents
标注医学切片图像的方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113469972B CN113469972B CN202110739373.0A CN202110739373A CN113469972B CN 113469972 B CN113469972 B CN 113469972B CN 202110739373 A CN202110739373 A CN 202110739373A CN 113469972 B CN113469972 B CN 113469972B
- Authority
- CN
- China
- Prior art keywords
- image
- value
- sub
- medical slice
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 215
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000003902 lesion Effects 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000002663 humin Substances 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000004072 lung Anatomy 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种标注医学切片图像的方法、装置、存储介质及电子设备。该方法包括:根据已标注医学切片图像的病灶标注区域,确定图像切割框的位置,所述图像切割框的范围覆盖所述病灶标注区域,所述已标注医学切片图像是连续的多张医学切片图像中已标注病灶的医学切片图像;针对所述连续的多张医学切片图像中的未标注医学切片图像,根据所述图像切割框的位置从所述未标注医学切片图像中分割出待标注子图像;将所述待标注子图像输入病灶标注模型,得到病灶标注子图像;根据所述病灶标注子图像对所述未标注医学切片图像进行标注,得到所述未标注医学切片图像的病灶标注结果。采用本公开的这种方法,可提升医学切片图像的标注效率。
Description
技术领域
本公开涉及图像处理技术领域,具体地,涉及一种标注医学切片图像的方法、装置、存储介质及电子设备。
背景技术
由于医学数据对疾病的诊断、治疗以及医学研究都具有非常重要的研究价值,所以目前医疗相关人员会对收集到的医学数据进行大数据分析,以挖掘其潜在价值。相关技术中,医疗相关人员对CT医学数据进行数据分析时,会先对CT图像上的病灶进行识别和标注。然而,这种对大量CT图像上的病灶进行人工识别和标注的方式效率很低。
发明内容
本公开的目的是提供一种标注医学切片图像的方法、装置、存储介质及电子设备,以解决相关技术中存在的问题,提升医学切片图像的标注效率。
为了实现上述目的,本公开实施例的第一部分提供一种标注医学切片图像的方法,所述方法包括:
根据已标注医学切片图像的病灶标注区域,确定图像切割框的位置,所述图像切割框的范围覆盖所述病灶标注区域,所述已标注医学切片图像是连续的多张医学切片图像中已标注病灶的医学切片图像;
针对所述连续的多张医学切片图像中的未标注医学切片图像,根据所述图像切割框的位置从所述未标注医学切片图像中分割出待标注子图像;
将所述待标注子图像输入病灶标注模型,得到病灶标注子图像;
根据所述病灶标注子图像对所述未标注医学切片图像进行标注,得到所述未标注医学切片图像的病灶标注结果。
本公开实施例的第二部分,提供一种标注医学切片图像的装置,所述装置包括:
确定模块,用于根据已标注医学切片图像的病灶标注区域,确定图像切割框的位置,所述图像切割框的范围覆盖所述病灶标注区域,所述已标注医学切片图像是连续的多张医学切片图像中已标注病灶的医学切片图像;
分割模块,用于针对所述连续的多张医学切片图像中的未标注医学切片图像,根据所述图像切割框的位置从所述未标注医学切片图像中分割出待标注子图像;
输入模块,用于将所述待标注子图像输入病灶标注模型,得到病灶标注子图像;
标注模块,用于根据所述病灶标注子图像对所述未标注医学切片图像进行标注,得到所述未标注医学切片图像的病灶标注结果。
本公开实施例的第三部分,提供一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一部分中任一项所述方法的步骤。
本公开实施例的第四部分,提供一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现第一部分中任一项所述方法的步骤。
采用上述技术方案,至少可以达到如下的有益技术效果:
根据已标注医学切片图像的病灶标注区域,确定图像切割框的位置。针对连续的多张医学切片图像中的未标注医学切片图像,根据图像切割框的位置从未标注医学切片图像中分割出待标注子图像。将待标注子图像输入病灶标注模型,得到病灶标注子图像。根据病灶标注子图像对未标注医学切片图像进行标注,得到未标注医学切片图像的病灶标注结果。采用本公开的这种方式,最多只需人工标注一张医学切片图像,因而可避免相关技术中需对所有医学切片图像进行人工标注导致的效率低的问题,提升医学切片图像的标注效率。
而且,本公开的这种根据图像切割框的位置从未标注医学切片图像中分割出待标注子图像,然后仅将待标注子图像输入病灶标注模型,得到病灶标注子图像的方式,避免了病灶标注模型对完整的未标注医学切片图像进行病灶标注而导致的模型数据处理量大的问题,因而本公开的这种方式还降低了模型的数据处理量,如此可进一步提升医学切片图像的标注效率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据本公开一示例性实施例示出的一种标注医学切片图像的方法流程图。
图2是根据本公开一示例性实施例示出的一种连续的多张肺部医学切片图像。
图3是根据本公开一示例性实施例示出的一种医学切片图像及病灶标注结果。
图4是根据本公开一示例性实施例示出的一种病灶标注子图像。
图5是根据本公开一示例性实施例示出的一种神经网络模型。
图6是根据本公开一示例性实施例示出的一种标注医学切片图像的装置的框图。
图7是根据本公开一示例性实施例示出的一种电子设备的框图。
图8是根据本公开一示例性实施例示出的另一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
正如背景技术所述,相关技术中,医疗相关人员对CT医学数据进行数据分析时,会先对CT图像上的病灶进行识别和标注。然而,这种对大量CT图像上的病灶进行人工识别和标注的方式效率很低。
而随着AI技术在医学数据处理领域的逐步应用,为了避免因对大量CT图像进行人工识别病灶和标注病灶而导致的低效率问题,人们使用了神经网络来代替医疗相关人员对CT图像上的病灶进行标注。然而这对神经网络的架构要求较高,训练复杂的神经网络又对样本数据要求较高,而且架构复杂的神经网络在考虑到过拟合的情况下,对CT图像的标注结果也不够准确。
有鉴于此,本公开实施例提供一种标注医学切片图像的方法、装置、存储介质及电子设备,以解决上述相关技术中存在的问题。
值得声明的是,本公开实施例中所获取或使用的数据,如医学切片图像是在得到合法授权的情况下获取或使用的。
图1是根据本公开一示例性实施例示出的一种标注医学切片图像的方法流程图。如图1所示,该标注医学切片图像的方法包括以下步骤:
S11、根据已标注医学切片图像的病灶标注区域,确定图像切割框的位置,所述图像切割框的范围覆盖所述病灶标注区域,所述已标注医学切片图像是连续的多张医学切片图像中已标注病灶的医学切片图像。
应当说明的是,由于病灶在生物体内的存在形式是3D形式,如类球体、类长柱体,类橄榄型等形式,所以针对包括一个病灶的生物区域进行切片后,会得到多张有序的切片图像,而且通常情况下,病灶往往分布在连续的几张切片上。示例地,如图2所示的连续的多张肺部医学切片图像。
以图3为例来说明已标注医学切片图像的病灶标注区域。图3中的左侧图像是图2所示的连续的多张肺部医学切片图像中的第三张肺部医学切片图像,图3中的右侧图像是对左侧图像进行病灶标注后的结果。图3中的右侧图像中的白色区域为病灶标注区域。
容易理解的是,图像切割框的范围覆盖病灶标注区域,表征的是图像切割框覆盖的区域大于或等于病灶标注区域。
S12、针对所述连续的多张医学切片图像中的未标注医学切片图像,根据所述图像切割框的位置从所述未标注医学切片图像中分割出待标注子图像。
S13、将所述待标注子图像输入病灶标注模型,得到病灶标注子图像。
其中,病灶标注模型可以为如图5所示的神经网络模型。如图5所示,该神经网络模型由卷积层、激活层、下采样层、上采样层、直连层等结构组成。
病灶标注模型的训练方式如下:将样本医学切片图像和该样本医学切片图像的样本病灶标注图像作为病灶标注模型的训练样本,根据该训练样本训练得到病灶标注模型。或者,病灶标注模型的训练方式如下:将样本医学切片子图像和该样本医学切片子图像的样本病灶标注子图像作为病灶标注模型的训练样本,根据该训练样本训练病灶标注模型。
S14、根据所述病灶标注子图像对所述未标注医学切片图像进行标注,得到所述未标注医学切片图像的病灶标注结果。
一种可能的实施方式,所述根据所述病灶标注子图像对所述未标注医学切片图像进行标注,得到所述未标注医学切片图像的病灶标注结果,包括:
新建一张与所述未标注医学切片图像大小相同、且各像素点均为目标值的初始病灶标注图像,并用所述病灶标注子图像替换所述初始病灶标注图像上相同位置的图像区域,得到所述未标注医学切片图像的病灶标注结果。
其中,目标值可以为0,在像素点为0时表征该像素点为非病灶像素点。容易理解的是,基于需求,目标值也可以为其他值。
详细地实施方式,新建一张与未标注医学切片图像大小相同、且各像素点均为目标值的初始病灶标注图像。在目标值为0的情况下,该初始病灶标注图像是一张与未标注医学切片图像大小相同的黑色图像。进一步地,用S13中得到的病灶标注子图像替换初始病灶标注图像上相同位置的图像区域,得到未标注医学切片图像的病灶标注结果。示例地,以图3和图4为例,假设图3中左侧医学切片图像的病灶标注子图像如图4所示,那么用图4所示的病灶标注子图像替换初始病灶标注图像上相同位置的图像区域后,可得到如图3右侧图像所示的病灶标注结果。
值得说明的是,病灶标注结果可以为图3右侧图像所示的二值图像,如此可理解的是,图3右侧图像所示的二值图像所表征的病灶标注结果为像素级的病灶标注结果。基于相类似的原理,病灶标注结果还可以为与图3右侧图像所示的二值图像相对应的以矩阵形式、数组形式进行描述的病灶标注结果。对此,本公开不作具体的限制。
采用本公开的这种方法,根据已标注医学切片图像的病灶标注区域,确定图像切割框的位置。针对连续的多张医学切片图像中的未标注医学切片图像,根据图像切割框的位置从未标注医学切片图像中分割出待标注子图像。将待标注子图像输入病灶标注模型,得到病灶标注子图像。根据病灶标注子图像对未标注医学切片图像进行标注,得到未标注医学切片图像的病灶标注结果。采用本公开的这种方式,最多只需人工标注一张医学切片图像,因而可避免相关技术中需对所有医学切片图像进行人工标注导致的效率低的问题,提升医学切片图像的标注效率。
而且,本公开的这种根据图像切割框的位置从未标注医学切片图像中分割出待标注子图像,然后仅将待标注子图像输入病灶标注模型,得到病灶标注子图像的方式,避免了病灶标注模型对完整的未标注医学切片图像进行病灶标注而导致的模型数据处理量大的问题,因而本公开的这种方式还降低了模型的数据处理量,如此可进一步提升医学切片图像的标注效率。
可选地,所述已标注医学切片图像为经过人工标注病灶的医学切片图像,针对所述未标注医学切片图像执行的操作包括:针对所述连续的多张医学切片图像中的每一张未标注医学切片图像,均执行所述根据所述图像切割框的位置从所述未标注医学切片图像中分割出待标注子图像,至所述根据所述病灶标注子图像对所述未标注医学切片图像进行标注的步骤。
由于针对包括至少一个病灶的生物区域进行切片后,会得到多张有序的切片图像,而且通常情况下,病灶往往分布在连续的几张切片上。所以本公开提出,可由人工对连续的多张医学切片图像中的任一张医学切片图像进行病灶标注,得到已标注医学切片图像。
而基于病灶的3D形态特征,已标注医学切片图像可以为连续的多张医学切片图像中的病灶切面面积最大/较大的一张医学切片图像。值得说明的是,连续的多张医学切片图像中的中间位置的医学切片图像往往是病灶切面面积最大/较大的医学切片图像。
因此,一种优选的实施方式,所述已标注医学切片图像为经过人工标注病灶的医学切片图像,且所述已标注医学切片图像为所述连续的多张医学切片图像中较为中间位置上的医学切片图像。
在已标注医学切片图像为连续的多张医学切片图像中的病灶切面面积最大/较大的一张医学切片图像的情况下,基于已标注医学切片图像的病灶标注区域确定的图像切割框,可以覆盖连续的多张医学切片图像中每一张未标注医学切片图像中的病灶区域。那么,针对所述未标注医学切片图像执行的操作(即S12针对所述连续的多张医学切片图像中的未标注医学切片图像,根据所述图像切割框的位置从所述未标注医学切片图像中分割出待标注子图像;S13将所述待标注子图像输入病灶标注模型,得到病灶标注子图像;S14根据所述病灶标注子图像对所述未标注医学切片图像进行标注,得到所述未标注医学切片图像的病灶标注结果)包括:针对所述连续的多张医学切片图像中的每一张未标注医学切片图像,均执行所述根据所述图像切割框的位置从所述未标注医学切片图像中分割出待标注子图像,至所述根据所述病灶标注子图像对所述未标注医学切片图像进行标注的步骤(即均执行上述S12至S14的步骤),以得到每一张未标注医学切片图像的病灶标注结果。
采用这种方式,由于只需人工标注连续的多张医学切片图像中的一张医学切片图像,得到已标注医学切片图像。根据已标注医学切片图像的病灶标注区域,计算一次图像切割框的位置,所以这种方式对应的算法复杂度较小,数据处理速度快。所以采用这种方式对连续的多张医学切片图像进行病灶标注的效率较高。
此外,值得说明的是,由于采用本公开的上述方法,是将未标注医学切片图像的待标注子图像输入病灶标注模型,得到病灶标注子图像的。因此,这种方法已经避免了因将完整的未标注医学切片图像输入病灶标注模型而导致的病灶标注模型的数据处理量大的问题。在此基础之上,为了进一步降低病灶标注模型的数据处理量,本公开还提出另一种可实现的实施方式:所述针对所述连续的多张医学切片图像中的未标注医学切片图像,根据所述图像切割框的位置从所述未标注医学切片图像中分割出待标注子图像,包括:针对所述连续的多张医学切片图像中,与所述已标注医学切片图像相邻的未标注医学切片图像,根据所述图像切割框的位置从所述未标注医学切片图像中分割出待标注子图像;
相应地,所述方法还包括:在得到所述未标注医学切片图像的病灶标注结果后,将所述未标注医学切片图像作为新的所述已标注医学切片图像,并返回执行根据已标注医学切片图像的病灶标注区域,确定图像切割框的位置的步骤。
举例来说,假设连续的多张医学切片图像的编号依次为切片1、切片2、切片3、切片4、切片5、切片6。其中,切片3为已标注医学切片图像。采用本公开的这种进一步降低病灶标注模型的数据处理量的方法,对切片1、切片2、切片4、切片5、切片6进行标注的步骤为:根据切片3的病灶标注区域,确定图像切割框的位置;针对连续的多张医学切片图像中,与切片3相邻的切片2(与切片3相邻的切片为切片2、切片4),根据图像切割框的位置从切片2中分割出待标注子图像;将该将待标注子图像输入病灶标注模型,得到病灶标注子图像;根据病灶标注子图像对切片2进行标注,得到切片2的病灶标注结果。
进一步地,在得到切片2的病灶标注结果后,将切片2作为新的已标注医学切片图像,并返回执行根据切片2的病灶标注区域,确定图像切割框的位置;针对连续的多张医学切片图像中,与切片2相邻的未标注医学切片图像切片1,根据图像切割框的位置从切片1中分割出待标注子图像;将该将待标注子图像输入病灶标注模型,得到病灶标注子图像;根据病灶标注子图像对切片1进行标注,得到切片1的病灶标注结果。
同理可得到切片4、切片5、切片6的病灶标注结果,此处不再赘述。
采用本公开的这种方式,在进一步降低病灶标注模型的数据处理量的情况下(即减小切片1、切片2、切片4、切片5、切片6对应的待标注子图像的大小),这种使用上一张医学切片图像的病灶标注结果来预测下一张医学切片图像上的病灶位置的方式,还能大大简化病灶标注模型需要学习的特征内容,因此,这种方式所需的病灶标注模型的结构比较简单、层数也比较少,并且只需用很少的训练数据就可以训练得到较好效果的病灶标注模型。由此,采用本公开的这种方式可进一步提升病灶标注效率以及提升病灶标注效果的准确率。
在病灶标注模型的结构比较简单、层数也比较少的情况下,本公开的标注医学切片图像的方法可以更好的应用于移动终端。
可选地,在所述将所述未标注医学切片图像作为新的所述已标注医学切片图像,并返回执行根据已标注医学切片图像的病灶标注区域,确定图像切割框的位置的步骤之前,还包括:确定所述病灶标注子图像中的病灶面积大于预设面积阈值。
其中,预设面积阈值可以为5个像素点对应的面积大小。
示例地,在将未标注医学切片图像作为新的已标注医学切片图像,并返回执行根据已标注医学切片图像的病灶标注区域,确定图像切割框的位置的步骤之前,判断病灶标注子图像中的病灶面积是否大于5个像素点对应的面积,若病灶标注子图像中的病灶面积小于5个像素点对应的面积,说明在该未标注医学切片图像之后/之前的医学切片图像中病灶面积较小,无需进行标注。若病灶标注子图像中的病灶面积大于或等于5个像素点对应的面积,说明在该未标注医学切片图像之后/之前的医学切片图像中病灶面积较大,需对该未标注医学切片图像之后/之前的医学切片图像继续进行病灶标注的步骤。
应当说明的是,根据前述针对切片1、切片2、切片3、切片4、切片5、切片6的实施例可知,在切片3为已标注医学切片图像的情况下,针对切片1、切片2、切片4、切片5、切片6进行标注的顺序为:从切片3至切片1的顺序、以及从切片3至切片6的顺序;或者,从切片3至切片6的顺序、以及从切片3至切片1的顺序。也就是说,针对切片1、切片2、切片4、切片5、切片6进行标注的过程中,包括两个标注方向:一是从已标注医学切片图像向前的方向,一个是从已标注医学切片图像向后的方向。
可选地,所述根据已标注医学切片图像的病灶标注区域,确定图像切割框的位置,包括:
从所述病灶标注区域覆盖的像素坐标集合中确定最大横坐标值、最小横坐标值、最大纵坐标值以及最小纵坐标值;根据所述病灶标注区域的最大横坐标值、最小横坐标值、最大纵坐标值以及最小纵坐标值,确定表征所述图像切割框的位置的所述图像切割框的最大横坐标值、最小横坐标值、最大纵坐标值以及最小纵坐标值。
示例地,假设病灶标注区域覆盖的像素坐标集合为P={[X1,Y1],[X2,Y2],[X3,Y3],...,[Xn,Yn]},从集合P中确定最大横坐标值Xmax、最小横坐标值Xmin、最大纵坐标值Ymax以及最小纵坐标值Ymin;根据病灶标注区域的最大横坐标值Xmax、最小横坐标值Xmin、最大纵坐标值Ymax以及最小纵坐标值Ymin,确定表征图像切割框的位置的图像切割框的最大横坐标值最小横坐标值/>最大纵坐标值/>以及最小纵坐标值/>
可实现的,所述根据所述病灶标注区域的最大横坐标值、最小横坐标值、最大纵坐标值以及最小纵坐标值,确定表征所述图像切割框的位置的所述图像切割框的最大横坐标值、最小横坐标值、最大纵坐标值以及最小纵坐标值,包括:
根据所述病灶标注区域的最大横坐标值和最小横坐标值计算所述图像切割框的横向跨度值和中点横坐标值,相应地,根据所述病灶标注区域的最大纵坐标值和最小纵坐标值计算所述图像切割框的纵向跨度值和中点纵坐标值;按照第一预设百分比扩大所述横向跨度值,并根据扩大后的所述横向跨度值以及所述中点横坐标值计算所述图像切割框的最大横坐标值和最小横坐标值,相应地,按照第二预设百分比扩大所述纵向跨度值,并根据扩大后的所述纵向跨度值以及所述中点纵坐标值计算所述图像切割框的最大纵坐标值和最小纵坐标值。
示例地,假设第一预设百分比和第二预设百分比均为10%。根据病灶标注区域的最大横坐标值Xmax和最小横坐标值Xmin计算图像切割框的横向跨度值dx=Xmax-Xmin和中点横坐标值Xmid=[(Xmin+Xmax)/2],在本公开中,[]表征向上取整符号。相应地,根据病灶标注区域的最大纵坐标值Ymax和最小纵坐标值Ymin计算图像切割框的纵向跨度值dy=Ymax-Ymin和中点纵坐标值Ymid=[(Ymin+Ymax)/2];按照第一预设百分比10%扩大横向跨度值dx,并根据扩大后的横向跨度值dx×110%以及中点横坐标值Xmid=[(Xmin+Xmax)/2]计算图像切割框的最大横坐标值 和最小横坐标值/>相应地,按照第二预设百分比10%扩大纵向跨度值dy,并根据扩大后的纵向跨度值dy×110%以及中点纵坐标值Ymid=[(Ymin+Ymax)/2]计算图像切割框的最大纵坐标值和最小纵坐标值/> 如此得到图像切割框的位置为/>
一种可实现的实施方式,图像切割框为由 四个坐标点组成的矩形框。容易理解的是,由四个坐标点组成的矩形框覆盖由集合为P={[X1,Y1],[X2,Y2],[X3,Y3],...,[Xn,Yn]}组成的病灶标注区域。
可选地,所述按照第一预设百分比扩大所述横向跨度值,并根据扩大后的所述横向跨度值以及所述中点横坐标值计算所述图像切割框的最大横坐标值和最小横坐标值,包括:
按照所述第一预设百分比扩大所述横向跨度值,并根据输入所述病灶标注模型的图像分辨率调整扩大后的所述横向跨度值;根据调整后的所述横向跨度值以及所述中点横坐标值计算所述图像切割框的最大横坐标值和最小横坐标值。
应当知悉的是,病灶标注模型是神经网络模型,神经网络模型对输入的图像的分辨率/大小具有要求,一般要求为32*32、64*64、128*128等像素大小的图像。因此,为了保障根据图像切割框的位置从未标注医学切片图像中分割出的待标注子图像能够直接输入病灶标注模型,本公开通过如下方式保障待标注子图像的大小符合病灶标注模型的输入要求:
在按照第一预设百分比扩大横向跨度值之后,根据输入病灶标注模型的图像分辨率32*32调整扩大后的横向跨度值,得到调整后的横向跨度值为{[(dx×110%)/32]+1}×32。根据调整后的横向跨度值{[(dx×110%)/32]+1}×32以及中点横坐标值Xmid计算图像切割框的最大横坐标值和最小横坐标/>
同理,所述按照第二预设百分比扩大所述纵向跨度值,并根据扩大后的所述纵向跨度值以及所述中点纵坐标值计算所述图像切割框的最大纵坐标值和最小纵坐标值,包括:
按照所述第二预设百分比扩大所述纵向跨度值,并根据输入所述病灶标注模型的图像分辨率调整扩大后的所述纵向跨度值;根据调整后的所述纵向跨度值以及所述中点纵坐标值计算所述图像切割框的最大纵坐标值和最小纵坐标值。
示例地,按照10%扩大纵向跨度值dy,并根据输入病灶标注模型的图像分辨率32*32调整扩大后的纵向跨度值dy×110%,得到调整后的纵向跨度值为{[(dy×110%)/32]+1}×32,根据调整后的纵向跨度值{[(dy×110%)/32]+1}×32以及中点纵坐标值Ymid计算图像切割框的最大纵坐标值和最小纵坐标值/>
采用本公开方式,在计算横向跨度值和纵向跨度值时,将横向跨度值和纵向跨度值设置为病灶标注模型的图像分辨率的整数倍的方式,能够保障由四个坐标点组成的图像切割框从未标注医学切片图像中分割出的待标注子图像的大小为病灶标注模型的图像分辨率的整数倍(如1倍。其中,若图像切割框从未标注医学切片图像中分割出的待标注子图像的大小比病灶标注模型的图像分辨率大1倍及1倍以上,那么可适应性的对待标注子图像进一步分割或压缩),这相较于对待标注子图像进行像素扩大以使其符合病灶标注模型的图像输入要求所造成的误差更小。
另外,采用第一预设百分比扩大横向跨度值,采用第二预设百分比扩大纵向跨度值的方式,还可能使图像切割框覆盖目标病灶之外的与目标病灶距离较近的另一病灶区域。其中,目标病灶为已标注医学切片图像的病灶标注区域。
可选地,所述针对所述连续的多张医学切片图像中的未标注医学切片图像,根据所述图像切割框的位置从所述未标注医学切片图像中分割出待标注子图像,还包括:
在所述图像切割框的位置超出所述未标注医学切片图像的图像区域的情况下,对所述图像切割框的位置进行修正,直到修正后的所述图像切割框的位置未超出所述未标注医学切片图像的图像区域;根据修正后的所述图像切割框的位置从所述未标注医学切片图像中分割出所述待标注子图像。
一种可能的情况,图像切割框的位置可能超出未标注医学切片图像的图像区域。这种情况下,需对图像切割框的位置进行修正,直到修正后的图像切割框的位置未超出未标注医学切片图像的图像区域。然后根据修正后的图像切割框的位置从未标注医学切片图像中分割出待标注子图像。
可实现的实施方式,所述对所述图像切割框的位置进行修正,包括:
在所述图像切割框的最大横坐标值比所述未标注医学切片图像的最大横坐标值大N的情况下,控制所述图像切割框的最大横坐标值和最小横坐标值均减小N;或者,在所述图像切割框的最小横坐标值比所述未标注医学切片图像的最小横坐标值小M的情况下,控制所述图像切割框的最大横坐标值和最小横坐标值均增大M,其中,N和M均为正数。或者,
在所述图像切割框的最大横坐标值比所述未标注医学切片图像的最大横坐标值大N、且所述图像切割框的最小横坐标值比所述未标注医学切片图像的最小横坐标值小M的情况下,控制所述图像切割框的最大横坐标值减小N且控制所述最小横坐标值增大M,其中,N和M均为正数。
可实现的实施方式,所述对所述图像切割框的位置进行修正,还包括:
在所述图像切割框的最大纵坐标值比所述未标注医学切片图像的最大纵坐标值大n的情况下,控制所述图像切割框的最大纵坐标值和最小纵坐标值均减小n;或者,在所述图像切割框的最小纵坐标值比所述未标注医学切片图像的最小纵坐标值小m的情况下,控制所述图像切割框的最大纵坐标值和最小纵坐标值均增大m,其中,n和m均为正数。或者,
在所述图像切割框的最大纵坐标值比所述未标注医学切片图像的最大纵坐标值大n、且所述图像切割框的最小纵坐标值比所述未标注医学切片图像的最小纵坐标值小m的情况下,控制所述图像切割框的最大纵坐标值减小n且控制所述最小纵坐标值增大m,其中,n和m均为正数。
采用这种调整图像切割框的位置的方式,可避免根据图像切割框的位置从未标注医学切片图像中分割出的待标注子图像中包含未标注医学切片图像之外的噪声的问题。
本公开中,医学切片图像为CT图像、或人工切片后的拍摄图像。对此本公开不作具体的限制。
可选地,所述将所述待标注子图像输入病灶标注模型,得到病灶标注子图像,包括:
对所述待标注子图像上各像素点的像素值进行从小到大的排序,得到像素值序列;将所述像素值序列中第三预设百分比位置上的像素值作为最小窗口值,并将所述像素值序列中第四预设百分比位置上的像素值作为最大窗口值,其中所述第三预设百分比小于所述第四预设百分比;根据所述最小窗口值和所述最大窗口值对所述待标注子图像进行归一化处理,得到处理后的待标注子图像;将所述处理后的待标注子图像输入所述病灶标注模型,得到所述病灶标注子图像。
由于医学切片图像可以为CT类型图像,所以待标注子图像上各像素点的像素值可以是CT图像的HU值。其中,HU值用于反映X射线通过生物体组织时吸收的多少。
可选地,所述根据所述最小窗口值和所述最大窗口值对所述待标注子图像进行归一化处理,得到处理后的待标注子图像,包括:
将所述待标注子图像上的像素值小于所述最小窗口值的各像素点的像素值重置为所述最小窗口值,并将所述待标注子图像上的像素值大于所述最大窗口值的像素点的像素值重置为所述最大窗口值,得到第一待标注子图像;针对所述第一待标注子图像中的每一像素点,计算该像素点的像素值减去所述最小窗口值后的差值,并计算该差值与所述最小窗口值和所述最大窗口值之间的跨度值的商,得到该像素点归一化处理后的像素值;根据所述第一待标注子图像中各像素点归一化处理后的像素值,生成所述处理后的待标注子图像。
示例地,对待标注子图像上各像素点的像素值进行从小到大的排序(基于同样的原理,也可进行从大到小的排序,对此本公开不作赘述),得到像素值序列;将像素值序列中第三预设百分比位置(如0.0%)上的像素值作为最小窗口值,并将像素值序列中第四预设百分比位置(如99.5%)上的像素值作为最大窗口值;将待标注子图像上的像素值小于最小窗口值的各像素点的像素值重置为最小窗口值,并将待标注子图像上的像素值大于最大窗口值的像素点的像素值重置为最大窗口值,得到第一待标注子图像;针对第一待标注子图像中的每一像素点,计算该像素点的像素值减去最小窗口值后的差值(HUi-HUmin),并计算该差值(HUi-HUmin)与最小窗口值和最大窗口值之间的跨度值(HUmax-HUmin)的商,得到该像素点归一化处理后的像素值为(HUi-HUmin)/(HUmax-HUmin);根据第一待标注子图像中各像素点归一化处理后的像素值,生成处理后的待标注子图像。
可选地,所述将所述待标注子图像输入病灶标注模型,得到病灶标注子图像,包括:
将所述待标注子图像上的像素值小于预设最小窗口值的各像素点的像素值重置为所述预设最小窗口值,并将所述待标注子图像上的像素值大于预设最大窗口值的像素点的像素值重置为所述预设最大窗口值,得到第二待标注子图像;针对所述第二待标注子图像中的每一像素点,计算该像素点的像素值减去所述预设最小窗口值后的差值,并计算该差值与所述预设最小窗口值和所述预设最大窗口值之间的跨度值的商,得到该像素点归一化处理后的像素值;根据所述第二待标注子图像中各像素点归一化处理后的像素值,生成处理后的待标注子图像;将所述处理后的待标注子图像输入所述病灶标注模型,得到所述病灶标注子图像。
示例地,预设最小窗口值为-1000,预设最大窗口值为1000。
还值得说明的是,在已标注医学切片图像的病灶标注区域为2个或2个以上的情况下,即在已标注医学切片图像中病灶为多个的情况下,针对每一病灶,均单独执行本公开的标注医学切片图像的方法之后,可得到连续的多张医学切片图像中标注有多个病灶的病灶标注结果。
基于同一发明构思,本公开实施例还提供一种标注医学切片图像的装置,如图6所示,标注医学切片图像的装置600包括:
确定模块610,用于根据已标注医学切片图像的病灶标注区域,确定图像切割框的位置,所述图像切割框的范围覆盖所述病灶标注区域,所述已标注医学切片图像是连续的多张医学切片图像中已标注病灶的医学切片图像;
分割模块620,用于针对所述连续的多张医学切片图像中的未标注医学切片图像,根据所述图像切割框的位置从所述未标注医学切片图像中分割出待标注子图像;
输入模块630,用于将所述待标注子图像输入病灶标注模型,得到病灶标注子图像;
标注模块640,用于根据所述病灶标注子图像对所述未标注医学切片图像进行标注,得到所述未标注医学切片图像的病灶标注结果。
采用这种装置,
根据已标注医学切片图像的病灶标注区域,确定图像切割框的位置。针对连续的多张医学切片图像中的未标注医学切片图像,根据图像切割框的位置从未标注医学切片图像中分割出待标注子图像。将待标注子图像输入病灶标注模型,得到病灶标注子图像。根据病灶标注子图像对未标注医学切片图像进行标注,得到未标注医学切片图像的病灶标注结果。采用本公开的这种方式,最多只需人工标注一张医学切片图像,因而可避免相关技术中需对所有医学切片图像进行人工标注导致的效率低的问题,提升医学切片图像的标注效率。
而且,本公开的这种根据图像切割框的位置从未标注医学切片图像中分割出待标注子图像,然后仅将待标注子图像输入病灶标注模型,得到病灶标注子图像的方式,避免了病灶标注模型对完整的未标注医学切片图像进行病灶标注而导致的模型数据处理量大的问题,因而本公开的这种方式还降低了模型的数据处理量,如此可进一步提升医学切片图像的标注效率。
可选地,所述已标注医学切片图像为经过人工标注病灶的医学切片图像,所述分割模块、所述输入模块以及所述标注模块针对所述未标注医学切片图像执行的操作包括:针对所述连续的多张医学切片图像中的每一张未标注医学切片图像,均执行所述根据所述图像切割框的位置从所述未标注医学切片图像中分割出待标注子图像,至所述根据所述病灶标注子图像对所述未标注医学切片图像进行标注的步骤。
可选地,所述分割模块,用于针对所述连续的多张医学切片图像中,与所述已标注医学切片图像相邻的未标注医学切片图像,根据所述图像切割框的位置从所述未标注医学切片图像中分割出待标注子图像;
所述装置还包括:
执行模块,用于在得到所述未标注医学切片图像的病灶标注结果后,将所述未标注医学切片图像作为新的所述已标注医学切片图像,并返回执行根据已标注医学切片图像的病灶标注区域,确定图像切割框的位置的步骤。
可选地,所述执行模块,用于在确定所述病灶标注子图像中的病灶面积大于预设面积阈值的情况下,将所述未标注医学切片图像作为新的所述已标注医学切片图像,并返回执行根据已标注医学切片图像的病灶标注区域,确定图像切割框的位置的步骤。
可选地,所述确定模块,包括:
第一确定子模块,用于从所述病灶标注区域覆盖的像素坐标集合中确定最大横坐标值、最小横坐标值、最大纵坐标值以及最小纵坐标值;
第二确定子模块,用于根据所述病灶标注区域的最大横坐标值、最小横坐标值、最大纵坐标值以及最小纵坐标值,确定表征所述图像切割框的位置的所述图像切割框的最大横坐标值、最小横坐标值、最大纵坐标值以及最小纵坐标值。
可选地,所述第二确定子模块包括:
第一计算子模块,用于根据所述病灶标注区域的最大横坐标值和最小横坐标值计算所述图像切割框的横向跨度值和中点横坐标值,相应地,根据所述病灶标注区域的最大纵坐标值和最小纵坐标值计算所述图像切割框的纵向跨度值和中点纵坐标值;
扩大子模块,用于按照第一预设百分比扩大所述横向跨度值,并根据扩大后的所述横向跨度值以及所述中点横坐标值计算所述图像切割框的最大横坐标值和最小横坐标值,相应地,按照第二预设百分比扩大所述纵向跨度值,并根据扩大后的所述纵向跨度值以及所述中点纵坐标值计算所述图像切割框的最大纵坐标值和最小纵坐标值。
可选地,所述扩大子模块,用于按照所述第一预设百分比扩大所述横向跨度值,并根据输入所述病灶标注模型的图像分辨率调整扩大后的所述横向跨度值;根据调整后的所述横向跨度值以及所述中点横坐标值计算所述图像切割框的最大横坐标值和最小横坐标值。
可选地,所述分割模块,包括:
修正子模块,用于在所述图像切割框的位置超出所述未标注医学切片图像的图像区域的情况下,对所述图像切割框的位置进行修正,直到修正后的所述图像切割框的位置未超出所述未标注医学切片图像的图像区域;
分割子模块,用于根据修正后的所述图像切割框的位置从所述未标注医学切片图像中分割出所述待标注子图像。
可选地,所述修正子模块,用于:在所述图像切割框的最大横坐标值比所述未标注医学切片图像的最大横坐标值大N的情况下,控制所述图像切割框的最大横坐标值和最小横坐标值均减小N;或者,在所述图像切割框的最小横坐标值比所述未标注医学切片图像的最小横坐标值小M的情况下,控制所述图像切割框的最大横坐标值和最小横坐标值均增大M,其中,N和M均为正数。
可选地,所述修正子模块,用于:在所述图像切割框的最大纵坐标值比所述未标注医学切片图像的最大纵坐标值大n的情况下,控制所述图像切割框的最大纵坐标值和最小纵坐标值均减小n;或者,
在所述图像切割框的最小纵坐标值比所述未标注医学切片图像的最小纵坐标值小m的情况下,控制所述图像切割框的最大纵坐标值和最小纵坐标值均增大m,其中,n和m均为正数。
可选地,所述输入模块,包括:
排序子模块,用于对所述待标注子图像上各像素点的像素值进行从小到大的排序,得到像素值序列;
第一执行子模块,用于将所述像素值序列中第三预设百分比位置上的像素值作为最小窗口值,并将所述像素值序列中第四预设百分比位置上的像素值作为最大窗口值,其中所述第三预设百分比小于所述第四预设百分比;
处理子模块,用于根据所述最小窗口值和所述最大窗口值对所述待标注子图像进行归一化处理,得到处理后的待标注子图像;
输入子模块,用于将所述处理后的待标注子图像输入所述病灶标注模型,得到所述病灶标注子图像。
可选地,所述处理子模块,包括:
第二执行子模块,用于将所述待标注子图像上的像素值小于所述最小窗口值的各像素点的像素值重置为所述最小窗口值,并将所述待标注子图像上的像素值大于所述最大窗口值的像素点的像素值重置为所述最大窗口值,得到第一待标注子图像;
第二计算子模块,用于针对所述第一待标注子图像中的每一像素点,计算该像素点的像素值减去所述最小窗口值后的差值,并计算该差值与所述最小窗口值和所述最大窗口值之间的跨度值的商,得到该像素点归一化处理后的像素值;
生成子模块,用于根据所述第一待标注子图像中各像素点归一化处理后的像素值,生成所述处理后的待标注子图像。
可选地,所述标注模块,用于新建一张与所述未标注医学切片图像大小相同、且各像素点均为目标值的初始病灶标注图像,并用所述病灶标注子图像替换所述初始病灶标注图像上相同位置的图像区域,得到所述未标注医学切片图像的病灶标注结果。
可选地,所述将所述待标注子图像输入病灶标注模型,得到病灶标注子图像,包括:
将所述待标注子图像上的像素值小于预设最小窗口值的各像素点的像素值重置为所述预设最小窗口值,并将所述待标注子图像上的像素值大于预设最大窗口值的像素点的像素值重置为所述预设最大窗口值,得到第二待标注子图像;
针对所述第二待标注子图像中的每一像素点,计算该像素点的像素值减去所述预设最小窗口值后的差值,并计算该差值与所述预设最小窗口值和所述预设最大窗口值之间的跨度值的商,得到该像素点归一化处理后的像素值;
根据所述第二待标注子图像中各像素点归一化处理后的像素值,生成处理后的待标注子图像;
将所述处理后的待标注子图像输入所述病灶标注模型,得到所述病灶标注子图像。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图7是根据一示例性实施例示出的一种电子设备700的框图。如图7所示,该电子设备700可以包括:处理器701,存储器702。该电子设备700还可以包括多媒体组件703,输入/输出(I/O)接口704,以及通信组件705中的一者或多者。
其中,处理器701用于控制该电子设备700的整体操作,以完成上述的标注医学切片图像的方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作,这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G、4G、NB-IOT、eMTC、或其他5G等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件705可以包括:Wi-Fi模块,蓝牙模块,NFC模块等等。
在一示例性实施例中,电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的标注医学切片图像的方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的标注医学切片图像的方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器702,上述程序指令可由电子设备700的处理器701执行以完成上述的标注医学切片图像的方法。
图8是根据一示例性实施例示出的一种电子设备1900的框图。例如,电子设备1900可以被提供为一服务器。参照图8,电子设备1900包括处理器1922,其数量可以为一个或多个,以及存储器1932,用于存储可由处理器1922执行的计算机程序。存储器1932中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理器1922可以被配置为执行该计算机程序,以执行上述的标注医学切片图像的方法。
另外,电子设备1900还可以包括电源组件1926和通信组件1950,该电源组件1926可以被配置为执行电子设备1900的电源管理,该通信组件1950可以被配置为实现电子设备1900的通信,例如,有线或无线通信。此外,该电子设备1900还可以包括输入/输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统,例如WindowsServerTM,Mac OS XTM,UnixTM,LinuxTM等等。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的标注医学切片图像的方法的步骤。例如,该非临时性计算机可读存储介质可以为上述包括程序指令的存储器1932,上述程序指令可由电子设备1900的处理器1922执行以完成上述的标注医学切片图像的方法。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的标注医学切片图像的方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。
Claims (15)
1.一种标注医学切片图像的方法,其特征在于,所述方法包括:
根据已标注医学切片图像的病灶标注区域,确定图像切割框的位置,所述图像切割框的范围覆盖所述病灶标注区域,所述已标注医学切片图像是连续的多张医学切片图像中已标注病灶的医学切片图像;
针对所述连续的多张医学切片图像中的未标注医学切片图像,根据所述图像切割框的位置从所述未标注医学切片图像中分割出待标注子图像;
将所述待标注子图像输入病灶标注模型,得到病灶标注子图像;
根据所述病灶标注子图像对所述未标注医学切片图像进行标注,得到所述未标注医学切片图像的病灶标注结果;
其中,针对所述未标注医学切片图像执行的操作包括:针对所述连续的多张医学切片图像中的每一张未标注医学切片图像,均执行所述根据所述图像切割框的位置从所述未标注医学切片图像中分割出待标注子图像,至所述根据所述病灶标注子图像对所述未标注医学切片图像进行标注的步骤;
所述根据所述病灶标注子图像对所述未标注医学切片图像进行标注,得到所述未标注医学切片图像的病灶标注结果,包括:
新建一张与所述未标注医学切片图像大小相同、且各像素点均为目标值的初始病灶标注图像,并用所述病灶标注子图像替换所述初始病灶标注图像上相同位置的图像区域,得到所述未标注医学切片图像的病灶标注结果。
2.根据权利要求1所述的方法,其特征在于,所述已标注医学切片图像为经过人工标注病灶的医学切片图像。
3.根据权利要求1所述的方法,其特征在于,所述针对所述连续的多张医学切片图像中的未标注医学切片图像,根据所述图像切割框的位置从所述未标注医学切片图像中分割出待标注子图像,包括:
针对所述连续的多张医学切片图像中,与所述已标注医学切片图像相邻的未标注医学切片图像,根据所述图像切割框的位置从所述未标注医学切片图像中分割出待标注子图像;
所述方法还包括:
在得到所述未标注医学切片图像的病灶标注结果后,将所述未标注医学切片图像作为新的所述已标注医学切片图像,并返回执行根据已标注医学切片图像的病灶标注区域,确定图像切割框的位置的步骤。
4.根据权利要求3所述的方法,其特征在于,在所述将所述未标注医学切片图像作为新的所述已标注医学切片图像,并返回执行根据已标注医学切片图像的病灶标注区域,确定图像切割框的位置的步骤之前,还包括:
确定所述病灶标注子图像中的病灶面积大于预设面积阈值。
5.根据权利要求1所述的方法,其特征在于,所述根据已标注医学切片图像的病灶标注区域,确定图像切割框的位置,包括:
从所述病灶标注区域覆盖的像素坐标集合中确定最大横坐标值、最小横坐标值、最大纵坐标值以及最小纵坐标值;
根据所述病灶标注区域的最大横坐标值、最小横坐标值、最大纵坐标值以及最小纵坐标值,确定表征所述图像切割框的位置的所述图像切割框的最大横坐标值、最小横坐标值、最大纵坐标值以及最小纵坐标值。
6.根据权利要求5所述的方法,其特征在于,所述根据所述病灶标注区域的最大横坐标值、最小横坐标值、最大纵坐标值以及最小纵坐标值,确定表征所述图像切割框的位置的所述图像切割框的最大横坐标值、最小横坐标值、最大纵坐标值以及最小纵坐标值,包括:
根据所述病灶标注区域的最大横坐标值和最小横坐标值计算所述图像切割框的横向跨度值和中点横坐标值,相应地,根据所述病灶标注区域的最大纵坐标值和最小纵坐标值计算所述图像切割框的纵向跨度值和中点纵坐标值;
按照第一预设百分比扩大所述横向跨度值,并根据扩大后的所述横向跨度值以及所述中点横坐标值计算所述图像切割框的最大横坐标值和最小横坐标值,相应地,按照第二预设百分比扩大所述纵向跨度值,并根据扩大后的所述纵向跨度值以及所述中点纵坐标值计算所述图像切割框的最大纵坐标值和最小纵坐标值。
7.根据权利要求6所述的方法,其特征在于,所述按照第一预设百分比扩大所述横向跨度值,并根据扩大后的所述横向跨度值以及所述中点横坐标值计算所述图像切割框的最大横坐标值和最小横坐标值,包括:
按照所述第一预设百分比扩大所述横向跨度值,并根据输入所述病灶标注模型的图像分辨率调整扩大后的所述横向跨度值;
根据调整后的所述横向跨度值以及所述中点横坐标值计算所述图像切割框的最大横坐标值和最小横坐标值。
8.根据权利要求1-7中任一项所述的方法,其特征在于,所述针对所述连续的多张医学切片图像中的未标注医学切片图像,根据所述图像切割框的位置从所述未标注医学切片图像中分割出待标注子图像,还包括:
在所述图像切割框的位置超出所述未标注医学切片图像的图像区域的情况下,对所述图像切割框的位置进行修正,直到修正后的所述图像切割框的位置未超出所述未标注医学切片图像的图像区域;
根据修正后的所述图像切割框的位置从所述未标注医学切片图像中分割出所述待标注子图像。
9.根据权利要求8所述的方法,其特征在于,所述对所述图像切割框的位置进行修正,包括:
在所述图像切割框的最大横坐标值比所述未标注医学切片图像的最大横坐标值大N的情况下,控制所述图像切割框的最大横坐标值和最小横坐标值均减小N;或者,在所述图像切割框的最小横坐标值比所述未标注医学切片图像的最小横坐标值小M的情况下,控制所述图像切割框的最大横坐标值和最小横坐标值均增大M,其中,N和M均为正数;
在所述图像切割框的最大纵坐标值比所述未标注医学切片图像的最大纵坐标值大n的情况下,控制所述图像切割框的最大纵坐标值和最小纵坐标值均减小n;或者,在所述图像切割框的最小纵坐标值比所述未标注医学切片图像的最小纵坐标值小m的情况下,控制所述图像切割框的最大纵坐标值和最小纵坐标值均增大m,其中,n和m均为正数。
10.根据权利要求1所述的方法,其特征在于,所述将所述待标注子图像输入病灶标注模型,得到病灶标注子图像,包括:
对所述待标注子图像上各像素点的像素值进行从小到大的排序,得到像素值序列;
将所述像素值序列中第三预设百分比位置上的像素值作为最小窗口值,并将所述像素值序列中第四预设百分比位置上的像素值作为最大窗口值,其中所述第三预设百分比小于所述第四预设百分比;
根据所述最小窗口值和所述最大窗口值对所述待标注子图像进行归一化处理,得到处理后的待标注子图像;
将所述处理后的待标注子图像输入所述病灶标注模型,得到所述病灶标注子图像。
11.根据权利要求10所述的方法,其特征在于,所述根据所述最小窗口值和所述最大窗口值对所述待标注子图像进行归一化处理,得到处理后的待标注子图像,包括:
将所述待标注子图像上的像素值小于所述最小窗口值的各像素点的像素值重置为所述最小窗口值,并将所述待标注子图像上的像素值大于所述最大窗口值的像素点的像素值重置为所述最大窗口值,得到第一待标注子图像;
针对所述第一待标注子图像中的每一像素点,计算该像素点的像素值减去所述最小窗口值后的差值,并计算该差值与所述最小窗口值和所述最大窗口值之间的跨度值的商,得到该像素点归一化处理后的像素值;
根据所述第一待标注子图像中各像素点归一化处理后的像素值,生成所述处理后的待标注子图像。
12.根据权利要求1所述的方法,其特征在于,所述将所述待标注子图像输入病灶标注模型,得到病灶标注子图像,包括:
将所述待标注子图像上的像素值小于预设最小窗口值的各像素点的像素值重置为所述预设最小窗口值,并将所述待标注子图像上的像素值大于预设最大窗口值的像素点的像素值重置为所述预设最大窗口值,得到第二待标注子图像;
针对所述第二待标注子图像中的每一像素点,计算该像素点的像素值减去所述预设最小窗口值后的差值,并计算该差值与所述预设最小窗口值和所述预设最大窗口值之间的跨度值的商,得到该像素点归一化处理后的像素值;
根据所述第二待标注子图像中各像素点归一化处理后的像素值,生成处理后的待标注子图像,并将所述处理后的待标注子图像输入所述病灶标注模型,得到所述病灶标注子图像。
13.一种标注医学切片图像的装置,其特征在于,所述装置包括:
确定模块,用于根据已标注医学切片图像的病灶标注区域,确定图像切割框的位置,所述图像切割框的范围覆盖所述病灶标注区域,所述已标注医学切片图像是连续的多张医学切片图像中已标注病灶的医学切片图像;
分割模块,用于针对所述连续的多张医学切片图像中的未标注医学切片图像,根据所述图像切割框的位置从所述未标注医学切片图像中分割出待标注子图像;
输入模块,用于将所述待标注子图像输入病灶标注模型,得到病灶标注子图像;
标注模块,用于根据所述病灶标注子图像对所述未标注医学切片图像进行标注,得到所述未标注医学切片图像的病灶标注结果;
其中,所述分割模块、所述输入模块以及所述标注模块针对所述未标注医学切片图像执行的操作包括:针对所述连续的多张医学切片图像中的每一张未标注医学切片图像,均执行所述根据所述图像切割框的位置从所述未标注医学切片图像中分割出待标注子图像,至所述根据所述病灶标注子图像对所述未标注医学切片图像进行标注的步骤;
所述标注模块,用于新建一张与所述未标注医学切片图像大小相同、且各像素点均为目标值的初始病灶标注图像,并用所述病灶标注子图像替换所述初始病灶标注图像上相同位置的图像区域,得到所述未标注医学切片图像的病灶标注结果。
14.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-12中任一项所述方法的步骤。
15.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-12中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110739373.0A CN113469972B (zh) | 2021-06-30 | 2021-06-30 | 标注医学切片图像的方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110739373.0A CN113469972B (zh) | 2021-06-30 | 2021-06-30 | 标注医学切片图像的方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113469972A CN113469972A (zh) | 2021-10-01 |
CN113469972B true CN113469972B (zh) | 2024-04-23 |
Family
ID=77876700
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110739373.0A Active CN113469972B (zh) | 2021-06-30 | 2021-06-30 | 标注医学切片图像的方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113469972B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115345828A (zh) * | 2022-07-12 | 2022-11-15 | 江苏诺鬲生物科技有限公司 | 一种基于人工智能算法的免疫荧光染色图片病灶标识方法和装置 |
CN117078686B (zh) * | 2023-10-17 | 2024-01-23 | 万里云医疗信息科技(北京)有限公司 | 构建用于训练骨抑制模型的样本的方法、装置及存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107563123A (zh) * | 2017-09-27 | 2018-01-09 | 百度在线网络技术(北京)有限公司 | 用于标注医学图像的方法和装置 |
CN109035187A (zh) * | 2018-07-10 | 2018-12-18 | 杭州依图医疗技术有限公司 | 一种医学图像的标注方法及装置 |
CN109446370A (zh) * | 2018-10-26 | 2019-03-08 | 广州金域医学检验中心有限公司 | 医学图像的病理标注方法及装置、计算机可读存储介质 |
CN109872306A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技(深圳)有限公司 | 医学图像分割方法、装置和存储介质 |
CN110097559A (zh) * | 2019-04-29 | 2019-08-06 | 南京星程智能科技有限公司 | 基于深度学习的眼底图像病灶区域标注方法 |
CN111354445A (zh) * | 2020-02-27 | 2020-06-30 | 复旦大学 | 用矩形框标注ct影像并生成深度学习训练样本的系统 |
CN111489434A (zh) * | 2020-03-18 | 2020-08-04 | 创业慧康科技股份有限公司 | 一种基于三维图割的医学影像三维重建方法 |
KR20200101772A (ko) * | 2019-02-20 | 2020-08-28 | 주식회사 메디픽셀 | 머신러닝 기반 결절 이미지 자동 연속 표시 장치 및 방법 |
CN111933251A (zh) * | 2020-06-24 | 2020-11-13 | 安徽影联云享医疗科技有限公司 | 一种医学影像标注方法及系统 |
CN111986150A (zh) * | 2020-07-17 | 2020-11-24 | 万达信息股份有限公司 | 一种数字病理图像的交互式标注精细化方法 |
CN112102929A (zh) * | 2020-09-11 | 2020-12-18 | 沈阳东软智能医疗科技研究院有限公司 | 医学图像标注方法、装置、存储介质及电子设备 |
CN112581458A (zh) * | 2020-12-24 | 2021-03-30 | 清华大学 | 一种图像处理方法和装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5745444B2 (ja) * | 2012-03-05 | 2015-07-08 | 富士フイルム株式会社 | 医用画像表示装置および医用画像表示方法、並びに、医用画像表示プログラム |
US10719580B2 (en) * | 2017-11-06 | 2020-07-21 | International Business Machines Corporation | Medical image manager with automated synthetic image generator |
CN108428229B (zh) * | 2018-03-14 | 2020-06-16 | 大连理工大学 | 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法 |
US20210192717A1 (en) * | 2019-12-18 | 2021-06-24 | Petuum Inc. | Systems and methods for identifying atheromatous plaques in medical images |
-
2021
- 2021-06-30 CN CN202110739373.0A patent/CN113469972B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107563123A (zh) * | 2017-09-27 | 2018-01-09 | 百度在线网络技术(北京)有限公司 | 用于标注医学图像的方法和装置 |
CN109035187A (zh) * | 2018-07-10 | 2018-12-18 | 杭州依图医疗技术有限公司 | 一种医学图像的标注方法及装置 |
CN109446370A (zh) * | 2018-10-26 | 2019-03-08 | 广州金域医学检验中心有限公司 | 医学图像的病理标注方法及装置、计算机可读存储介质 |
CN109872306A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技(深圳)有限公司 | 医学图像分割方法、装置和存储介质 |
KR20200101772A (ko) * | 2019-02-20 | 2020-08-28 | 주식회사 메디픽셀 | 머신러닝 기반 결절 이미지 자동 연속 표시 장치 및 방법 |
CN110097559A (zh) * | 2019-04-29 | 2019-08-06 | 南京星程智能科技有限公司 | 基于深度学习的眼底图像病灶区域标注方法 |
CN111354445A (zh) * | 2020-02-27 | 2020-06-30 | 复旦大学 | 用矩形框标注ct影像并生成深度学习训练样本的系统 |
CN111489434A (zh) * | 2020-03-18 | 2020-08-04 | 创业慧康科技股份有限公司 | 一种基于三维图割的医学影像三维重建方法 |
CN111933251A (zh) * | 2020-06-24 | 2020-11-13 | 安徽影联云享医疗科技有限公司 | 一种医学影像标注方法及系统 |
CN111986150A (zh) * | 2020-07-17 | 2020-11-24 | 万达信息股份有限公司 | 一种数字病理图像的交互式标注精细化方法 |
CN112102929A (zh) * | 2020-09-11 | 2020-12-18 | 沈阳东软智能医疗科技研究院有限公司 | 医学图像标注方法、装置、存储介质及电子设备 |
CN112581458A (zh) * | 2020-12-24 | 2021-03-30 | 清华大学 | 一种图像处理方法和装置 |
Non-Patent Citations (5)
Title |
---|
Multi-Instance Deep Learning: Discover Discriminative Local Anatomies for Bodypart Recognition;Zhennan Yan等;《IEEE Transactions on Medical Imaging》;20160203;第35卷(第5期);全文 * |
基于卷积神经网络的肺结节检测方法;刘一鸣等;《生物医学工程学杂志》;20191225;第36卷(第6期);全文 * |
基于模板缩放的小脑与脑干组织的图像分割;李敏;罗洪艳;张绍祥;郑小林;谭立文;侯文生;;光电子.激光;20110315(03);全文 * |
基于深度学习的肺结节检测技术的研究;汪乐;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20200315;全文 * |
基于视觉注意力模型的医学图像目标检测;廖;孙季丰;;计算机仿真;20100915(09);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113469972A (zh) | 2021-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109598728B (zh) | 图像分割方法、装置、诊断系统及存储介质 | |
CN109919928B (zh) | 医学影像的检测方法、装置和存储介质 | |
US20210319560A1 (en) | Image processing method and apparatus, and storage medium | |
CN113469972B (zh) | 标注医学切片图像的方法、装置、存储介质及电子设备 | |
US20190102878A1 (en) | Method and apparatus for analyzing medical image | |
CN111553923A (zh) | 一种图像处理方法、电子设备及计算机可读存储介质 | |
CN112132265A (zh) | 模型训练方法、杯盘比确定方法、装置、设备及存储介质 | |
CN109410189B (zh) | 图像分割方法以及图像的相似度计算方法、装置 | |
JP2015099150A (ja) | ソース位置の推定方法およびソース位置の推定方法を備える核医学診断装置 | |
CN112102235B (zh) | 人体部位识别方法、计算机设备和存储介质 | |
WO2021049784A2 (ko) | Gan을 이용한 의료 영상의 광강도 분포 일반화 기법 | |
CN112465800A (zh) | 一种使用分类注意力模块校正分类错误的实例分割方法 | |
CN112330787B (zh) | 图像标注方法、装置、存储介质和电子设备 | |
CN111489318B (zh) | 医学图像增强方法和计算机可读存储介质 | |
CN113158773A (zh) | 一种活体检测模型的训练方法及训练装置 | |
WO2021097595A1 (zh) | 图像的病变区域分割方法、装置及服务器 | |
CN113160199B (zh) | 影像识别方法、装置、计算机设备和存储介质 | |
CN113096132B (zh) | 图像处理的方法、装置、存储介质和电子设备 | |
CN114399494A (zh) | 异常细胞检测分割方法、装置、设备及存储介质 | |
CN111080543B (zh) | 图像处理方法及装置、电子设备及计算机可读存储介质 | |
KR101796389B1 (ko) | 문서 캡처 영상의 영상 보정 방법 | |
CN111260682B (zh) | 目标对象的追踪方法、装置、存储介质和电子设备 | |
CN114881992B (zh) | 颅骨骨折的检测方法、装置及存储介质 | |
CN115861215A (zh) | 确定病灶区域的方法、装置、存储介质及电子设备 | |
KR20230123247A (ko) | 인공지능 기반 비대면 진료 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |