CN110136153A - 一种图像处理方法、设备及存储介质 - Google Patents
一种图像处理方法、设备及存储介质 Download PDFInfo
- Publication number
- CN110136153A CN110136153A CN201910400403.8A CN201910400403A CN110136153A CN 110136153 A CN110136153 A CN 110136153A CN 201910400403 A CN201910400403 A CN 201910400403A CN 110136153 A CN110136153 A CN 110136153A
- Authority
- CN
- China
- Prior art keywords
- image
- target area
- area image
- size
- selected areas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法、设备及存储介质,其中方法包括:提取出原始病理图像中的目标区域图像;对所述目标区域图像进行图像分割,得到病灶区域图像,所述病灶区域图像包含所述目标区域图像的病灶区域;根据所述病灶区域图像,在所述目标区域图像或所述原始病理图像中标记出所述目标区域图像的病灶边界。本申请可以在原始病理图像中提取出目标区域图像之后对该目标区域图像进行精确病灶边界检测,于是本申请实施例提出了一种用于实现区域级别的精确病灶边界检测的图像处理方法。
Description
技术领域
本申请涉及图像处理领域,尤其涉及一种图像处理方法、设备及存储介质。
背景技术
病理图像为包含了人体部分组织的切面的图像,是临床中诊断肿瘤组织和细胞的金标准和重要依据之一。传统的病理图像诊断方法为医护人员人工读片以解读病理图像中包含的组织的病灶情况。但这种方法不仅费时费力,而且由于太依赖于医护人员的临床经验,于是时常会有诊断错误的情况发生。
对此可以采用计算机辅助诊断方法来实现自动化读片,即利用机器来对病理图像进行图像处理,从而识别得到病理图像中包含的组织的病灶情况,该方法可以帮助医护人员快速读片,以最大程度解放病理医护人员的人力。
目前的计算机辅助诊断方法主要是以确定病理图像的病灶类型为目标导向的图像处理方法,于是该图像处理方法更多关注的是如何确定病理图像的病灶类型,而很少关注病理图像的病灶边界等一类信息,甚至于不经过对病理图像的病灶区域的分割便直接实现对病理图像的病灶类型的分类,于是得到的图像处理的结果往往也只有病灶分类结果。但对于医护人员来说,除了病理图像的病灶类型以外还格外关注病理图像的病灶边界。现目前还没有一种用于实现精确病灶边界检测的图像处理方法。
发明内容
本申请实施例提供一种图像处理方法,可以实现区域级别的精确病灶边界检测。
第一方面,本申请实施例提供了一种图像处理方法,该方法包括:
提取出原始病理图像中的目标区域图像;对所述目标区域图像进行图像分割,得到病灶区域图像,所述病灶区域图像包含所述目标区域图像的病灶区域;根据所述病灶区域图像,在所述目标区域图像或所述原始病理图像中标记出所述目标区域图像的病灶边界。
可见,本申请实施例提出了一种用于实现区域级别的精确病灶边界检测的图像处理方法。具体的,由于本申请可以在原始病理图像中提取出目标区域图像之后对该目标区域图像进行病灶边界检测,于是相对于传统方法中对整个原始病理图像进行处理来说,本申请的方法不仅可以减少数据处理量和减少处理时间,并且相对于整张原始病理图像来说,对目标区域图像这样的小图进行处理,可以关注到区域中的更多图像细节,从而更加准确的确定目标区域图像的病灶边界。
结合第一方面,在第一方面的第一种实现方式中,所述提取出原始病理图像中的目标区域图像之前,还包括:
显示原始病理图像,并接收针对于所述原始病理图像的区域选择指令;所述提取出原始病理图像中的目标区域图像,包括:根据所述区域选择指令提取出所述原始病理图像中的目标区域图像。
可见,目标区域图像是根据用户的区域选择指令来确定的,于是本申请实施例可以提高边界检测的灵活性,根据用户的实际需要来对原始病理图像中的任意区域图像进行处理,于是本申请实施例进一步的提高了图像处理的效率。
结合第一方面的第一种实现方式,在第一方面的第二种实现方式中,所述根据所述区域选择指令提取出所述原始病理图像中的目标区域图像,包括:
根据所述区域选择指令确定出所述原始病理图像中的选中区域图像;按照图像尺寸调整规则在所述原始病理图像中对所述选中区域图像的尺寸进行调整,使得调整之后的选中区域图像的尺寸符合图像分割的尺寸标准;将所述调整之后的选中区域图像作为目标区域图像,并从所述原始病理图像中提取出所述目标区域图像。
可见,本申请对目标区域图像的尺寸进行规定,使得目标区域图像的尺寸可以满足后续图像分割的对于输入图像的尺寸标准,从而将图像分割的运算时间控制在秒级,然而在不规定输入图像大小的时候,会因为尺寸大小和/或尺寸比例的原因,而导致图像分割的运算时间长达几分钟。
结合第一方面的第二种实现方式,在第一方面的第三种实现方式中,所述对所述目标区域图像进行图像分割,得到所述病灶区域图像之后,所述在所述目标区域图像或所述原始病理图像中标记出所述目标区域图像的病灶边界之前,还包括:
检测所述目标区域图像相比于所述选中区域图像的多余部分图像;根据所述目标区域图像相比于选中区域图像的多余部分图像,对所述病灶区域图像进行裁剪。
可见,在上一实施例的方法被实施的情况下,本申请实施例可以在图像分割得到病灶区域图像之后,根据之前目标区域图像的尺寸调整情况,对病灶区域图像进行逆向调整,从而一定程度上对目标区域图像的尺寸进行恢复,使得最终确定得到的目标区域图像的病灶边界,尽量接近于用户指定的选中区域图像的病灶边界。
结合第一方面的第二种实现方式,在第一方面的第四种实现方式中,所述对所述目标区域图像进行图像分割,得到所述病灶区域图像,包括:
利用深度学习全卷积分割网络对所述目标区域图像进行图像分割,得到所述病灶区域图像,所述图像尺寸调整规则为深度学习图像调整规则,所述深度图像调整规则用于指示所述深度学习全卷积分割网络对应的尺寸标准。
可见,本申请实施例结合了深度学习技术来实现对病灶区域图像的精确分割,且对于不同的图像分割技术对应于有不同的图像尺寸调整规则,当图像分割技术为深度学习技术的时候,对应的图像尺寸调整规则为深度图像调整规则,于是根据深度图像调整规则调整得到的目标区域图像符合后续深度学习全卷积分割网络对于输入图像的尺寸标准,更有助于提高后续图像分割的速度,于是进一步的提高了图像处理的效率。
结合第一方面的第四种实现方式,在第一方面的第五种实现方式中,所述按照图像尺寸调整规则在所述原始病理图像中对所述选中区域图像的尺寸进行调整,使得调整之后的选中区域图像的大小符合图像分割的尺寸标准,包括:
获取所述深度学习全卷积网络对应的深度学习图像调整规则,所述深度学习图像调整规则包括尺寸比例标准以及尺寸大小标准;按照所述深度学习图像调整规则中的尺寸比例标准以及尺寸大小标准,分别对所述选中区域图像的尺寸比例以及尺寸大小进行调整,使得调整之后的选中区域图像的大小符合所述深度学习全卷积网络的尺寸标准。
可见,本申请实施例对深度学习图像调整规则以及调整的过程进行了详细说明,即按照深度学习图像调整规则中的尺寸比例标准和尺寸大小标准分别对选中区域图像进行一次调整,其调整的先后顺序不受限定,于是选中区域图像根据目标区域图像进行调整之后,根据其尺寸比例和尺寸大小都受到了很大的改善。
结合第一方面的第五种实现方式,在第一方面的第六种实现方式中,所述深度学习图像调整规则中的尺寸比例标准为,所述选中区域图像的边长为预设数值的倍数,所述预设数值为偶数;所述深度学习图像调整规则的尺寸大小标准为,所述选中区域图像的尺寸小于等于预设最大尺寸。
可见,本申请实施例进一步地对上一实施例所提及的深度学习图像调整规则中的尺寸比例标准和尺寸大小标准进行详细说明。
结合第一方面至第一方面的第六种实现方式,在第一方面的第七种实现方式中,所述根据所述病灶区域图像,在所述目标区域图像或所述原始病理图像中标记出所述目标区域图像的病灶边界,包括:
检测得到所述病灶区域图像的边界;提取所述病灶区域图像的边界的各个边界点的坐标;根据所述病灶区域图像的边界的各个边界点的坐标,在所述目标区域图像或所述原始病理图像中标记出所述目标区域图像的病灶边界。
可见,本申请实施例通过边界检测检测到病灶区域图像的边界以及通过轮廓提取来提取病灶区域图像的边界的坐标,然后根据病灶区域图像的边界的坐标进行标记,于是得到的目标区域图像的病灶边界既清晰又准确,且可以认为是一种精确病灶边界。
第二方面,本申请实施例提供了一种图像处理设备,该图像处理设备包括用于执行上述第一方面的图像处理方法的单元,该图像处理设备包括:
提取单元,用于提取出原始病理图像中的目标区域图像;分割单元,用于对所述目标区域图像进行图像分割,得到病灶区域图像,所述病灶区域图像包含所述目标区域图像的病灶区域;标记单元,用于根据所述病灶区域图像,在所述目标区域图像或所述原始病理图像中标记出所述目标区域图像的病灶边界。
结合第二方面,在第二方面的第一种实现方式中:
所述图像处理设备还包括显示单元,所述显示单元用于显示原始病理图像;所述图像处理设备还包括接收单元,所述接收单元用于接收针对于所述原始病理图像的区域选择指令;所述提取单元,具体用于根据所述区域选择指令提取出所述原始病理图像中的目标区域图像。
结合第二方面的第一种实现方式,在第二方面的第二种实现方式中:
所述图像处理设备还包括确定单元,所述确定单元用于根据所述区域选择指令确定出所述原始病理图像中的选中区域图像;所述图像处理设备还包括调整单元,所述调整单元用于按照图像尺寸调整规则在所述原始病理图像中对所述选中区域图像的尺寸进行调整,使得调整之后的选中区域图像的尺寸符合图像分割的尺寸标准;所述提取单元具体用于,将所述调整之后的选中区域图像作为目标区域图像,并从所述原始病理图像中提取出所述目标区域图像。
结合第二方面的第二种实现方式,在第二方面的第三种实现方式中,所述图像处理设备还包括裁剪单元,所述裁剪单元用于:
检测所述目标区域图像相比于所述选中区域图像的多余部分图像;根据所述目标区域图像相比于选中区域图像的多余部分图像,对所述病灶区域图像进行裁剪。
结合第二方面的第二种实现方式,在第二方面的第四种实现方式中,所述分割单元,具体用于:
利用深度学习全卷积分割网络对所述目标区域图像进行图像分割,得到所述病灶区域图像,所述图像尺寸调整规则为深度学习图像调整规则,所述深度图像调整规则用于指示所述深度学习全卷积分割网络对应的尺寸标准。
结合第二方面的第四种实现方式,在第二方面的第五种实现方式中,所述调整单元,具体用于:
用于获取所述深度学习全卷积网络对应的深度学习图像调整规则,所述深度学习图像调整规则包括尺寸比例标准以及尺寸大小标准;按照所述深度学习图像调整规则中的尺寸比例标准以及尺寸大小标准,分别对所述选中区域图像的尺寸比例以及尺寸大小进行调整,使得调整之后的选中区域图像的大小符合所述深度学习全卷积网络的尺寸标准。
结合第二方面的第五种实现方式,在第二方面的第六种实现方式中,所述深度学习图像调整规则中的尺寸比例标准为,所述选中区域图像的边长为预设数值的倍数,所述预设数值为偶数;所述深度学习图像调整规则的尺寸大小标准为,所述选中区域图像的尺寸小于等于预设最大尺寸。
结合第二方面至第二方面的第六种实现方式,在第二方面的第七种实现方式中,所述标记单元,具体用于:
检测得到所述病灶区域图像的边界;提取所述病灶区域图像的边界的各个边界点的坐标;根据所述病灶区域图像的边界的各个边界点的坐标,在所述目标区域图像或所述原始病理图像中标记出所述目标区域图像的病灶边界。
第三方面,本申请实施例提供了一种图像处理设备,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,用以执行如第一方面所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行,用以执行如第一方面所述的方法。
本申请首先在原始病理图像提取出目标区域图像,然后对目标区域图像进行图像分割,分割得到包含有目标区域图像的病灶区域的病灶区域图像,最后根据该病灶区域图像,在目标区域图像中或者原始病理图像中标记得到目标区域图像的病灶边界。可见,由于本申请可以在原始病理图像中提取出目标区域图像之后对该目标区域图像进行病灶边界检测,于是相对于传统方法中对整个原始病理图像进行处理来说,本申请的方法不仅可以减少数据处理量和处理时间,并且相对于整张原始病理图像来说,对目标区域图像这样的小图进行处理,可以关注到区域中的更多图像细节,从而更加准确的确定出目标区域图像的病灶边界。于是总的来说,本申请实施例提出了一种用于实现区域级别的精确病灶边界检测的图像处理方法。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。
图1是本申请实施例提供的一种图像处理过程示意图;
图2是本申请实施例提供的一种图像处理方法的示意流程图;
图3是本申请另一实施例提供的一种图像处理方法的示意流程图;
图4是本申请实施例提供的一种图像处理设备的示意性框图;
图5是本申请实施例提供的一种图像处理设备的结构性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请主要应用于图像处理设备,该图像处理设备可以是传统图像处理设备、计算机辅助诊断设备、远程诊断设备、病理图像的标注设备、医学院在线教学设备或者本申请第三实施例和第四实施例所描述的图像处理设备,本申请对此不做限制。当图像处理设备与其他设备进行数据交互的时候,图像处理设备和其他设备都按照预设格式进行对数据的特性进行记录并传送,并能对接收到的预设格式的数据进行相应的处理和解析等,其中,数据的特性包括时间、地点、类型等。
传统的病理图像诊断方法为医护人员人工读片以解读病理图像中包含的组织的病灶情况,但这种方法不仅费时费力,而且准确度也因人而异。对此可以采用计算机辅助诊断方法来实现自动化读片,但目前的计算机辅助诊断方法主要是利用机器进行图像处理以实现病灶分类,很少有用于病灶边界检测的,即使有,也是病灶模糊边界检测。于是目前还缺少一种用于实现精确病灶边界检测的图像处理方法。
为此解决上述问题,本申请实施例提供一种图像处理方法,可以实现精确病灶边界检测。需要说明的是,病灶边界检测具有重要的现实意义。病灶边界检测结果不仅可以辅助经验少的医务人员更好的对病理图像的病理情况进行解读,还能辅助经验丰富的医护人员完成病灶边界标注,即医护人员只需要对机器自动识别得到的精确边界稍作修改,即可快速完成病灶边界标注,然后病灶边界标注的结果还可以用于深度学习网络的训练,使得机器能够更加精确的识别到病灶区域的病灶边界。
为了能够更好地理解本发明实施例,下面将结合图1,对应用本发明实施例的方法进行介绍,本发明实施例可以应用于病灶边界检测的场景中。
请参见图1,图像处理设备首先在原始病理图像中提取出该目标区域图像,然后对该目标区域图像进行图像分割,得到包含有目标区域图像的病灶区域的病灶区域图像,最后根据病灶区域图像,在原始病理图像或目标区域图像中标记出目标区域图像的病灶边界。为了便于理解,接下来本申请将对上述过程进行具体说明。
如图1所示,01原始病理图像是部分人体组织的切片图像,该部分人体组织可以是手术切除得到的大组织块,也可以是活检穿刺得到的小组织块,但不管是哪种组织块,其都包含了组织块的详细细节信息,于是通过制片得到的原始病理图像实际上都是尺寸比较大的,但用户(如医疗人员等)往往不需要对整张原始病理图像进行分析,只需要对感兴趣的部分图像进行分析,例如疑似存在恶性组织的部分图像,或者病灶边界存疑的部分图像等,于是在步骤101中,图像处理设备首先根据人工手动选择的方式或者机器自动识别的方式,在原始病理图像中确定出需要进行病灶边界检测的目标区域图像。
上述根据人工手动选择的方式在原始病理图像中确定出目标区域图像指的是,图像处理设备首先在显示设备(如显示屏等)上通过图片阅片软件显示出原始病理图像,用户可以通过输入设备(键盘等)在原始病理图像上进行画选框等操作,以触发产生包含选框的位置信息的区域选择指令,于是本图像处理设备通过图片阅片软件可以接收到该区域选择指令,在接收到该区域选择指令之后,图像处理设备根据该区域选择指令中包含选框的位置信息确定原始病理图像中的选择区域图像,然后将选中区域图像(选中区域图像例如为,图1中的01原始病理图像中的实线方框中的图像ABCD)作为目标区域图像,或者按照预设的图像尺寸调整规则对该选中区域图像进行调整,再将调整之后的选中区域图像(调整之后的选中区域图像例如为,图1中的01原始病理图像中的虚线方框中的图像AB′C′D′)作为目标区域图像。其中,选框可以是矩形,选框的位置信息则可以包括选框的左上角的横纵坐标以及该选框的长和宽。
上述根据机器自动识别的方式在原始病理图像中确定出目标区域图像指的是,图像处理设备首先识别出原始病理图像中的肿瘤或者结节,然后确定肿瘤或者结节所在的区域,并确定可以包含该肿瘤或者结节所在的区域的最小的选框(例如矩形),最后将该选框内的图像作为选中区域图像,并进一步的将该选中区域图像(选中区域图像例如为,图1中的01原始病理图像中的实线方框中的图像ABCD)作为目标区域图像,或者按照预设的图像尺寸调整规则对该选中区域图像进行调整,再将调整之后的选中区域图像(调整之后的选中区域图像例如为,图1中的01原始病理图像中的虚线方框中的图像AB′C′D′)作为目标区域图像。
需要说明的是,上述对选中区域图像的尺寸进行调整是为了,调整选中区域图像之后得到的目标区域图像更符合后续图像分割的尺寸标准,从而将图像分割的运算时间控制在秒级,然而在不规定图像大小的时候,可能因为尺寸大小和/或尺寸比例的原因,而导致运算时间长达几分钟。其中,不同的图像分割方法对应不同的图像尺寸调整规则,例如,当采用深度学习全卷积分割网络来对目标区域图像进行图像分割之前,获取深度学习全卷积网络对应的深度学习图像调整规则即深度学习图像调整规则,深度图像调整规则用于指示深度学习全卷积分割网络对应的尺寸标准,然后按照该深度图像调整规则对选中区域进行调整,具体的,按照深度学习图像调整规则中的尺寸比例标准(例如,选中区域图像的边长为预设数值的倍数,预设数值为偶数)以及尺寸大小标准(选中区域图像的尺寸小于等于预设最大尺寸),分别对选中区域图像的尺寸比例以及尺寸大小进行调整,其调整的先后顺序不受限制,可以是先对选中区域图像的尺寸比例进行调整,也可以是先对选中区域的尺寸大小进行调整。
接下来以调整之后的选中区域图像作为目标区域图像进行说明,在确定了原始病理图像中的目标区域图像AB′C′D′之后,在步骤102中将该目标区域图AB′C′D′像从原始病理图像中提取出来,得到了如图1中的02所示的目标区域图像。
在提取出原始病理图像中的02目标区域图像AB′C′D′之后,在步骤103中利用深度学习全卷积分割网络等对该02目标区域图像进行图像分割,得到03病灶区域图像,该病灶区域图像中包含了原始病理图像的病灶区域。此外,还可以在分割之后还可以对该03病灶区域图像进行进一步的逆向调整,使得逆向调整之后的病灶区域图像中所包含的病灶区域更接近于选择区域图像的病灶区域。具体的,如图1所示的,对目标区域图像AB′C′D′进行图像分割之后得到如03图所示的病灶区域图像MN′P′Q′,目标区域图像AB′C′D′与病灶区域图像MN′P′Q′可以完全重合,然后对该病灶区域图像MN′P′Q′进行逆向调整,即按照目标区域图像AB′C′D′相比于选择区域图像ABCD的多余部分图像,对病灶区域图像MN′P′Q′进行裁剪,使得裁剪之后得到病灶区域图像MNPQ中包含的病灶区域尽可能的接近于选中区域ABCD的病灶区域,在如图1中的举例中,实际上病灶区域图像MNPQ可以与选中区域图像ABCD完全重合。需要说明的是,逆向调整并非一定会执行的步骤,在目标相对于选中区域图像没有多余部分图像时,即选中区域图像等于或大于目标区域图像时,则不需要对病灶区域图像进行逆向调整,于是本申请仍以病灶区域图像为MN′P′Q′为例接着进行说明。
在图像分割得到病灶区域图像之后,在步骤104中根据该病灶区域图像,确定目标区域图像的病灶边界,即按照病灶区域图像的边界,在目标区域图像中或者原始病理图像中描出目标区域图像的病灶边界。具体的,图像处理设备首先通过边界检测算法检测得到病灶区域图像的边界,然后通过轮廓提取算法提取出病灶区域图像的边界的各个边界点的坐标,由于病灶区域图像与目标区域图像是可以全部重合或者部分重合(若病灶区域图像进行了逆向调整)在一起的,于是最后可以直接按照病灶区域图像的边界的各个边界点的坐标,在原始病理图像中或者目标区域图像中标记出目标区域图像的病灶边界,得到如图1中04所示的目标区域图像的病灶边界,最后可以在显示设备上以全图显示或者部分显示的方式来显示该目标区域图像的病灶边界,其中,全图显示指的是在整个原始病理图像上显示该目标区域图像的病灶边界,部分显示指的是只显示目标区域图像以及目标区域图像的病灶边界。
需要注意的是本申请首先根据人工手动选择的方式或者机器自动识别的方式来确定出原始病理图像中的目标区域图像,然后在原始病理图像中提取出目标区域图像,并对该目标区域图像进行单独分析处理,而不是如传统图像处理方法一样,将原始病理图像作为整体直接进行处理,尤其是在确定病灶边界等信息时,直接对整张病理图像进行处理往往会损失很多的细节信息,从而影响病灶边界的准确检测。需要注意的是,传统图像处理方法之所以将原始病理图像作为整体来进行处理是因为,用于医疗辅助的传统图像处理方法一般是用于确定原始病理图像的病灶类型,于是没有必要,也不会想到对原始病理图像的部分区域图像进行精确化的病灶边界检测。
本申请首先根据人工手动选择的方式或者机器自动识别的方式来确定出原始病理图像中的目标区域图像,然后在原始病理图像中提取出目标区域图像,最后对目标区域图像进行图像分割得到病灶区域图像,并根据该病灶区域图像,确定得到目标区域图像的病灶边界。可见,由于本申请可以在原始病理图像中提取出目标区域图像,并对该目标区域图像进行病灶边界检测,于是相对于传统方法中对整个原始病理图像进行处理来说,本申请的方法不仅可以减少数据处理量和处理时间,而且还可以提高边界检测的灵活性,并且相对于整张原始病理图像来说,对目标区域图像这样的小图进行处理,可以关注到区域中的更多图像细节,从而更加准确的确定目标区域图像的病灶边界。于是总的来说,本申请实施例提出了一种用于实现区域级别的精确病灶边界检测的图像处理方法。
需要说明的是,图1中所示内容为一种举例,并不构成对本发明实施例的限定。因为在本申请中,病理图像中包含的前景图像的数量以及组织块的数量可以是任意数值。
参见图2,是本申请实施例提供一种图像处理方法的示意流程图,如图2所示图像处理方法可包括:
201:提取出原始病理图像中的目标区域图像。
本申请实施例中,在原始病理图像中确定出需要进行病灶边界检测的目标区域图像,然后从该原始病理图像中提取出目标区域图像。其中,原始病理图像是部分人体组织的切片图像,该原始病理图像中包含病灶区域,病灶区域用于指示疑似存在病灶的区域,例如存在肿瘤或者结节的区域等。
在一种实施中,根据人工手动选择的方式确定出原始病理图像中的目标区域图像,然后从原始病理图像中将目标区域图像分割出来。具体的,图像处理设备首先显示原始病理图像,并接收针对于该原始病理图像的区域选择指令,然后根据该区域选择指令确定出原始病理图像中的选中区域图像,并将该选中区域图像作为目标区域图像,最后在原始病理图像中提取出该目标区域图像。
在本申请实施例中,通过显示设备(显示屏等)上显示原始病理图像,然后通过输入设备(键盘等)输入的针对于该原始病理图像的区域选择指令,该区域选择指令用于指示用户选择的选择区域图像,该区域选择指令包括选择区域图像的位置信息,于是根据该区域选择指令中包含的位置信息找到原始病理图像中的选择区域图像,然后将该选择区域图像作为目标区域图像,最后从原始病理图像中将该目标区域图像提取出来。
需要说明的是,区域选择指令中的位置信息可以包含目标区域图像的每个边界点的坐标信息,也可以是简化的位置描述信息,该位置描述信息用于描述目标区域图像的边界的位置特征,例如位置描述信息包括图像类型(矩形,圆形等)、图像尺寸(边长,半径等)、基准点坐标(在调整时可以作为调整的基准点的坐标)、旋转角度(轴心偏离横向水平轴的角度)等信息,本申请实施例对此不作限定。其中,图像尺寸与图像类型相关联,不同的图像类型对应有不同的图像尺寸。
举例来说,若选中区域图像是长方形,则上述区域选择指令中的位置信息包含的是选中区域图像的左上角的横纵坐标,以及该选框的长和宽。
在另一种实施中,根据机器自动识别的方式确定出原始病理图像中的目标区域图像,然后从原始病理图像中将目标区域图像分割出来。具体的,图像处理设备首先确定出原始病理图像中的存疑区域(例如识别出原始病理图像中的肿瘤或者结节,然后确定肿瘤或者结节所在的区域,将该肿瘤或者结节所在区域作为存疑区域),并确定可以包含该存疑区域的最小的选框,最后将该选框内的图像作为选中区域图像,并进一步的将该选中区域图像作为目标区域图像。
在另一种实施中,根据人工手动选择的方式或者机器自动识别的方式确定得到选中区域图像之后,除了直接将选中区域图像作为目标区域图像以外,还可以按照图像尺寸调整规则在原始病理图像中对选中区域图像的尺寸进行调整,使得调整之后的选中区域图像的尺寸符合图像分割的尺寸标准,然后将调整之后的选中区域图像作为目标区域图像,并从原始病理图像中提取出该目标区域图像。
本申请实施例不同于上述的申请实施例,在根据区域选择指令确定到原始病理图像中的选中区域图像之后,先按照图像尺寸调整规则对原始病理图像中的选中区域图像的尺寸进行调整,再将调整之后的选中区域图像作为目标区域图像。其中,图像尺寸调整规则指示了目标区域图像的尺寸调整规则。
需要说明的是,对用户指定的选中区域图像进行调整,是为了让调整之后的选中区域图像的尺寸符合后续的图像分割的尺寸标准,以提高图像分割的速度。因为图像分割技术对输入图像的尺寸有一定的要求,且不同的图像分割技术可能对应有不同的要求,有的图像分割技术要求输入图像的尺寸一致,有的图像分割技术要求输入图像的尺寸不大于预设尺寸,有的图像技术要求输入图像的尺寸比例一致等等,本申请对此不再一一举例说明。
在一种实施中,若图像分割技术是深度学习,即用于对目标区域图像进行图像分割的是深度学习全卷积分割网络,则获取与该深度学习全卷积分割网络对应的图像尺寸调整规则即深度学习图像调整规则,然后按照该深度学习图像调整规则对选中区域图像的尺寸进行调整。具体的,该深度学习图像调整规则包括尺寸比例标准以及尺寸大小标准,其中,尺寸比例标准为选中区域图像的边长应是预设数值的倍数,而该预设数值为偶数,尺寸大小标准为选中区域图像的尺寸应小于等于预设最大尺寸。于是上述按照该深度学习图像调整规则对选中区域图像的尺寸进行调整实质指的是,按照深度学习图像调整规则中的尺寸比例标准以及尺寸大小标准,分别对所述选中区域图像的尺寸比例以及尺寸大小进行调整,使得调整之后的选中区域图像的大小符合所述深度学习全卷积网络的尺寸标准,其中调整尺寸比例以及调整尺寸比例的先后不受限定。
举例来说,根据区域选择指令确定得到如图1中的01原始原始病理图像中的选中区域图像ABCD,选中区域图像ABCD为矩形,假设先按照深度学习图像调整规则中的尺寸比例标准对选中区域图像ABCD的尺寸比例进行调整,得到如01原始病理图像中的矩形AB′C′D′,然后再按照深度学习图像调整规则中的尺寸大小标准对矩形AB′C′D′的尺寸大小进行调整,由于矩形AB′C′D′的尺寸大小是小于预设最大尺寸的,于是矩形AB′C′D′符合深度学习图像调整规则中的尺寸大小标准,因此选中区域图像ABCD按照深度学习图像调整规则调整之后得到矩形AB′C′D′,最后将该矩形AB′C′D′作为目标区域图像。
在一种实施中,在根据区域选择指令确定了原始病理图像中的目标区域图像之后,在显示设备上显示有选框标记出目标区域图像的原始病理图像,并通过输入设备(鼠标等)接收针对于该选框的移动指令,该移动指令用于指示在原始病理图像上平移选框,然后响应于该平移指令,在原始病理图像上平移该选中框,以重新确定原始病理图像上的目标区域图像,最后将该重新确定出的目标区域图像从原始病理图像中分割出来,便得到了目标区域图像。
202:对上述目标区域图像进行图像分割,得到病灶区域图像,病灶区域图像包含目标区域图像的病灶区域。
在申请实施例中,利用图像分割技术对上述目标区域图像进行图像分割,以分割出目标区域图像中的病灶区域图像,病灶区域图像中包含了目标区域图像的所有病灶区域。其中,图像分割技术有例如有基于区域的图像分割方法、基于边缘检测的图像分割方法、基于小波分析和小波变换的图像分割方法、基于马儿可夫随机场模型的图像分割方法、基于遗传算法的图像分割方法、基于人工神经网络的图像分割方法、基于聚类的分割方法、基于主动轮廓模型的分割方法等,本申请实施例对此不做限定。
在一种实施中,利用深度学习全卷积分割网络对所述目标区域图像进行图像分割,得到病灶区域图像。其中,深度学习全卷积分割网络可以是FCN全卷积网络、SegNet全卷积网络、U-Net全卷积网络、FC-DensenetE-Net&Link-Net全卷积网络、RefineNet全卷积网络、PSPNet全卷积网络、Mask-RCNN全卷积网络中的一种。需要注意的是,本申请实施例中的深度学习全卷积分割网络与其他的深度学习全卷积分割网络不一样,因为本申请实施例中的深度学习全卷积分割网络是利用多个区域图像以及标注好了的每个区域图像的病灶区域训练得到的,于是本申请实施例中的深度学习全卷积分割网络可以分割得到目标区域图像的像素级别的病灶区域图像。
在一种实施中,在得到病灶区域图像之后,检测目标区域图像相比于选中区域图像的多余部分图像,然后根据该目标区域图像相比于选中区域图像的多余部分图像,对病灶区域图像进行裁剪,使得裁剪之后的病灶区域图像所包含的病灶区域接近于选中区域图像的病灶区域。
在分割出病灶区域图像之后,如果上述对选中区域图像进行调整得到目标区域图像的时候是通过扩大选中区域图像才得到目标区域图像的话,则在得到病灶区域图像之后,可以根据扩大之前的选中区域图像来对病灶区域图像进行裁剪,使得裁剪之后的病灶区域图像所包含的病灶区域接近于选中区域图像的病灶区域,本步骤可以认为是对应于上述将选中区域图像调整为目标区域图像的一种逆向调整。
举例来说,若选中区域图像和目标区域图像分别如图1的01中的矩形ABCD和矩形AB′C′D′,且在上一步骤中对目标区域图像AB′C′D′进行图像分割之后得到图1的03中的病灶区域图像MN′P′Q′,于是按照矩形AB′C′D′相比于矩形ABCD的多余部分来对病灶区域图像MN′P′Q′进行裁剪,得到病灶区域图像MNPQ,然后将该病灶区域图像MNPQ当作为目标区域图像的病灶区域图像。
需要注意的是,在两种情况下上述逆向调整不会执行,第一个情况是,目标区域图像相对于选中区域图像没有多余部分图像时,逆向调整不会发生,第二个情况是,如果在以上描述的过程中,用户通过移动指令在原始病理图像上对目标区域图像进行了手动调整时,逆向调整不会发生,因为手动调整表示用户对手动调整之后的目标区域图像是认可的,于是也认可调整之后的病灶区域图像,因此在该种情况下没有逆向调整的必要。
203:根据上述病灶区域图像,在目标区域图像或原始病理图像中确定出目标区域图像的病灶边界。
在本申请实施例中,根据病灶区域图像,确定出目标区域图像的病灶边界,即按照病灶区域图像的边界在目标区域图像中或者原始病理图像中描出目标区域图像的病灶边界。具体的,图像处理设备首先通过边界检测算法检测得到病灶区域图像的边界,然后通过轮廓提取算法提取出病灶区域图像的边界的各个边界点的坐标,由于病灶区域图像与目标区域图像是可以全部重合或者部分重合(进行了逆向调整的情况)在一起的,于是最后可以直接按照病灶区域图像的边界的各个边界点的坐标,在目标区域图像中标记出目标区域图像的病灶边界,得到如图1中04所示的目标区域图像的病灶边界,或者在原始病理图像中标记出目标区域图像的病灶边界。
需要说明的是,边缘检测算法用于标识数字图像中亮度变化明显的点,而图像属性中的显著变化通常反映了属性的重要事件和变化,边缘检测算法包括一阶算法二阶算法,一阶算法的有Roberts Cross算子,Prewitt算子,Sobel算子,Canny算子,Krisch算子,罗盘算子;而二阶算法的还有Marr-Hildreth,在梯度方向的二阶导数过零点等;轮廓提取算法用于对检测出来的边缘的坐标进行提取,包括基于区域的轮廓提取算法、基于边缘的轮廓提取算法、基于活动轮廓的轮廓提取算法、基于视觉特性的轮廓提取算法,本申请对实际采用的边缘检测算法和轮廓提取算法不做限定。
在一种实施中,最后在显示设备上以全图显示或者部分显示的方式来显示该目标区域图像的病灶边界,其中,全图显示指的是在整个原始病理图像上显示该目标区域图像的病灶边界,部分显示指的是只显示目标区域图像以及目标区域图像的病灶边界。
本申请实施例首先提取出原始病理图像中的目标区域图像,然后对该目标区域图像进行图像分割,分割得到该目标区域图像中的病灶区域图像,最后根据该病灶区域图像,确定得到目标区域图像的病灶边界。可见,由于本申请实施例可以在原始病理图像中提取出目标区域图像之后对该目标区域图像进行病灶边界检测,于是相对于传统方法中对整个原始病理图像进行处理来说,本申请实施例的方法不仅可以减少数据处理量和处理时间,并且相对于整张原始病理图像来说,对目标区域图像这样的小图进行处理,可以关注到区域中的更多图像细节,从而更加准确的确定目标区域图像的病灶边界。而且经过实际测试,本申请实施例将原始病理图像中的目标区域图像来作为病灶边界检测的目标,相对于将整个原始病理图像来作为目标进行病灶边界检测来说,本申请实施例的方法无论是速度上还是精确的病灶边界检测上都有更好的效果。于是总的来说,本申请实施例提出了一种用于实现区域级别的精确病灶边界检测的图像处理方法。
参见图3,是本申请实施例提供另一种图像处理方法的示意流程图,如图3所示图像处理方法可包括:
301:显示原始病理图像,并接收针对于该原始病理图像的区域选择指令。
302:根据上述区域选择指令确定出原始病理图像中的选中区域图像。
在本申请实施例中,由于区域选择指令指示了用户选择的选择区域图像,于是可以根据该区域选择指令在原始病理图像中确定出用户选择的选择区域图像。
303:按照深度学习图像调整规则在原始病理图像中对选中区域图像的尺寸进行调整,使得调整之后的选中区域图像的尺寸符合深度学习全卷积分割网络对应的尺寸标准。
在本申请实施例中,若后续会采用深度学习来进行图像分割,于是获取与该深度学习全卷积分割网络对应的图像尺寸调整规则即深度学习图像调整规则,然后按照该深度学习图像调整规则对选中区域图像的尺寸进行调整。具体的,该深度学习图像调整规则包括尺寸比例标准以及尺寸大小标准,其中,尺寸比例标准为选中区域图像的边长应是预设数值的倍数,而该预设数值为偶数,尺寸大小标准为选中区域图像的尺寸应小于等于预设最大尺寸。于是上述按照该深度学习图像调整规则对选中区域图像的尺寸进行调整实质指的是,按照深度学习图像调整规则中的尺寸比例标准以及尺寸大小标准,分别对所述选中区域图像的尺寸比例以及尺寸大小进行调整,使得调整之后的选中区域图像的大小符合所述深度学习全卷积网络的尺寸标准,其中调整尺寸比例以及调整尺寸比例的先后不受限定。
举例来说,根据区域选择指令确定得到如图1中的01原始病理图像中的选中区域图像ABCD,选中区域图像ABCD为矩形,假设先按照深度学习图像调整规则中的尺寸比例标准对选中区域图像ABCD的尺寸比例进行调整,得到如01原始病理图像中的矩形AB′C′D′,然后再按照深度学习图像调整规则中的尺寸大小标准对矩形AB′C′D′的尺寸大小进行调整,由于矩形AB′C′D′的尺寸大小是小于预设最大尺寸的,于是矩形AB′C′D′符合深度学习图像调整规则中的尺寸大小标准,因此选中区域图像ABCD按照深度学习图像调整规则调整之后得到矩形AB′C′D′,最后将该矩形AB′C′D′作为目标区域图像。
在一种实施中,在根据区域选择指令确定了原始病理图像中的目标区域图像之后,在显示设备上显示有选框标记出目标区域图像的原始病理图像,并通过输入设备(鼠标等)接收针对于该选框的移动指令,该移动指令用于指示在原始病理图像上平移选框,然后响应于该平移指令,在原始病理图像上平移该选中框,以重新确定原始病理图像上的目标区域图像,最后将该重新确定出的目标区域图像从原始病理图像中分割出来,便得到了目标区域图像。
304:将调整之后的选中区域图像作为目标区域图像,并从原始病理图像中提取出目标区域图像。
本申请实施例中,将上述按照深度学习图像调整规则调整了尺寸的选中区域图像作为目标区域图像,并将该目标区域图像从原始病理图像中分割出来。
305:利用深度学习全卷积分割网络对目标区域图像进行图像分割,得到病灶区域图像。
在本申请实施例中,利用深度学习全卷积分割网络对所述目标区域图像进行图像分割,得到病灶区域图像。其中,深度学习全卷积分割网络可以是FCN全卷积网络、SegNet全卷积网络、U-Net全卷积网络、FC-DensenetE-Net&
Link-Net全卷积网络、RefineNet全卷积网络、PSPNet全卷积网络、Mask-RCNN全卷积网络中的一种。需要注意的是,本申请实施例中的深度学习全卷积分割网络与其他的深度学习全卷积分割网络不一样,因为本申请实施例中的深度学习全卷积分割网络是利用多个区域图像以及标注好了的每个区域图像的病灶区域训练得到的,于是本申请实施例中的深度学习全卷积分割网络可以分割得到目标区域图像的像素级别的病灶区域图像。
在一种实施中,在得到病灶区域图像之后,检测目标区域图像相比于选中区域图像的多余部分图像,然后根据该目标区域图像相比于选中区域图像的多余部分图像,对病灶区域图像进行裁剪,使得裁剪之后的病灶区域图像所包含的病灶区域接近于选中区域图像的病灶区域。
在分割出病灶区域图像之后,如果上述对选中区域图像进行调整得到目标区域图像的时候是通过扩大选中区域图像才得到目标区域图像的话,则在得到病灶区域图像之后,可以根据扩大之前的选中区域图像来对病灶区域图像进行裁剪,使得裁剪之后的病灶区域图像所包含的病灶区域接近于选中区域图像的病灶区域,本步骤可以认为是对应于上述将选中区域图像调整为目标区域图像的一种逆向调整。
举例来说,若选中区域图像和目标区域图像分别如图1的01中的矩形ABCD和矩形AB′C′D′,且在上一步骤中对目标区域图像AB′C′D′进行图像分割之后得到图1的03中的病灶区域图像MN′P′Q′,于是按照矩形AB′C′D′相比于矩形ABCD的多余部分来对病灶区域图像MN′P′Q′进行裁剪,得到病灶区域图像MNPQ,然后将该病灶区域图像MNPQ当作为目标区域图像的病灶区域图像。
需要注意的是,在两种情况下上述逆向调整不会执行,第一个情况是,目标区域图像相对于选中区域图像没有多余部分图像时,逆向调整不会发生,第二个情况是,如果在以上描述的过程中,用户通过移动指令在原始病理图像上对目标区域图像进行了手动调整时,逆向调整不会发生,因为手动调整表示用户对手动调整之后的目标区域图像是认可的,于是也认可调整之后的病灶区域图像,因此在该种情况下没有逆向调整的必要。
306:检测得到上述病灶区域图像的边界。
在本申请实施例中,图像处理设备通过边界检测算法检测得到所述病灶区域图像的边界。其中,边缘检测算法用于标识数字图像中亮度变化明显的点,而图像属性中的显著变化通常反映了属性的重要事件和变化,边缘检测算法包括一阶算法二阶算法,一阶算法的有Roberts Cross算子,Prewitt算子,Sobel算子,Canny算子,Krisch算子,罗盘算子;而二阶算法的还有Marr-Hildreth,在梯度方向的二阶导数过零点等。本申请对实际采用边缘检测算法不做限定。
307:提取上述病灶区域图像的边界的各个边界点的坐标。
在本申请实施例中,图像处理设备通过轮廓提取算法提取出病灶区域图像的边界的各个边界点的坐标。其中,轮廓提取算法用于对检测出来的边缘的坐标进行提取,包括基于区域的轮廓提取算法、基于边缘的轮廓提取算法、基于活动轮廓的轮廓提取算法、基于视觉特性的轮廓提取算法,本申请对实际采用的轮廓提取算法不做限定。
308:根据上述病灶区域图像的边界的各个边界点的坐标,在原始病理图像或者目标区域图像中标记出目标区域图像的病灶边界。
在本申请实施例中,由于病灶区域图像与目标区域图像是可以全部重合或者部分重合在一起的,于是最后可以直接按照病灶区域图像的边界的各个边界点的坐标,在目标区域图像中标记出目标区域图像的病灶边界,得到如图1中04所示的目标区域图像的病灶边界,或者在原始病理图像中标记出目标区域图像的病灶边界。
在一种实施中,最后在显示设备上以全图显示或者部分显示的方式来显示该目标区域图像的病灶边界,其中,全图显示指的是在整个原始病理图像上显示该目标区域图像的病灶边界,部分显示指的是只显示目标区域图像以及目标区域图像的病灶边界。
本申请实施例在上一申请实施例的基础上,更加详细的描述了本图像处理方法的实现流程。在根据用户的选择区域指令确定了原始病理图像上的选中区域图像之后,还按照深度学习图像调整规则对该选中区域图像调整,并将调整之后的选中区域作为目标区域图像,于是本申请通过规定目标区域图像的尺寸,使得后续利用深度学习全卷积网络来实现对目标区域图像的图像分割时,能够大大提高图像分割的速度。可见,即使用户指定的选中区域图像不符合图像分割的输入图像的尺寸标准,也可以通过本申请实施例的方法进行调整,从而得到可以适应于后续图像分割的目标区域图像,总的来说,本申请实施例可以适应于各种随机尺寸的选择区域图像的计算,且经过实际测试,本申请实施例的方法和以往同类算法相比,无论是速度上还是精确的病灶边界检测上都取得了更好的效果。
需要说明的是,上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
本申请实施例还提供一种图像处理设备,该图像处理设备包含用于执行前述任一项的图像处理方法的单元。具体地,参见图4,是本申请实施例提供的一种图像处理设备的示意框图。本实施例的图像处理设备包括:提取单元410、分割单元420以及标记单元430。具体的:
提取单元410,用于提取出原始病理图像中的目标区域图像;分割单元420,用于对上述目标区域图像进行图像分割,得到病灶区域图像,上述病灶区域图像包含上述目标区域图像的病灶区域;标记单元430,用于根据上述病灶区域图像,在上述目标区域图像或上述原始病理图像中标记出上述目标区域图像的病灶边界。
在一种实施中,上述图像处理设备还包括显示单元440,上述显示单元440用于显示原始病理图像;上述图像处理设备还包括接收单元450,上述接收单元用于接收针对于上述原始病理图像的区域选择指令;上述提取单元410,具体用于根据上述区域选择指令提取出上述原始病理图像中的目标区域图像。
在一种实施中,上述图像处理设备还包括确定单元460,上述确定单元460用于根据上述区域选择指令确定出上述原始病理图像中的选中区域图像;上述图像处理设备还包括调整单元470,上述调整单元470用于按照图像尺寸调整规则在上述原始病理图像中对上述选中区域图像的尺寸进行调整,使得调整之后的选中区域图像的尺寸符合图像分割的尺寸标准;上述提取单元410具体用于,将上述调整之后的选中区域图像作为目标区域图像,并从上述原始病理图像中提取出上述目标区域图像。
在一种实施中,上述图像处理设备还包括裁剪单元480,上述裁剪单元480用于检测上述目标区域图像相比于上述选中区域图像的多余部分图像;根据上述目标区域图像相比于选中区域图像的多余部分图像,对上述病灶区域图像进行裁剪。
在一种实施中,上述分割单元420,具体用于利用深度学习全卷积分割网络对上述目标区域图像进行图像分割,得到上述病灶区域图像,上述图像尺寸调整规则为深度学习图像调整规则,上述深度图像调整规则用于指示上述深度学习全卷积分割网络对应的尺寸标准。
在一种实施中,上述调整单元470,具体用于用于获取上述深度学习全卷积网络对应的深度学习图像调整规则,上述深度学习图像调整规则包括尺寸比例标准以及尺寸大小标准;按照上述深度学习图像调整规则中的尺寸比例标准以及尺寸大小标准,分别对上述选中区域图像的尺寸比例以及尺寸大小进行调整,使得调整之后的选中区域图像的大小符合上述深度学习全卷积网络的尺寸标准。
在一种实施中,上述深度学习图像调整规则中的尺寸比例标准为,上述选中区域图像的边长为预设数值的倍数,上述预设数值为偶数;上述深度学习图像调整规则的尺寸大小标准为,上述选中区域图像的尺寸小于等于预设最大尺寸。
在一种实施中,上述标记单元430,具体用于检测得到上述病灶区域图像的边界;提取上述病灶区域图像的边界的各个边界点的坐标;根据上述病灶区域图像的边界的各个边界点的坐标,在上述目标区域图像或上述原始病理图像中标记出上述目标区域图像的病灶边界。
本申请实施例首先利用提取单元提取出原始病理图像中的目标区域图像,然后利用分割单元对该目标区域图像进行图像分割,分割得到该目标区域图像中的病灶区域图像,最后利用标记单元根据该病灶区域图像,确定得到目标区域图像的病灶边界。可见,由于本申请实施例可以在原始病理图像中提取出目标区域图像之后对该目标区域图像进行病灶边界检测,于是相对于传统方法中对整个原始病理图像进行处理来说,本申请实施例的方法不仅可以减少数据处理量和处理时间,并且相对于整张原始病理图像来说,对目标区域图像这样的小图进行处理,可以关注到区域中的更多图像细节,从而更加准确的确定目标区域图像的病灶边界。而且经过实际测试,本申请实施例将原始病理图像中的目标区域图像来作为病灶边界检测的目标,相对于将整个原始病理图像来作为目标进行病灶边界检测来说,本申请实施例的方法无论是速度上还是精确的病灶边界检测上都有更好的效果。于是总的来说,本申请实施例提出了一种用于实现区域级别的精确病灶边界检测的图像处理方法。
参见图5,是本申请另一实施例提供的一种图像处理设备示意框图。如图所示的本实施例中的图像处理设备可以包括:处理器510、输入设备520、输出设备530和存储器540。上述处理器510、输入设备520、输出设备530和存储器540通过总线550连接。具体的:
上述处理器510用于执行提取单元410的功能,用于提取出原始病理图像中的目标区域图像;上述处理器510还用于执行分割单元420的功能,用于对上述目标区域图像进行图像分割,得到病灶区域图像,上述病灶区域图像包含上述目标区域图像的病灶区域;上述处理器还用于执行标记单元430的功能,用于根据上述病灶区域图像,在上述目标区域图像或上述原始病理图像中标记出上述目标区域图像的病灶边界。
在一种实施中,上述输出设备530用于执行显示单元440的功能,用于显示原始病理图像;上述输入设备520用于执行接收单元450的功能,上述接收单元用于接收针对于上述原始病理图像的区域选择指令;上述处理器510,具体用于根据上述区域选择指令提取出上述原始病理图像中的目标区域图像。
在一种实施中,上述处理器510还用于执行确定单元460的功能,用于根据上述区域选择指令确定出上述原始病理图像中的选中区域图像;上述处理器510还用于执行调整单元470的功能,用于按照图像尺寸调整规则在上述原始病理图像中对上述选中区域图像的尺寸进行调整,使得调整之后的选中区域图像的尺寸符合图像分割的尺寸标准;上述处理器510具体用于,将上述调整之后的选中区域图像作为目标区域图像,并从上述原始病理图像中提取出上述目标区域图像。
在一种实施中,上述处理器510还用于执行裁剪单元480的功能,用于检测上述目标区域图像相比于上述选中区域图像的多余部分图像;还用于根据上述目标区域图像相比于选中区域图像的多余部分图像,对上述病灶区域图像进行裁剪。
在一种实施中,上述处理器510,具体用于利用深度学习全卷积分割网络对上述目标区域图像进行图像分割,得到上述病灶区域图像,上述图像尺寸调整规则为深度学习图像调整规则,上述深度图像调整规则用于指示上述深度学习全卷积分割网络对应的尺寸标准。
在一种实施中,上述处理器510,具体用于用于获取上述深度学习全卷积网络对应的深度学习图像调整规则,上述深度学习图像调整规则包括尺寸比例标准以及尺寸大小标准;按照上述深度学习图像调整规则中的尺寸比例标准以及尺寸大小标准,分别对上述选中区域图像的尺寸比例以及尺寸大小进行调整,使得调整之后的选中区域图像的大小符合上述深度学习全卷积网络的尺寸标准。
在一种实施中,上述深度学习图像调整规则中的尺寸比例标准为,上述选中区域图像的边长为预设数值的倍数,上述预设数值为偶数;上述深度学习图像调整规则的尺寸大小标准为,上述选中区域图像的尺寸小于等于预设最大尺寸。
在一种实施中,上述处理器510,具体用于检测得到上述病灶区域图像的边界;提取上述病灶区域图像的边界的各个边界点的坐标;根据上述病灶区域图像的边界的各个边界点的坐标,在上述目标区域图像或上述原始病理图像中标记出上述目标区域图像的病灶边界。
应当理解,在本申请实施例中,所称处理器510可以是中央处理单元(CentralProcessing Unit,CPU),该处理器510还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器540可以包括只读存储器和随机存取存储器,并向处理器510提供指令和数据。存储器540的一部分还可以包括非易失性随机存取存储器。例如,存储器540还可以存储设备类型的信息。
计算机可读存储介质可以是前述任一实施例的图像处理设备的内部存储单元,例如图像处理设备的硬盘或内存。计算机可读存储介质也可以是图像处理设备的外部存储设备,例如图像处理设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,计算机可读存储介质还可以既包括图像处理设备的内部存储单元也包括外部存储设备。计算机可读存储介质用于存储计算机程序以及图像处理设备所需的其他程序和数据。计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
具体实现中,本申请实施例中所描述的处理器510可执行本申请实施例提供的图像处理方法的第二实施例和第三实施例中所描述的实现方式,也可执行本申请实施例所描述的图像处理设备的实现方式,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同图像处理方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的图像处理设备和单元的具体工作过程,可以参考前述图像处理方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的图像处理设备和图像处理方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,图像处理设备,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
提取出原始病理图像中的目标区域图像;
对所述目标区域图像进行图像分割,得到病灶区域图像,所述病灶区域图像包含所述目标区域图像的病灶区域;
根据所述病灶区域图像,在所述目标区域图像或所述原始病理图像中标记出所述目标区域图像的病灶边界。
2.根据权利要求1所述的方法,其特征在于,所述提取出原始病理图像中的目标区域图像之前,还包括:
显示原始病理图像,并接收针对于所述原始病理图像的区域选择指令;
所述提取出原始病理图像中的目标区域图像,包括:
根据所述区域选择指令提取出所述原始病理图像中的目标区域图像。
3.根据权利要求2所述的方法,其特征在于,所述根据所述区域选择指令提取出所述原始病理图像中的目标区域图像,包括:
根据所述区域选择指令确定出所述原始病理图像中的选中区域图像;
按照图像尺寸调整规则在所述原始病理图像中对所述选中区域图像的尺寸进行调整,使得调整之后的选中区域图像的尺寸符合图像分割的尺寸标准;
将所述调整之后的选中区域图像作为目标区域图像,并从所述原始病理图像中提取出所述目标区域图像。
4.根据权利要求3所述的方法,其特征在于,所述对所述目标区域图像进行图像分割,得到所述病灶区域图像之后,所述根据所述病灶区域图像,在所述目标区域图像或所述原始病理图像中标记出所述目标区域图像的病灶边界之前,还包括:
检测所述目标区域图像相比于所述选中区域图像的多余部分图像;
根据所述目标区域图像相比于选中区域图像的多余部分图像,对所述病灶区域图像进行裁剪。
5.根据权利要求3所述的方法,其特征在于,所述对所述目标区域图像进行图像分割,得到所述病灶区域图像,包括:
利用深度学习全卷积分割网络对所述目标区域图像进行图像分割,得到所述病灶区域图像,所述图像尺寸调整规则为深度学习图像调整规则,所述深度图像调整规则用于指示所述深度学习全卷积分割网络对应的尺寸标准。
6.根据权利要求5所述的方法,其特征在于,所述按照图像尺寸调整规则在所述原始病理图像中对所述选中区域图像的尺寸进行调整,使得调整之后的选中区域图像的尺寸符合图像分割的尺寸标准,包括:
获取所述深度学习全卷积网络对应的深度学习图像调整规则,所述深度学习图像调整规则包括尺寸比例标准以及尺寸大小标准;
按照所述深度学习图像调整规则中的尺寸比例标准以及尺寸大小标准,分别对所述选中区域图像的尺寸比例以及尺寸大小进行调整,使得调整之后的选中区域图像的大小符合所述深度学习全卷积网络的尺寸标准。
7.根据权利要求6所述的方法,其特征在于,所述深度学习图像调整规则中的尺寸比例标准为,所述选中区域图像的边长为预设数值的倍数,所述预设数值为偶数;所述深度学习图像调整规则的尺寸大小标准为,所述选中区域图像的尺寸小于等于预设最大尺寸。
8.一种图像处理设备,其特征在于,包括:
提取单元,用于提取出原始病理图像中的目标区域图像;
分割单元,用于对所述目标区域图像进行图像分割,得到病灶区域图像,所述病灶区域图像包含所述目标区域图像的病灶区域;
标记单元,用于根据所述病灶区域图像,在所述目标区域图像或所述原始病理图像中标记出所述目标区域图像的病灶边界。
9.一种图像处理设备,其特征在于,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,用以执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行,用以执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910400403.8A CN110136153B (zh) | 2019-05-14 | 2019-05-14 | 一种图像处理方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910400403.8A CN110136153B (zh) | 2019-05-14 | 2019-05-14 | 一种图像处理方法、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110136153A true CN110136153A (zh) | 2019-08-16 |
CN110136153B CN110136153B (zh) | 2022-03-15 |
Family
ID=67573994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910400403.8A Active CN110136153B (zh) | 2019-05-14 | 2019-05-14 | 一种图像处理方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110136153B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110751179A (zh) * | 2019-09-18 | 2020-02-04 | 无锡祥生医疗科技股份有限公司 | 病灶信息获取方法、病灶预测模型的训练方法及超声设备 |
CN110838103A (zh) * | 2019-10-29 | 2020-02-25 | 重庆金山医疗技术研究院有限公司 | 一种图像处理方法、装置、诊断设备及计算机存储介质 |
CN111091125A (zh) * | 2019-09-24 | 2020-05-01 | 上海联影智能医疗科技有限公司 | 基于相似性提供用于调整对象的引导的方法和系统 |
CN112150449A (zh) * | 2020-09-29 | 2020-12-29 | 太原理工大学 | 一种脑卒中病灶分割方法和系统 |
CN113040873A (zh) * | 2019-12-27 | 2021-06-29 | 深圳市理邦精密仪器股份有限公司 | 超声图像的图像处理方法、超声设备以及存储介质 |
CN114463323A (zh) * | 2022-02-22 | 2022-05-10 | 数坤(北京)网络科技股份有限公司 | 一种病灶区域识别方法、装置、电子设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170039704A1 (en) * | 2015-06-17 | 2017-02-09 | Stoecker & Associates, LLC | Detection of Borders of Benign and Malignant Lesions Including Melanoma and Basal Cell Carcinoma Using a Geodesic Active Contour (GAC) Technique |
CN107563123A (zh) * | 2017-09-27 | 2018-01-09 | 百度在线网络技术(北京)有限公司 | 用于标注医学图像的方法和装置 |
CN108389210A (zh) * | 2018-02-28 | 2018-08-10 | 深圳天琴医疗科技有限公司 | 一种医学图像分割方法及装置 |
CN108615236A (zh) * | 2018-05-08 | 2018-10-02 | 上海商汤智能科技有限公司 | 一种图像处理方法及电子设备 |
CN108846828A (zh) * | 2018-05-04 | 2018-11-20 | 上海交通大学 | 一种基于深度学习的病理图像目标区域定位方法及系统 |
CN109493328A (zh) * | 2018-08-31 | 2019-03-19 | 上海联影智能医疗科技有限公司 | 医学图像显示方法、查看设备以及计算机设备 |
-
2019
- 2019-05-14 CN CN201910400403.8A patent/CN110136153B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170039704A1 (en) * | 2015-06-17 | 2017-02-09 | Stoecker & Associates, LLC | Detection of Borders of Benign and Malignant Lesions Including Melanoma and Basal Cell Carcinoma Using a Geodesic Active Contour (GAC) Technique |
CN107563123A (zh) * | 2017-09-27 | 2018-01-09 | 百度在线网络技术(北京)有限公司 | 用于标注医学图像的方法和装置 |
CN108389210A (zh) * | 2018-02-28 | 2018-08-10 | 深圳天琴医疗科技有限公司 | 一种医学图像分割方法及装置 |
CN108846828A (zh) * | 2018-05-04 | 2018-11-20 | 上海交通大学 | 一种基于深度学习的病理图像目标区域定位方法及系统 |
CN108615236A (zh) * | 2018-05-08 | 2018-10-02 | 上海商汤智能科技有限公司 | 一种图像处理方法及电子设备 |
CN109493328A (zh) * | 2018-08-31 | 2019-03-19 | 上海联影智能医疗科技有限公司 | 医学图像显示方法、查看设备以及计算机设备 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110751179A (zh) * | 2019-09-18 | 2020-02-04 | 无锡祥生医疗科技股份有限公司 | 病灶信息获取方法、病灶预测模型的训练方法及超声设备 |
CN110751179B (zh) * | 2019-09-18 | 2022-04-12 | 无锡祥生医疗科技股份有限公司 | 超声设备 |
CN111091125A (zh) * | 2019-09-24 | 2020-05-01 | 上海联影智能医疗科技有限公司 | 基于相似性提供用于调整对象的引导的方法和系统 |
CN111091125B (zh) * | 2019-09-24 | 2024-03-22 | 上海联影智能医疗科技有限公司 | 基于相似性提供用于调整对象的引导的方法和系统 |
CN110838103A (zh) * | 2019-10-29 | 2020-02-25 | 重庆金山医疗技术研究院有限公司 | 一种图像处理方法、装置、诊断设备及计算机存储介质 |
CN110838103B (zh) * | 2019-10-29 | 2023-05-16 | 重庆金山医疗技术研究院有限公司 | 一种图像处理方法、装置、诊断设备及计算机存储介质 |
CN113040873A (zh) * | 2019-12-27 | 2021-06-29 | 深圳市理邦精密仪器股份有限公司 | 超声图像的图像处理方法、超声设备以及存储介质 |
CN112150449A (zh) * | 2020-09-29 | 2020-12-29 | 太原理工大学 | 一种脑卒中病灶分割方法和系统 |
CN114463323A (zh) * | 2022-02-22 | 2022-05-10 | 数坤(北京)网络科技股份有限公司 | 一种病灶区域识别方法、装置、电子设备和存储介质 |
CN114463323B (zh) * | 2022-02-22 | 2023-09-08 | 数坤(上海)医疗科技有限公司 | 一种病灶区域识别方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110136153B (zh) | 2022-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110136153A (zh) | 一种图像处理方法、设备及存储介质 | |
WO2020215985A1 (zh) | 医学影像分割方法、装置、电子设备和存储介质 | |
KR101870689B1 (ko) | 영상 기반의 두피 진단 정보 제공 방법 | |
CN111862044B (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
US20220198230A1 (en) | Auxiliary detection method and image recognition method for rib fractures based on deep learning | |
CN107274402A (zh) | 一种基于胸部ct影像的肺结节自动检测方法及系统 | |
CN110675407B (zh) | 一种图像实例分割方法、装置、电子设备及存储介质 | |
KR20210107667A (ko) | 이미지 분할 방법 및 장치, 전자 기기 및 저장 매체 | |
CN109886928A (zh) | 一种目标细胞标记方法、装置、存储介质及终端设备 | |
US20220383661A1 (en) | Method and device for retinal image recognition, electronic equipment, and storage medium | |
CN110827236B (zh) | 基于神经网络的脑组织分层方法、装置、计算机设备 | |
CN109934196A (zh) | 人脸姿态参数评估方法、装置、电子设备及可读存储介质 | |
CN108052909B (zh) | 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置 | |
CN113012155A (zh) | 髋关节图像中骨骼分割方法、电子设备及存储介质 | |
CN107507184A (zh) | 病灶模型的建立方法、装置及电子设备 | |
CN110210519A (zh) | 分类方法、计算机设备和存储介质 | |
CN112634203B (zh) | 图像检测方法、电子设备及计算机可读存储介质 | |
CN111598899A (zh) | 图像处理方法、装置及计算机可读存储介质 | |
CN111667459A (zh) | 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质 | |
CN110910348B (zh) | 一种肺结节的位置分类方法、装置、设备及存储介质 | |
CN108764248B (zh) | 图像特征点的提取方法和装置 | |
CN116664590B (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
CN110738702B (zh) | 一种三维超声图像的处理方法、装置、设备及存储介质 | |
CN113435469A (zh) | 一种基于深度学习的肾肿瘤增强ct图像自动识别系统及其训练方法 | |
WO2019109410A1 (zh) | 用于分割 mri 图像中异常信号区的全卷积网络模型训练方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |