CN111275696A - 一种医学图像处理的方法、图像处理的方法及装置 - Google Patents

一种医学图像处理的方法、图像处理的方法及装置 Download PDF

Info

Publication number
CN111275696A
CN111275696A CN202010084678.8A CN202010084678A CN111275696A CN 111275696 A CN111275696 A CN 111275696A CN 202010084678 A CN202010084678 A CN 202010084678A CN 111275696 A CN111275696 A CN 111275696A
Authority
CN
China
Prior art keywords
image
processed
image data
pixel
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010084678.8A
Other languages
English (en)
Other versions
CN111275696B (zh
Inventor
王亮
陈韩波
孙嘉睿
朱艳春
姚建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010084678.8A priority Critical patent/CN111275696B/zh
Publication of CN111275696A publication Critical patent/CN111275696A/zh
Priority to EP20919308.5A priority patent/EP4002268A4/en
Priority to KR1020227009792A priority patent/KR20220050977A/ko
Priority to JP2022524010A priority patent/JP2022553979A/ja
Priority to PCT/CN2020/126063 priority patent/WO2021159767A1/zh
Priority to US17/685,847 priority patent/US20220189017A1/en
Application granted granted Critical
Publication of CN111275696B publication Critical patent/CN111275696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种医学图像处理的方法、图像处理的方法及装置,可以用于人工智能领域。本申请方法包括:获取待处理医学图像;根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成差值图像;对差值图像进行二值化处理,得到二值化图像;根据二值化图像生成待处理医学图像所对应的前景分割结果。由于对图像进行二值化处理之前,先利用不同通道的色彩信息生成差值图像,从而有效地利用了图像中的色彩信息,基于差值图像提取到的病理组织区域更为准确,且对后续的图像分析产生积极影响。

Description

一种医学图像处理的方法、图像处理的方法及装置
技术领域
本申请涉及人工智能领域,尤其涉及一种医学图像处理的方法、图像处理的方法及装置。
背景技术
随着医疗技术的发展,基于全视野数字切片(Whole Slide Image,WSI)图像的识别和分析在医疗方面起到了重要的作用。由于WSI图像的边长通常有几万像素,因此,需要将这类图像缩放或者切割为小尺寸图像进行分析,在这个过程中,WSI图像的大部分背景区域需要去除,而分割出具有病理组织切片的区域进行后续图像分析。
目前,在WSI图像上提取病理组织区域的方式主要为,先将WSI图像缩小到一定尺度后再转化为灰度图像,然后在灰度图像上进行图像的进一步处理,例如图像二值化处理,空洞去除处理等,最后在处理后的图像上提取病理组织区域。
然而,上述方式在尺度变换之后,直接将彩色图像转换为灰度图像会丢失色彩信息,而色彩信息也是一个重要的图像特征,因此,会导致提取到的病理组织区域不够准确,从而容易对后续的图像分析产生偏差。
发明内容
本申请实施例提供了一种医学图像处理的方法、图像处理的方法及装置,用于对图像进行二值化处理之前,先利用不同通道的色彩信息生成差值图像,从而有效地利用了图像中的色彩信息,基于差值图像提取到的病理组织区域更为准确,且对后续的图像分析产生积极影响。
有鉴于此,本申请第一方面提供一种医学图像处理的方法,包括:
获取待处理医学图像,其中,待处理医学图像为彩色图像,且待处理医学图像包括第一图像数据、第二图像数据以及第三图像数据,且第一图像数据、第二图像数据以及是第三图像数据分别对应于不同属性下的色彩信息;
根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成差值图像;
对差值图像进行二值化处理,得到二值化图像;
根据二值化图像生成待处理医学图像所对应的前景分割结果。
本申请第二方面提供一种图像处理的方法,包括:
获取第一待处理图像以及第二待处理图像,其中,第一待处理图像为彩色图像,且第一待处理图像包括第一图像数据、第二图像数据以及第三图像数据,且第一图像数据、第二图像数据以及是第三图像数据分别对应于不同通道下的色彩信息;
根据第一待处理图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成差值图像;
对差值图像进行二值化处理,得到二值化图像;
根据二值化图像生成第一待处理图像所对应的前景分割结果;
根据前景分割结果,从第一待处理图像中提取目标对象;
根据目标对象以及第二待处理图像,生成合成图像,其中,目标对象位于第一图层,第二待处理图像位于第二图层,第一图层覆盖于第二图层之上。
本申请第三方面提供一种医学图像处理装置,包括:
获取模块,用于获取待处理医学图像,其中,待处理医学图像为彩色图像,且待处理医学图像包括第一图像数据、第二图像数据以及第三图像数据,且第一图像数据、第二图像数据以及是第三图像数据分别对应于不同通道下的色彩信息;
生成模块,用于根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成差值图像;
处理模块,用于对差值图像进行二值化处理,得到二值化图像;
生成模块,还用于根据二值化图像生成待处理医学图像所对应的前景分割结果。
在一种可能的设计中,在本申请实施例的第三方面的一种实现方式中,
生成模块,具体用于根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成最大值图像;
根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成最小值图像;
根据最大值图像以及最小值图像,生成差值图像。
在一种可能的设计中,在本申请实施例的第三方面的另一实现方式中,
生成模块,具体用于根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,从第一像素值、第二像素值以及第三像素值中确定目标像素点所对应的最大像素值,其中,第一像素值为第一图像数据中第一像素位置所对应的像素值,第二像素值为第二图像数据中第二像素位置所对应的像素值,第三像素值为第三图像数据中第三像素位置所对应的像素值,目标像素点为最大值图像中第四像素位置所对应的像素值,第一像素位置、第二像素位置、第三像素位置以及第四像素位置均对应于待处理医学图像中同一个像素点的位置;
生成模块,具体用于根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,从第一像素值、第二像素值以及第三像素值中确定目标像素点所对应的最小像素值;
生成模块,具体用于将最大值图像中目标像素点所对应的最大像素值,与最大值图像中目标像素点所对应的最小像素值相减,得到差值图像中目标像素点所对应的差值像素值。
在一种可能的设计中,在本申请实施例的第三方面的另一实现方式中,
生成模块,具体用于根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成待处理差值图像;
对待处理差值图像进行高斯模糊处理,得到差值图像。
在一种可能的设计中,在本申请实施例的第三方面的另一实现方式中,医学图像处理装置还包括确定模块;
确定模块,用于根据差值图像确定分割阈值;
确定模块,还用于若差值图像中像素点所对应的像素值大于或等于分割阈值,则将像素点确定为二值化图像的前景像素点;
确定模块,还用于若差值图像中像素点所对应的像素值小于分割阈值,则将像素点确定为二值化图像的背景像素点。
在一种可能的设计中,在本申请实施例的第三方面的另一实现方式中,
确定模块,具体用于根据差值图像获取N个像素点所对应的N个像素值,其中,像素值与像素点具有一一对应的关系,N为大于1的整数;
从N个像素值中确定待处理像素值,其中,待处理像素值为N个像素值中的最大值;
根据待处理像素值以及比例阈值,计算得到分割阈值。
在一种可能的设计中,在本申请实施例的第三方面的另一实现方式中,
生成模块,具体用于采用泛洪算法检测二值化图像中的背景区域,其中,背景区域包括多个背景像素点;
根据二值化图像以及二值化图像中的背景区域,获取二值化图像中的前景区域内的背景像素点,其中,前景区域包括多个前景像素点;
将二值化图像中的前景区域内的背景像素点变更为前景像素点,得到空洞填补图像;
对空洞填补图像进行中值滤波处理,得到待处理医学图像所对应的前景分割结果。
在一种可能的设计中,在本申请实施例的第三方面的另一实现方式中,
处理模块,具体用于对空洞填补图像进行中值滤波处理,得到滤波图像,其中,滤波图像包括待处理前景区域;
获取待处理前景区域的边界线,其中,边界线包括M个像素点,M为大于1的整数;
针对边界线上M个像素点中的每个像素点,向外延伸K个像素点,得到前景分割结果,其中,K为大于或等于1的整数。
在一种可能的设计中,在本申请实施例的第三方面的另一实现方式中,
获取模块,具体用于获取原始医学图像;
采用滑动窗口从原始医学图像中提取医学子图像;
若检测到医学子图像中包括病理组织区域,则确定为待处理医学图像;
若检测到医学子图像中未包括病理组织区域,则将医学子图像确定为背景图像,且去除背景图像。
在一种可能的设计中,在本申请实施例的第三方面的另一实现方式中,图像处理装置还包括训练模块;
生成模块,还用于根据前景分割结果生成目标正样本图像,其中,目标正样本图像属于正样本集合中的一个正样本图像,且每个正样本图像包含病理组织区域;
获取模块,还用于获取负样本集合,其中,负样本集合包括至少一个负样本图像,且每个负样本图像不包含病理组织区域;
训练模块,用于基于正样本集合以及负样本集合,对图像分割模型进行训练。
本申请第四方面提供一种图像处理装置,包括:
获取模块,用于获取第一待处理图像以及第二待处理图像,其中,第一待处理图像为彩色图像,且第一待处理图像包括第一图像数据、第二图像数据以及第三图像数据,且第一图像数据、第二图像数据以及是第三图像数据分别对应于不同通道下的色彩信息;
生成模块,用于根据第一待处理图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成差值图像;
处理模块,用于对差值图像进行二值化处理,得到二值化图像;
生成模块,还用于根据二值化图像生成第一待处理图像所对应的前景分割结果;
提取模块,用于根据前景分割结果,从第一待处理图像中提取目标对象;
生成模块,还用于根据目标对象以及第二待处理图像,生成合成图像,其中,目标对象位于第一图层,第二待处理图像位于第二图层,第一图层覆盖于第二图层之上。
本申请的第五方面提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例中,提供了一种医学图像处理的方法,首先可以获取到为彩色图像的待处理医学图像,并且该待处理医学图像包括第一图像数据、第二图像数据以及第三图像数据,其中第一图像数据、第二图像数据以及是第三图像数据分别对应于不同属性下的色彩信息,然后根据该待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成差值图像,进一步地对差值图像进行二值化处理,得到二值化图像,最后根据二值化图像生成待处理医学图像所对应的前景分割结果。通过上述方式,由于灰度像素点在不同通道下的色彩信息差异较小,而彩色像素点在不同通道下的色彩信息差异较大,因此,在对图像进行二值化处理之前,先利用不同通道的色彩信息生成差值图像,从而有效地利用了图像中的色彩信息,基于差值图像提取到的病理组织区域更为准确,且对后续的图像分析产生积极影响。
附图说明
图1为本申请实施例中医学图像处理系统的一个架构示意图;
图2为本申请实施例中医学图像处理的方法一个实施例示意图;
图3为本申请实施例中待处理医学图像一个实施例示意图;
图4为本申请实施例中差值图像一个实施例示意图;
图5为本申请实施例中二值化图像一个实施例示意图;
图6为本申请实施例中前景分割结果一个实施例示意图;
图7为本申请实施例中前景分割结果另一实施例示意图;
图8为本申请实施例中获取待处理医学图像一个实施例示意图;
图9为本申请实施例中医学图像处理的方法一个流程示意图;
图10为本申请实施例中前景分割结果一个实施例示意图;
图11为本申请实施例中图像处理的方法一个实施例示意图;
图12为本申请实施例中医学图像处理装置一个实施例示意图;
图13为本申请实施例中图像处理装置一个实施例示意图;
图14是本申请实施例提供的一种服务器结构示意图。
具体实施方式
本申请实施例提供了一种医学图像处理的方法、图像处理的方法及装置,用于对图像进行二值化处理之前,先利用不同通道的色彩信息生成差值图像,从而有效地利用了图像中的色彩信息,基于差值图像提取到的病理组织区域更为准确,且对后续的图像分析产生积极影响。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解,本申请实施例可以应用于对图像进行处理的场景中,图像作为人类感知世界的视觉基础,是人类获取信息、表达信息和传递信息的重要手段。图像处理可以对图像进行分析以达到所需结果的技术,图像处理一般指对数字图像进行处理,而数字图像是指用工业相机、摄像机以及扫描仪设备经过拍摄得到的一个大的二维数组,该数组的元素称为像素,其值称为灰度值。图像处理技术可以帮助人们更客观并且准确地认识世界,人的视觉系统可以帮助人类从外界获取大量的信息,而图像、图形又是所有视觉信息的载体,尽管人眼的鉴别力很高,可以识别上千种颜色,但很多情况下,图像对于人眼来说是模糊的甚至是不可见的,因此通过图像处理技术,可以使模糊甚至不可见的图像变得清晰。具体地,图像处理技术可以包括但不限于图像变换、图像编码压缩、图像增强和复原、图像分割、图像描述、抠图技术以及图像分类。
具体地,本申请提供的图像处理方法可以应用于医学领域的场景中,其中,可以进行分割的医学图像包括但不限于脑图像、心脏图像、胸部图像以及细胞图像,而医学图像可能会受到噪音、场偏移效应、局部体效应以及组织运动的影响。由于生物的个体与个体之间也具有差别,并且组织结构形状复杂,因此,医学图像与普通图像相比通常模糊度较高,且具有不均匀性。本申请涉及的医学图像为彩色图像,可以是彩超图像或者全视野数字病理切片(whole slide image,WSI)图像,也可以包括从显微镜获得的彩色数字图像,以WSI图像为例,WSI图像的边长通常在1万像素至10万像素,对于WSI图像而言往往需要缩放或者切割成小尺寸图像来进一步处理,在对图像进行处理的过程中,需要分割出有病理组织切片的区域,进而根据该区域来进行病理分析,例如细胞核定量分析,细胞膜定量分析,细胞质定量分析,组织微脉管分析以及组织微脉管分析等。因此,基于医学图像的特点,通过本申请医学图像处理的方法,可以获取到待处理医学图像,并且根据该待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成差值图像,其中第一图像数据、第二图像数据以及是第三图像数据分别对应于不同属性下的色彩信息,进一步地对差值图像进行二值化处理,得到二值化图像,最后根据二值化图像生成待处理医学图像所对应的前景分割结果。由于灰度像素点在不同通道下的色彩信息差异较小,而彩色像素点在不同通道下的色彩信息差异较大,因此在对图像进行二值化处理之前,先利用不同通道的色彩信息生成差值图像,从而有效地利用了图像中的色彩信息,基于差值图像提取到的病理组织区域更为准确,且对后续的图像分析产生积极影响。
在又一示例中,例如图像处理还可以应用于遥感领域的场景中。由于信息技术、空间技术的飞速发展和卫星空间分辨率的不断提高,高分辨率遥感图像可以应用于海洋监测、土地覆盖监测、海洋污染以及海事救援中,而高分辨率遥感图像有着图像细节信息丰富、地物几何结构显著、以及目标结构复杂的特点,例如在高分辨率遥感图像中海岸线的物体阴影复杂、植被覆盖面积大或者明暗的人工设施分割不够明确,由于高分辨率遥感图像与普通图像相比通常细节更多并且更为复杂,当需要对高分辨率遥感图像中植被覆盖面积进行确定时,可以将植被从高分辨率遥感图像中扣除,从而确定所对应的面积。因此基于高分辨率遥感图像的特点,通过本申请图像处理的方法,可以根据第一待处理图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成差值图像,其中第一待处理图像为彩色图像,第一待处理图像所包括的第一图像数据、第二图像数据以及第三图像数据分别对应于不同通道下的色彩信息,然后对生成的差值图像进行二值化处理,得到二值化图像,并根据二值化图像生成第一待处理图像所对应的前景分割结果,进而根据前景分割结果,从第一待处理图像中提取出目标对象(如植被区域)。在对图像进行二值化处理之前,先利用不同通道的色彩信息生成差值图像,由于灰度像素点在不同通道下的色彩信息差异较小,而彩色像素点在不同通道下的色彩信息差异较大,因此可以有效地利用图像中的色彩信息,基于差值图像提取到的目标对象更为准确,可以更精确的得到高分辨率遥感图像中的细节,从而提升高分辨率遥感图像处理的准确率。
本申请实施例以应用于医学领域的场景为示例进行说明,为了在医学领域的场景中,提升提取的病理组织区域的准确性,且对后续的图像分析产生积极影响。本申请提出了一种医学图像处理的方法,该方法应用于图1所示的医学图像处理系统,请参阅图1,图1为本申请实施例中医学图像处理系统的一个架构示意图,如图所示,图像处理系统中包括服务器和终端设备。而医学图像处理装置可以部署于服务器,也可以部署于具有较高计算力的终端设备。
以医学图像处理装置部署于服务器为例,服务器获取待处理医学图像,然后服务器根据该待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成差值图像,进一步地对差值图像进行二值化处理,得到二值化图像,最后服务器根据二值化图像生成待处理医学图像所对应的前景分割结果。服务器可以基于前景分割结果进行医学图像分析。
以医学图像处理装置部署于终端设备为例,终端设备获取待处理医学图像,然后终端设备根据该待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成差值图像,进一步地对差值图像进行二值化处理,得到二值化图像,最后终端设备根据二值化图像生成待处理医学图像所对应的前景分割结果。终端设备可以基于前景分割结果进行医学图像分析。
其中,图1中的服务器可以是一台服务器或多台服务器组成的服务器集群或云计算中心等,具体此处均不限定。终端设备可以为图1中示出的平板电脑、笔记本电脑、掌上电脑、手机、个人电脑(personal computer,PC)及语音交互设备,也可以为监控设备、人脸识别设备等,此处不做限定。
虽然图1中仅示出了五个终端设备和一个服务器,但应当理解,图1中的示例仅用于理解本方案,具体终端设备和服务器的数量均应当结合实际情况灵活确定。
由于本申请实施例是应用于人工智能领域的,在对本申请实施例提供的模型训练的方法开始介绍之前,先对人工智能领域的一些基础概念进行介绍。人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。而机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多种方向展开研究,计算机视觉技术(Computer Vision,CV)就是人工智能技术的多种研究方向中研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition,OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的方案涉及人工智能的图像处理技术,结合上述介绍,下面将对本申请中医学图像处理的方法进行介绍,请参阅图2,图2为本申请实施例中医学图像处理的方法一个实施例示意图,如图所示本申请实施例中对医学图像处理的方法一个实施例包括:
101、获取待处理医学图像,其中,待处理医学图像为彩色图像,且待处理医学图像包括第一图像数据、第二图像数据以及第三图像数据,且第一图像数据、第二图像数据以及是第三图像数据分别对应于不同通道下的色彩信息;
本实施例中,医学图像处理装置可以获取到为彩色图像的待处理医学图像,该待处理医学图像可以包括第一图像数据、第二图像数据以及第三图像数据,并且第一图像数据、第二图像数据以及是第三图像数据分别对应于不同通道下的色彩信息。其中,待处理医学图像可以为医学图像处理装置通过有线网络接收到的医学图像,还可以为医学图像处理装置本身存储的医学图像。
具体地,待处理医学图像可以为WSI图像中截取下来的一个区域,该WSI图像可以通过显微镜对成片进行扫描,由于成片指的就是苏木精或者其他染色方法之后做好的玻片,通过显微镜对成片进行扫描后所得到的WSI图像即为彩色图像。其中,彩色图像的图像色彩模式包含但不仅限于红绿蓝(red green blue,RGB)色彩模式,色调-饱和度-明度(luminance bandwidth chrominance,YUV)色彩模式,色调-饱和度-明度(Hue-Saturation-Value,HSV)色彩模式,而色彩信息可以表示为不同通道下的像素值,例如R通道的像素值,G通道的像素值,B通道的像素值。
WSI图像的格式包括但不限于SVS以及NDPI等文件格式,而WSI图像的长宽通常在几万像素范围内,图像尺寸较大,直接对该WSI图像进行处理需要较大内存,因此,需要对WSI图像进行切割。通常可以采用python的openslide工具读取WSI图像,openslide工具可以实现文件格式的转换,还可以将WSI图像中截取下来的一个区域存储为分辨率12*12的图像,在实际情况下包括但不限于存储为分辨率15*15以及50*50等分辨率,多个图像均存在同一个WSI图像文件中,在实际应用中读取WSI图像文件中分辨率最大的图像为待处理图像。并且本实施例可以在缩小的WSI图像上截取待处理医学图像,且WSI图像可以缩小任意倍数,例如20倍或10倍,缩小后的WSI图像的长宽在几千像素范围内,应理解,由于缩小倍数为人为定义的,因此具体缩小倍数应当结合实际情况灵活确定。
为了便于理解,请参阅图3,图3为本申请实施例中待处理医学图像一个实施例示意图,如图所示,待处理医学图像包括病例组织区域,并且没有其他灰度背景或纯白背景对该待处理医学图像进行干扰。为了进一步理解本实施例,以待处理医学图像的图像色彩模式为RGB为示例进行说明,由于待处理医学图像包括的第一图像数据、第二图像数据以及第三图像数据分别对应于不同通道下的色彩信息,若彩色图像对应的RGB为(200,100,60),则第一图像数据可以为R通道对应像素值200,第二图像数据可以为G通道对应像素值100,第三图像数据可以为B通道对应像素值60。若彩色图像对应的RGB为(100,80,40),则第一图像数据可以为R通道对应像素值100,第二图像数据可以为G通道对应像素值800,第三图像数据可以为B通道对应像素值40。
需要说明的是,对于HSV图像或者YUV图像而言,可以先将HSV图像或者YUV图像转换为RGB图像,再进行后续处理。
应理解,在实际应用中,第一图像数据、第二图像数据以及第三图像数据具体对应的色彩信息均应当结合实际情况灵活确定。并且医学图像处理装置可以部署于服务器,也可以部署于具有较高计算力的终端设备,本实施例以医学图像处理装置部署于服务器为例进行介绍。
102、根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成差值图像;
本实施例中,医学图像处理装置可以根据第一图像数据、第二图像数据以及第三图像数据,生成差值图像。具体地,该差值图像表现为灰度图像。为了便于理解,请参阅图4,图4为本申请实施例中差值图像一个实施例示意图,如图所示,根据图4中(A)所示出包括的第一图像数据、第二图像数据以及第三图像数据的待处理医学图像,可以生成图4中(B)所示出的差值图像。该差值图像可以为图中所示包括病理组织区域的图像,由于用到了对应于不同通道下的色彩信息,区别出像素值,以待处理医学图像的图像色彩模式为RGB为示例进行说明,若待处理医学图像为灰色的话RGB比较相近,待处理医学图像为彩色的话RGB之间差值很大,存在病理组织的地方有较大的色差。
103、对差值图像进行二值化处理,得到二值化图像;
本实施例中,医学图像处理装置可以对步骤102所生成的差值图像进行二值化处理,得到二值化图像。为了便于理解,请参阅图5,图5为本申请实施例中二值化图像一个实施例示意图,如图所示,根据图5中(A)所示出的差值图像,由于差值图像为灰度图像,可以使用基于灰度图像的分割,具体地,本实施例中采用自适应二值化方式来进行前景分割,即对差值图像进行二值化处理,从而的得到图5中(B)所示出的二值化图像。并且该二值化图像中,白色为包括病理组织区域的前景区域,而黑色为不包括病理组织区域的背景区域。
104、根据二值化图像生成待处理医学图像所对应的前景分割结果。
本实施例中,医学图像处理装置可以根据步骤103所得到的二值化图像,生成待处理医学图像所对应的前景分割结果。为了便于理解,请参阅图6,图6为本申请实施例中前景分割结果一个实施例示意图,如图所示,根据图6中(A)所示出的二值化图像,由于白色为包括病理组织区域的前景区域,而黑色为不包括病理组织区域的背景区域,由此可以根据该二值化图像,生成如图6中(B)所示出待处理医学图像所对应的前景分割结果。
本申请实施例中,提供了一种医学图像处理的方法,通过上述方式,由于灰度像素点在不同通道下的色彩信息差异较小,而彩色像素点在不同通道下的色彩信息差异较大,因此,在对图像进行二值化处理之前,先利用不同通道的色彩信息生成差值图像,从而有效地利用了图像中的色彩信息,基于差值图像提取到的病理组织区域更为准确,且对后续的图像分析产生积极影响。
可选地,在上述图2对应的实施例的基础上,本申请实施例提供的医学图像处理的方法一个可选实施例中,根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成差值图像,可以包括:
根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成最大值图像;
根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成最小值图像;
根据最大值图像以及最小值图像,生成差值图像。
本实施例中,医学图像处理装置在获取到待处理医学图像之后,可以根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成最大值图像,然后再根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成最小值图像,最后根据最大值图像以及最小值图像,即可生成差值图像。
具体地,以待处理医学图像的图像色彩模式为RGB为示例进行说明,由于待处理医学图像包括的第一图像数据、第二图像数据以及第三图像数据分别对应于不同通道下的色彩信息,色彩信息表示为通过R通道,G通道以及B通道所对应的像素值,确定在R通道,G通道以及B通道中的最大值,通过该最大值以确定最大值图像,同理,可确定在R通道,G通道以及B通道中的最小值,通过该最小值可以确定最小值图像,然后将最大值图像中每个像素点与最小值图像中对应位置上的每个像素点进行相减,得到差值图像。
本申请实施例中,提供了一种生成差值图像的方法,通过上述方式,根据第一图像数据、第二图像数据以及第三图像数据生成最大值图像以及最小值图像,由于不同图像数据对应的色彩信息不同,根据不同图像数据所确定的最大值图像以及最小值图像,所包括的待处理医学图像的色彩信息准确度较高,从而提升差值图像生成的准确度。
可选地,在上述图2对应的实施例的基础上,本申请实施例提供的医学图像处理的方法另一可选实施例中,根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成最大值图像,可以包括:
根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,从第一像素值、第二像素值以及第三像素值中确定目标像素点所对应的最大像素值,其中,第一像素值为第一图像数据中第一像素位置所对应的像素值,第二像素值为第二图像数据中第二像素位置所对应的像素值,第三像素值为第三图像数据中第三像素位置所对应的像素值,目标像素点为最大值图像中第四像素位置所对应的像素值,第一像素位置、第二像素位置、第三像素位置以及第四像素位置均对应于待处理医学图像中同一个像素点的位置;
根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成最小值图像,可以包括:
根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,从第一像素值、第二像素值以及第三像素值中确定目标像素点所对应的最小像素值;
根据最大值图像以及最小值图像,生成差值图像,可以包括:
将最大值图像中目标像素点所对应的最大像素值,与最大值图像中目标像素点所对应的最小像素值相减,得到差值图像中目标像素点所对应的差值像素值。
本实施例中,医学图像处理装置可以根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,确定目标像素点所对应的最大像素值。其次,还可以根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,确定目标像素点所对应的最小像素值,然后根据所确定的最大像素值以及最小像素值。最后将最大值图像中目标像素点所对应的最大像素值,与最大值图像中目标像素点所对应的最小像素值相减,得到差值图像中目标像素点所对应的差值像素值。
为了便于理解,以待处理医学图像的图像色彩模式为RGB为示例进行说明,对于包括的第一图像数据、第二图像数据以及第三图像数据的待处理医学图像而言,对于该待处理医学图像的每一个像素点,均在R通道,G通道以及B通道有对应的图像数据,例如像素点在R通道的图像数据为第一像素值,在G通道的图像数据为第二像素值,在B通道的图像数据为第三像素值,根据第一像素值,第二像素值以及第三像素值可以确定在R通道,G通道以及B通道中的最大像素值。同理,根据第一像素值,第二像素值以及第三像素值可以确定在R通道,G通道以及B通道中的最小像素值。
进一步地,可以通过下式对像素点位置(x,y)的最大像素值以及最小像素值进行计算:
Imax(x,y)=Max[Ir(x,y),Ig(x,y),Ib(x,y)];
Imin(x,y)=Min[Ir(x,y),Ig(x,y),Ib(x,y)];
其中,Imax(x,y)表示最大像素值,Imin(x,y)表示最小像素值,Ir(x,y)表示第一像素值,Ig(x,y)表示第二像素值,Ib(x,y)表示第三像素值。
本实施例中用到了对应于不同通道下的色彩信息,区别出像素值,再次以待处理医学图像的图像色彩模式为RGB为示例进行说明,若待处理医学图像为灰色的话RGB比较相近,待处理医学图像为彩色的话RGB之间差值很大,存在病理组织的地方有颜色,有颜色的值就是本实施例所需的像素值。应理解,前述公式仅以二维图像对应的像素点作为示例进行说明,在实际应用中,前述公式也适用于多维图像计算最大像素值以及最小像素值,例如三维(3dimensions,3D)图像以及四维(4dimensions,4D)图像等。
为了进一步理解本实施例,以像目标像素点位置为(x1,y1),且待处理医学图像的图像色彩模式为RGB作为一种示例进行说明,目标像素点位置(x1,y1)的第一像素值Ir(x1,y1)为100,目标像素点位置(x1,y1)的第二像素值Ig(x1,y1)为200,目标像素点位置(x1,y1)的第三像素值Ib(x1,y1)为150,通过前述公式可知,目标像素点位置(x1,y1)的最大像素值Imax(x1,y1)为第二像素值Ig(x1,y1)所对应的像素值200,目标像素点位置(x1,y1)的最小像素值Imin(x1,y1)为第一像素值Ir(x1,y1)所对应的像素值100。其次,以目标像素点位置为(x2,y2),且待处理医学图像的图像色彩模式为RGB作为另一种示例进行说明,目标像素点位置(x2,y2)的第一像素值Ir(x2,y2)为30,目标像素点位置(x2,y2)的第二像素值Ig(x2,y2)为80,目标像素点位置(x2,y2)的第三像素值Ib(x2,y2)为120,通过前述公式可知,目标像素点位置(x2,y2)的最大像素值Imax(x2,y2)为第三像素值Ib(x2,y2)所对应的像素值120,目标像素点位置(x2,y2)的最小像素值Imin(x2,y2)为第一像素值Ir(x2,y2)所对应的像素值30。再次,以待处理医学图像的图像色彩模式为RGB,且该待处理医学图像为3D图像,目标像素点位置为(x3,y3,z3)作为另一种示例进行说明,目标像素点位置为(x3,y3,z3)的第一像素值Ir(x3,y3,z3)为200,目标像素点位置(x3,y3,z3)的第二像素值Ig(x3,y3,z3)为10,目标像素点位置(x3,y3,z3)的第三像素值Ib(x3,y3,z3)为60,通过前述公式可知,目标像素点位置(x3,y3,z3)的最大像素值Imax(x3,y3,z3)为第一像素值Ir(x3,y3,z3)所对应的像素值200,目标像素点位置(x3,y3,z3)的最小像素值Imin(x3,y3,z3)为第二像素值Ig(x3,y3,z3)所对应的像素值10。
再进一步地,当得到目标像素点位置对应的最大像素值以及最小像素值之后,可以将该最大像素值与该最小像素值相减,从而得到差值图像中目标像素点位置所对应的差值像素值。具体地,可以通过下式根据最大像素值Imax(x,y)以及最小像素值Imin(x,y)计算得到差值像素值,并假设待处理医学图像中包括有1万个像素点:
Idiff(x,y)=Imax(x,y)-Imin(x,y);
其中,Imax(x,y)表示最大像素值,Imin(x,y)表示最小像素值,Idiff(x,y)表示在(x,y)位置的差值像素值。
为了便于理解,以目标像素点位置为(x1,y1),且待处理医学图像的图像色彩模式为RGB作为一种示例进行说明,目标像素点位置(x1,y1)的最大像素值Imax(x1,y1)为200,目标像素点位置(x1,y1)的最小像素值Imin(x1,y1)为100,将最大像素值Imax(x1,y1)与最小像素值Imin(x1,y1)相减,即可得到目标像素点位置(x1,y1)所对应的差值像素值为100。其次,以目标像素点位置为(x2,y2),且待处理医学图像的图像色彩模式为RGB作为另一种示例进行说明,目标像素点位置(x2,y2)的最大像素值Imax(x2,y2)为120,目标像素点位置(x2,y2)的最小像素值Imin(x2,y2)为30,将最大像素值Imax(x2,y2)与最小像素值Imin(x2,y2)相减,即可得到目标像素点位置(x2,y2)所对应的差值像素值为90。
可选地,以待处理医学图像的图像色彩模式为RGB,且该待处理医学图像为3D图像,目标像素点位置为(x3,y3,z3)作为另一种示例进行说明。基于上述公式,可以推导出以下公式:
Imax(x,y,z)=Max[Ir(x,y,z),Ig(x,y,z),Ib(x,y,z)];
Imin(x,y,z)=Min[Ir(x,y,z),Ig(x,y,z),Ib(x,y,z)];
Idiff(x,y,z)=Imax(x,y,z)-Imin(x,y,z);
假设目标像素点位置(x3,y3,z3)的最大像素值Imax(x3,y3,z3)为200,目标像素点位置(x3,y3,z3)的最小像素值Imin(x3,y3,z3)为10,将最大像素值Imax(x3,y3,z3)与最小像素值Imin(x3,y3,z3)相减,即可得到目标像素点位置(x3,y3,z3)所对应的差值像素值为190。
具体地,当待处理医学图像的差值像素值较小时,则说明该待处理医学图像的第一像素值,第二像素值以及第三像素值较为相近,可以说明该待处理医学图像类似为灰色图像,而当待处理医学图像的差值像素值较大时,则说明该待处理医学图像的第一像素值,第二像素值以及第三像素值相差较大,可以说明该待处理医学图像类似为彩色图像,而存在病理组织区域的图像常为有颜色的图像,因此可以根据该差值像素值初步判断该待处理医学图像是否包括病理组织区域。
本申请实施例中,提供了一种生成最大值图像的方法,通过上述方式,通过第一图像数据、第二图像数据以及第三图像数据对应目标像素点的像素值,确定最大像素值以及最小像素值,最大像素值以及最小像素值不同程度的反映待处理医学图像的色彩信息,并由最大像素值以及最小像素值相减得到差值像素值,使得该差值像素值能够准确的反映待处理医学图像的色彩信息,从而提升差值图像生成的准确度。
可选地,在上述图2对应的实施例的基础上,本申请实施例提供的医学图像处理的方法另一可选实施例中,根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成差值图像,可以包括:
根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成待处理差值图像;
对待处理差值图像进行高斯模糊处理,得到差值图像。
本实施例中,医学图像处理装置可以根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成待处理差值图像,然后再对待处理差值图像进行高斯模糊处理,从而得到差值图像。
具体地,模糊可以理解成对待处理差值图像的每一个像素点都取其周边像素点的平均值,当像素点取其周边像素点的平均值时,在像素点的数值取值上,可以趋于平滑化,而在待处理差值图像上,就相当于产生模糊效果,该像素点会失去细节。对于待处理差值图像而言,其中像素点都是连续的,因此越靠近的像素点关系越密切,越远离的像素点关系越疏远。因此本实施例中对模糊采用的算法为高斯模糊(Gaussian Blur),高斯模糊可以将正态分布(高斯分布)用于待处理差值图像处理,使得像素点之间的加权平均更合理,距离越近的像素点权重越大,距离越远的像素点权重越小。
进一步地,以像素点为(x,y)为示例进行说明,对于像素点(x,y)而言,该像素点为二维像素点,由此可以通过以下公式计算得到二维高斯函数:
Figure BDA0002381625790000131
其中,(x,y)表示像素点,G(x,y)表示像素点的二维高斯函数,σ表示正态分布的标准偏差。
为了便于理解,以该像素点具体为(0,0)为示例进行说明,那么像素点(0,0)其周边8个像素点可以为(-1,1),(0,1),(1,1),(-1,0),(1,0),(-1,-1),(0,-1)以及(1,-1),为了进一步地计算权重矩阵,需要设定σ的值。假定σ=1.5,则可以得到模糊半径为1的权重矩阵,例如在权重矩阵中像素点(0,0)对应的权重为0.0707,像素点(-1,1)对应的权重为0.0453,像素点(0,1)对应的权重为0.0566,像素点(1,1)对应的权重为0.0453,像素点(-1,0)对应的权重为0.0566,像素点(1,0)对应的权重为0.0566,像素点(-1,-1)对应的权重为0.0453,像素点(0,-1)对应的权重为0.0566以及像素点(1,-1)对应的权重为0.0453,像素点(0,0)其周边8个像素点这9个点的权重总和约等于0.479,若仅计算这9个点的加权平均,需要必须让它们的权重之和等于1,也就是对权重总和进行归一化,即可以将权重矩阵对应的9个值分别除以权重总和0.479,从而得到归一化之后的权重矩阵,即像素点(0,0)归一化后所对应的权重为0.147,像素点(-1,1)归一化后所对应的权重为0.0947,像素点(0,1)归一化后所对应的权重为0.0118,像素点(1,1)归一化后所对应的权重为0.0947,像素点(-1,0)归一化后所对应的权重为0.0118,像素点(1,0)归一化后所对应的权重为0.0118,像素点(-1,-1)归一化后所对应的权重为0.0947,像素点(0,-1)归一化后所对应的权重为0.0118,以及像素点(1,-1)归一化后所对应的权重为0.0947。由于使用权重总和大于1的权重矩阵会让差值图像偏亮,而使用权重总和小于1的权重矩阵会让差值图像偏暗,因此进行归一化后的权重矩阵能够使得差值图像所呈现的病理组织区域更为准确。
进一步地,当获取到归一化后的权重矩阵后,即可以对该像素点进行高斯模糊计算,例如灰度值为0至255的情况下,在权重矩阵中像素点(0,0)对应的灰度值为25,像素点(-1,1)对应的灰度值为14,像素点(0,1)对应的灰度值为15,像素点(1,1)对应的灰度值为16,像素点(-1,0)对应的灰度值为24,像素点(1,0)对应的灰度值为26,像素点(-1,-1)对应的灰度值为34,像素点(0,-1)对应的灰度值为35以及像素点(1,-1)对应的灰度值为36。每个像素点对应的灰度值点乘每个像素点对应的权重,可以得到9个值,即像素点(0,0)可以得到3.69,像素点(-1,1)对可以得到1.32,像素点(0,1)可以得到1.77,像素点(1,1)可以得到1.51,像素点(-1,0)可以得到2.83,像素点(1,0)可以得到3.07,像素点(-1,-1)可以得到3.22,像素点(0,-1)可以得到4.14以及像素点(1,-1)可以得到3.41。然后将这9个值加起来,就是像素点(0,0)的高斯模糊的值。
再进一步地,对待处理差值图像中所包括的所有像素点重复前述像素点(0,0)类似的步骤,即可得到进行高斯模糊处理后的差值图像。
本申请实施例中,提供了另一种生成差值图像的方法,通过上述方式,对生成待处理差值图像行高斯模糊处理,由于高斯模糊处理可以提升分割鲁棒性,由此所得到的差值图像有较好的分割鲁棒性,从而提升成差值图像的稳定性。
可选地,在上述图2对应的实施例的基础上,本申请实施例提供的医学图像处理的方法另一可选实施例中,对差值图像进行二值化处理,得到二值化图像,可以包括:
根据差值图像确定分割阈值;
若差值图像中像素点所对应的像素值大于或等于分割阈值,则将像素点确定为二值化图像的前景像素点;
若差值图像中像素点所对应的像素值小于分割阈值,则将像素点确定为二值化图像的背景像素点。
本实施例中,医学图像处理装置可以根据差值图像确定分割阈值,当差值图像中像素点所对应的像素值大于或等于分割阈值时,则将像素点确定为二值化图像的前景像素点,当差值图像中像素点所对应的像素值小于分割阈值时,则将像素点确定为二值化图像的背景像素点。
具体地,通过设定分割阈值,对差值图像进行二值化处理可以把灰度图像变成0或者1取值的二值化图像,也就是说差值图像的二值化可以通过设定分割阈值,把差值图像变换成仅用两个值(0或1)来分别表示的图像前景和图像背景的二值化图像,其中前景取值为1,背景值取值为0,而在实际应用中,0对应于RGB值均为0,1对应于RGB值均为255,差值图像经过二值化处理后所得的二值化图像,再对二值化图像作进一步处理时,由于二值化图像的几何性质只与0和1的位置有关,不再涉及到像素的灰度值,使得对二值化图像的处理变得简单,从而可以提升图像处理效率。而确定分割阈值的方法可以分为全局阈值和局部阈值。其中,全局阈值是对整个差值图像采用一个阈值进行划分。但对于不同的差值图像,差值图像的灰度深度是存在差异的,并且对于同一差值图像,不同部位其明暗分布也可以是不同的,因此,我们本实施例中采用动态阈值二值化方法确定分割阈值。
当根据差值图像确定分割阈值后,对差值图像中像素点所对应的像素值与分割阈值进行判断,当差值图像中像素点所对应的像素值大于或等于分割阈值时,则将像素点确定为二值化图像的前景像素点。当差值图像中像素点所对应的像素值小于分割阈值时,则将像素点确定为二值化图像的背景像素点。例如,当像素点A所对应的像素值大于分割阈值,则将该像素点A确定为二值化图像的前景像素点,即像素值为1,也就是该像素点A处于前景区域,在图像为RGB模式时,显示为白色。而当像素点B所对应的像素值小于分割阈值,则将该像素点B确定为二值化图像的背景像素点,即像素值为0,也就是该像素点B处于背景区域,在图像为RGB模式时,显示为黑色。
本申请实施例中,提供了一种得到二值化图像的方法,通过上述方式,根据二值化处理生成二值化图像,由于二值化图像的几何性质不涉及到像素的灰度值,可以使得后续对二值化图像的处理变得简单,从而可以提升生成前景分割结果的效率。
可选地,在上述图2对应的实施例的基础上,本申请实施例提供的医学图像处理的方法另一可选实施例中,根据差值图像确定分割阈值,可以包括:
根据差值图像获取N个像素点所对应的N个像素值,其中,像素值与像素点具有一一对应的关系,N为大于1的整数;
从N个像素值中确定待处理像素值,其中,待处理像素值为N个像素值中的最大值;
根据待处理像素值以及比例阈值,计算得到分割阈值。
本实施例中,医学图像处理装置可以根据差值图像获取N个像素点所对应的N个像素值,并且该像素值与像素点具有一一对应的关系,然后从N个像素值中确定待处理像素值,该待处理像素值为N个像素值中的最大值,最后可以根据待处理像素值以及比例阈值,计算得到分割阈值,其中N为大于1的整数。
具体地,本实施例中分割阈值是根据差值图像所确定的,由于差值图像可以根据待处理医学图像中的最大值图像与最小值图像相减生成,并且差值图像中的像素值与像素点具有一一对应的关系,因此可以获取差值图像中多个像素点对应像素值,然后将多个像素值中的最大值确定为待处理像素值,然后根据待处理像素值以及比例阈值计算得到分割阈值。为了便于理解,本实施例以比例阈值为10%为示例进行说明,例如WSI图像缩小后的图像的长宽在几千像素范围内,假设缩小后的图像包括100*100个像素点,即需要在10000个像素点对应像素值中找出最大的值,例如最大值为150,即可以确定该最大值150为待处理像素值,然后根据待处理像素值150与相乘比例阈值10%,即可得到分割阈值15。应理解,在实际应用中,比例阈值还可以为其他百分比所对应的值,具体比例阈值应当结合实际情况灵活确定。
本申请实施例中,提供了另一种得到分割阈值的方法,通过上述方式,可以通过由最大像素值确定的待处理像素值以及比例阈值的分割阈值,由于差值图像灰度深度是存在差异的,并且不同区域其明暗分布也可以是不同的,因此,可以通过调整比例阈值灵活确定分割阈值,提升阈值准确度以及灵活性,从而提升二值化图像生成的准确度。
可选地,在上述图2对应的实施例的基础上,本申请实施例提供的医学图像处理的方法另一可选实施例中,根据二值化图像生成待处理医学图像所对应的前景分割结果,可以包括:
采用泛洪算法检测二值化图像中的背景区域,其中,背景区域包括多个背景像素点;
根据二值化图像以及二值化图像中的背景区域,获取二值化图像中的前景区域内的背景像素点,其中,前景区域包括多个前景像素点;
将二值化图像中的前景区域内的背景像素点变更为前景像素点,得到空洞填补图像;
对空洞填补图像进行中值滤波处理,得到待处理医学图像所对应的前景分割结果。
本实施例中,医学图像处理装置可以采用泛洪算法检测二值化图像中的背景区域,该背景区域可以包括多个背景像素点,然后根据二值化图像以及二值化图像中的背景区域,获取二值化图像中的前景区域内的背景像素点,该前景区域可以包括多个前景像素点,进而将二值化图像中的前景区域内的背景像素点变更为前景像素点,得到空洞填补图像,最后对空洞填补图像进行中值滤波处理,即可得到待处理医学图像所对应的前景分割结果。
具体地,对差值图像进行二值化处理后,所得到二值化图像中,可能出现二值化图像中前景区域是黑色空洞,作为前景区域,需要将该黑色空洞检测出来。为了便于理解,请参阅图7,图7为本申请实施例中前景分割结果另一实施例示意图,如图所示,图7中(A)所示出的二值化图像,在呈现白色的前景区域中包括有多个背景像素点,其中区域A1至区域A5所框出黑点均由背景像素点组成,将区域A1至区域A5所框出黑点由背景像素点变更为前景像素点,而其中区域A6与区域A7所框出白点由前景像素点组成,将区域A6与区域A7所框出白点由前景像素点变更为背景像素点,即可得到图7中(B)所示出的空洞填补图像。
进一步地,然后对图7中(B)所示出的空洞填补图像进行中值滤波处理,还可以进一步进行形态学处理,即可以得到图7中(C)所示出的待处理医学图像所对应的前景分割结果。其中滤波处理即在尽量保留空洞填补图像细节特征的条件下对待处理医学图像的噪声进行抑制,通过滤波处理可以提升后续前景分割结果处理和分析的有效性和可靠性。消除空洞填补图像中的噪声成分即为滤波操作,空洞填补图像的能量大部分集中在幅度谱的低频和中频段,而在较高频段,空洞填补图像的信息经常被噪声影响,因此可以对空洞填补图像进行滤波操作适应图像处理的要求,消除图像数字化时所混入的噪声。而中值滤波处理是一种典型的非线性滤波,是基于排序统计理论的一种能够有效抑制噪声的非线性信号处理技术,中值滤波处理可以用像素点邻域灰度值的中值来代替该像素点的灰度值,让周围的像素值接近真实的值从而消除孤立的噪声点。
本申请实施例中,提供了一种生成前景分割结果的方法,通过上述方式,将前景区域内的背景像素点变更为前景像素点,所得到空洞填补图像具有较好的可靠性,其次,通过中值滤波处理,能够在不损坏图像的轮廓及边缘等特征信息的基础上,使得待处理医学图像所对应的前景分割结果清晰并且视觉效果好。
可选地,在上述图2对应的实施例的基础上,本申请实施例提供的医学图像处理的方法另一可选实施例中,对空洞填补图像进行中值滤波处理,得到待处理医学图像所对应的前景分割结果,可以包括:
对空洞填补图像进行中值滤波处理,得到滤波图像,其中,滤波图像包括待处理前景区域;
获取待处理前景区域的边界线,其中,边界线包括M个像素点,M为大于1的整数;
针对边界线上M个像素点中的每个像素点,向外延伸K个像素点,得到前景分割结果,其中,K为大于或等于1的整数。
本实施例中,医学图像处理装置对空洞填补图像进行中值滤波处理,得到滤波图像,该滤波图像可以包括待处理前景区域,获取待处理前景区域的边界线,并且该边界线包括M个像素点,进而针对边界线上M个像素点中的每个像素点,向外延伸K个像素点,得到前景分割结果,其中M为大于1的整数,K为大于或等于1的整数。具体地,中值滤波处理可以用像素点邻域灰度值的中值来代替该像素点的灰度值,让周围的像素值接近真实的值从而消除孤立的噪声点,通过中值滤波处理在取出脉冲噪声、椒盐噪声的同时,得到保留图像的边缘细节的滤波图像。
进一步地,通过泛洪算法(Flood Fill)填充具有不同颜色的连接的,颜色相似的区域,泛洪算法的基本原理就是从一个像素点出发,以此向周边的像素点扩充着色,直到图形的边界。泛洪算法需要采用三个参数:起始节点(start node),目标颜色(target color)以及替换颜色(replacement color)。泛洪算法通过目标颜色的路径连接到起始节点的所有节点,并将它们更改为替换颜色,应理解,在实际应用中,可以通过多种方式构建泛洪算法,但多种方式都明确地或隐式地使用队列或堆栈数据结构。例如,四邻域泛洪算法,八邻域泛洪算法,描绘线算法(Scanline Fill)以及大规模行为(Large-scale behaviour)。其中,传统的四邻域泛洪算法的思想是对于像素点(x,y),将其着色之后将其周围的上下左右四个点分别进行着色,而递归方式较为消耗内存,若所需着色的面积非常大,会导致溢出现象,因此,可以采用非递归方式的四邻域泛洪算法。而八邻域泛洪算法是将一个像素点的上下左右,左上,左下,右上,右下都进行着色。描绘线算法可以利用填充线来加速算法,可以先将一条线上的像素点进行着色,然后依次向上下扩张,直到着色完成。大规模行为以数据为中心,或者以流程为中心。
由于空洞填补图像的边界线不规则,因此本实施例中采用描绘线算法,以待处理前景区域包括1000个像素点的边界线为示例进行说明,利用形态学处理的方式,将1000个像素点分别向外延伸K个像素点,假设K为2,则在原来的1000个像素点之外增加了2000个像素点作为前景分割区域,从而得到前景分割结果。应理解,在实际应用中,具体M个像素点以及K个像素点均应当结合实际情况灵活确定。
本申请实施例中,提供了另一种生成前景分割结果的方法,通过上述方式,通过中值滤波处理,能够在不损坏图像的轮廓及边缘等特征信息的基础上,使得滤波图像清晰并且视觉效果好。其次,通过泛洪算法对滤波图像进行形态学处理,提升前景分割结果的准确度以及一体性。
可选地,在上述图2对应的实施例的基础上,本申请实施例提供的医学图像处理的方法另一可选实施例中,获取待处理医学图像,可以包括:
获取原始医学图像;
采用滑动窗口从原始医学图像中提取医学子图像;
若检测到医学子图像中包括病理组织区域,则确定为待处理医学图像;
若检测到医学子图像中未包括病理组织区域,则将医学子图像确定为背景图像,且去除背景图像。
本实施例中,医学图像处理装置可以先获取到原始医学图像,然后采用滑动窗口从原始医学图像中提取医学子图像,当检测到医学子图像中包括病理组织区域时,则确定为待处理医学图像,当检测到医学子图像中未包括病理组织区域时,则将医学子图像确定为背景图像,且去除该背景图像。具体地,其中原始医学图像可以为医学图像处理装置通过有线网络接收到的图像,还可以为医学图像处理装置本身存储的图像。
为了便于理解,请参阅图8,图8为本申请实施例中获取待处理医学图像一个实施例示意图,如图所示,图8中(A)所示出的为原始医学图像,采用滑动窗口从原始医学图像中提取医学子图像,其中B1至B3所框出的区域即为从原始医学图像中提取医学子图像,从而B1可以对应得到如图8中(B)所示出医学子图像,B2可以对应得到如图8中(C)所示出医学子图像,B3可以对应得到如图8中(D)所示出医学子图像,由此可见,图8中(B)以及(C)中所示出医学子图像中包括病理组织区域,因此可以将图8中(B)以及(C)所示出医学子图像确定为待处理医学图像,而图8中(D)所示出医学子图像中未包括病理组织区域,因此可以将图8中(D)所示出医学子图像确定为背景图像,且去除背景图像。
本申请实施例中,提供了一种获取待处理医学图像的方法,通过上述方式,通过检测医学子图像是否包括有病理组织区域,确定待处理医学图像,使得包括有病理组织区域的待处理医学图像通过前述步骤,能够获取的待处理医学图像所对应的前景分割结果,并且前景分割结果包括有病理组织区域,便于后续对该前景分割结果中病理组织区域的处理以及分析。其次,将为包括有病理组织区域的医学子图像确定为背景图像,且去除该背景图像,减少资源占用率。
可选地,在上述图2对应的实施例的基础上,本申请实施例提供的医学图像处理的方法另一可选实施例中,根据二值化图像生成待处理医学图像所对应的前景分割结果之后,医学图像处理的方法还可以包括:
根据前景分割结果生成目标正样本图像,其中,目标正样本图像属于正样本集合中的一个正样本图像,且每个正样本图像包含病理组织区域;
获取负样本集合,其中,负样本集合包括至少一个负样本图像,且每个负样本图像不包含病理组织区域;
基于正样本集合以及负样本集合,对图像分割模型进行训练。
本实施例中,在根据二值化图像生成待处理医学图像所对应的前景分割结果之后,医学图像处理装置还可以根据前景分割结果生成目标正样本图像,该目标正样本图像属于正样本集合中的一个正样本图像,并且每个正样本图像包含病理组织区域,同时,还可以获取负样本集合,该负样本集合包括至少一个负样本图像,并且每个负样本图像不包含病理组织区域,最后可以基于所获取的正样本集合以及负样本集合,对图像分割模型进行训练。该图像分割模型能够基于一张彩色的医学图像分割出相应的病理组织区域。
本申请实施例中,提供了一种训练图像分割模型的方法,通过上述方式,通过包含病理组织区域的正样本图像合集,以及不包含病理组织区域的负样本集合对图像分割模型进行训练,提升图像分割模型的准确度以及可靠性,从而提升图像处理的效率以及准确度。
具体地,本申请实施例可以提升提取的病理组织区域的准确性,且对后续的图像分析产生积极影响,为了便于理解本申请实施例,请参阅图9,图9为本申请实施例中医学图像处理的方法一个流程示意图,具体地:
在步骤S1中,获取原始医学图像;
在步骤S2中,基于原始医学图像,获取待处理医学图像;
在步骤S3中,根据待处理医学图像生成差值图像;
在步骤S4中,对差值图像差进行二值化处理,得到二值化图像;
在步骤S5中,基于二值化图像得到空洞填补图像;
在步骤S6中,对空洞填补图像进行中值滤波处理,得到前景分割结果。
其中,在步骤S1中可以获取到如图9中(A)所示出的原始医学图像,然后在步骤S2中采用滑动窗口从图9中(A)所示出的原始医学图像中提取医学子图像,当检测到医学子图像中包括病理组织区域,则确定为待处理医学图像,从而获取到如图9中(B)所示出的待处理医学图像,进一步地,在步骤S3中,可以根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,从第一像素值、第二像素值以及第三像素值中确定目标像素点所对应的最大像素值以及最小像素值,从而生成最大值图像以及最小值图像,然后根据最大值图像以及最小值图像得到如图9中(C)所示出的差值图像。再进一步地,在步骤S4中,可以根据如图9中(C)所示出的差值图像获取N个像素点所对应的N个像素值,该像素值与像素点具有一一对应的关系,将N个像素值中的最大值确定为待处理像素值,通过根据待处理像素值以及比例阈值,计算得到分割阈值,并且当差值图像中像素点所对应的像素值大于或等于分割阈值时,则将像素点确定为二值化图像的前景像素点,当差值图像中像素点所对应的像素值小于分割阈值时,则将像素点确定为二值化图像的背景像素点,从而可以得到如图9中(D)所示出的二值化图像。在步骤S5中,采用泛洪算法检测二值化图像中包括多个背景像素点的背景区域,然后根据二值化图像以及二值化图像中的背景区域,获取二值化图像中的前景区域内的背景像素点,将二值化图像中的前景区域内的背景像素点变更为前景像素点,从而可以得到如图9中(E)所示出空洞填补图像。在步骤S6中,对空洞填补图像进行中值滤波处理,得到包括待处理前景区域的滤波图像获取待处理前景区域包括M个像素点的边界线,针对边界线上M个像素点中的每个像素点,向外延伸K个像素点,从而得到如图9中(F)所示出的前景分割结果,其中N为大于1的整数。
进一步地,对不同的待处理医学图像可以生成前景分割结果,请参阅图10,图10为本申请实施例中前景分割结果一个实施例示意图,如图所示,图10中(A)所示出的存在纯白和灰色的待处理医学图像,通过本申请实施例所提供的医学图像处理方法,可以得到如图10中(B)所示出的前景分割结果。而图10中(C)所示出的存在规律性竖条纹的待处理医学图像,该规律性竖条纹通过为扫描仪扫描玻片所产生的条纹,该规律性竖条纹的产生取决于扫描设备,然后通过本申请实施例所提供的医学图像处理方法,可以得到如图10中(D)所示出的前景分割结果。其次,图10中(E)所示出的存在黑白条纹的待处理医学图像,该黑白条纹可以为格式转换所生成的,也可以为扫描仪扫描玻片所产生的不清楚的区域,该区域部分就增加黑白条纹,然后通过本申请实施例所提供的医学图像处理方法,可以得到如图10中(F)所示出的前景分割结果。可以看到,在对图像进行二值化处理之前,先利用不同通道的色彩信息生成差值图像,由于灰度像素点在不同通道下的色彩信息差异较小,而彩色像素点在不同通道下的色彩信息差异较大,可以有效地利用图10中所出现的各种待处理医学图像中的色彩信息,基于差值图像提取到的病理组织区域更为准确,且对后续的图像分析产生积极影响。
结合上述介绍,下面将对本申请中图像处理的方法进行介绍,请参阅图11,图11为本申请实施例中图像处理的方法一个实施例示意图,如图所示,本申请实施例中对图像处理的方法一个实施例包括:
201、获取第一待处理图像以及第二待处理图像,其中,第一待处理图像为彩色图像,且第一待处理图像包括第一图像数据、第二图像数据以及第三图像数据,且第一图像数据、第二图像数据以及是第三图像数据分别对应于不同通道下的色彩信息;
本实施例中,图像处理装置可以获取到第一待处理图像以及第二待处理图像,该第一待处理图像可以包括第一图像数据、第二图像数据以及第三图像数据,并且第一图像数据、第二图像数据以及是第三图像数据分别对应于不同通道下的色彩信息。其中第一待处理图像以及第二待处理图像可以为图像处理装置通过有线网络接收到的图像,还可以为图像处理装置本身存储的图像。具体地,第一待处理图像与前述步骤101中所描述的待处理医学图像类似,在此不再赘述。
应理解,在实际应用中,第一图像数据、第二图像数据以及第三图像数据具体对应的色彩信息均应当结合实际情况灵活确定。并且图像处理装置可以部署于服务器,也可以部署于具有较高计算力的终端设备,本实施例以图像处理装置部署于服务器为例进行介绍。
具体地,假设第一待处理图像为阴天拍摄的一张照片,该照片的背景是阴天,还包括一辆红色的小汽车。第二待处理图像则是一张蓝天大海的照片。
202、根据第一待处理图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成差值图像;
本实施例中,图像处理装置可以根据步骤201所获取的第一待处理图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成差值图像。具体地,该差值图像为灰度图像。本实施例中生成差值图像的方法与前述图2对应实施例类似,在此不再赘述。
具体地,此时生成的差值图像能够看出小汽车的轮廓。
203、对差值图像进行二值化处理,得到二值化图像;
本实施例中,图像处理装置可以对步骤202所生成的差值图像进行二值化处理,得到二值化图像。具体地,本实施例中采用自适应二值化方式来进行前景分割,即对差值图像进行二值化处理,从而的得到二值化图像。本实施中生成二值化图像的方法与前述图2对应实施例类似,在此不再赘述。
具体地,此时生成的二值化图像能够准确地展示出小汽车的轮廓。
204、根据二值化图像生成第一待处理图像所对应的前景分割结果;
本实施例中,图像处理装置可以根据步骤203所得到的据二值化图像生成第一待处理图像所对应的前景分割结果。本实施中生成前景分割结果的方法与前述图2对应实施例类似,在此不再赘述。
205、根据前景分割结果,从第一待处理图像中提取目标对象;
本实施例中,图像处理装置可以根据步骤204所生成的前景分割结果,从第一待处理图像中提取目标对象。若第一待处理图像为医学图像,则目标对象可以为病理组织区域。若第一待处理图像为高分辨率遥感图像,则目标对象可以为植被区域。若第一待处理图像为实时路况监控图像,则目标对象可以为自行车或者汽车。
具体地,此时可以从第一待处理图像中抠除小汽车的图像,即小汽车的图像即为目标对象。
206、根据目标对象以及第二待处理图像,生成合成图像,其中,目标对象位于第一图层,第二待处理图像位于第二图层,第一图层覆盖于第二图层之上。
本实施例中,图像处理装置将把目标对象设置为第一图层,第二待处理图像设置为第二图层,并且将第一图层覆盖于第二图层之上,从而生成合成图像。
具体地,将小汽车的图像覆盖于蓝天白云照片之上,形成一张合成后的图像,在该图像上可以看到小汽车的背景不再是阴天,而是蓝天白云。
本申请实施例中,提供了一种图像处理的方法,通过上述方式,由于灰度像素点在不同通道下的色彩信息差异较小,而彩色像素点在不同通道下的色彩信息差异较大,因此,在对图像进行二值化处理之前,先利用不同通道的色彩信息生成差值图像,从而有效地利用了图像中的色彩信息,基于差值图像提取到的目标对象更为准确,从而根据该目标对象所在图层覆盖于第二待处理图像所在图层,所生成的合成图像汇总目标对象准确,从而提升合成图像的准确度,并可以对后续的图像分析产生积极影响。
下面对本申请中的医学图像处理装置进行详细描述,请参阅图12,图12为本申请实施例中医学图像处理装置一个实施例示意图,医学图像处理装置300包括:
获取模块301,用于获取待处理医学图像,其中,待处理医学图像为彩色图像,且待处理医学图像包括第一图像数据、第二图像数据以及第三图像数据,且第一图像数据、第二图像数据以及是第三图像数据分别对应于不同通道下的色彩信息;
生成模块302,用于根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成差值图像;
处理模块303,用于对差值图像进行二值化处理,得到二值化图像;
生成模块302,还用于根据二值化图像生成待处理医学图像所对应的前景分割结果。
本申请实施例中,提供了一种医学图像处理的方法,通过上述方式,由于灰度像素点在不同通道下的色彩信息差异较小,而彩色像素点在不同通道下的色彩信息差异较大,因此,在对图像进行二值化处理之前,先利用不同通道的色彩信息生成差值图像,从而有效地利用了图像中的色彩信息,基于差值图像提取到的病理组织区域更为准确,且对后续的图像分析产生积极影响。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的医学图像处理装置300的另一实施例中,
生成模块302,具体用于根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成最大值图像;
根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成最小值图像;
根据最大值图像以及最小值图像,生成差值图像。
本申请实施例中,提供了一种生成差值图像的方法,通过上述方式,根据第一图像数据、第二图像数据以及第三图像数据生成最大值图像以及最小值图像,由于不同图像数据对应的色彩信息不同,根据不同图像数据所确定的最大值图像以及最小值图像,所包括的待处理医学图像的色彩信息准确度较高,从而提升差值图像生成的准确度。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的医学图像处理装置300的另一实施例中,
生成模块302,具体用于根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,从第一像素值、第二像素值以及第三像素值中确定目标像素点所对应的最大像素值,其中,第一像素值为第一图像数据中第一像素位置所对应的像素值,第二像素值为第二图像数据中第二像素位置所对应的像素值,第三像素值为第三图像数据中第三像素位置所对应的像素值,目标像素点为最大值图像中第四像素位置所对应的像素值,第一像素位置、第二像素位置、第三像素位置以及第四像素位置均对应于待处理医学图像中同一个像素点的位置;
生成模块302,具体用于根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,从第一像素值、第二像素值以及第三像素值中确定目标像素点所对应的最小像素值;
生成模块302,具体用于将最大值图像中目标像素点所对应的最大像素值,与最大值图像中目标像素点所对应的最小像素值相减,得到差值图像中目标像素点所对应的差值像素值。
本申请实施例中,提供了一种生成最大值图像的方法,通过上述方式,通过第一图像数据、第二图像数据以及第三图像数据对应目标像素点的像素值,确定最大像素值以及最小像素值,最大像素值以及最小像素值不同程度的反映待处理医学图像的色彩信息,并由最大像素值以及最小像素值相减得到差值像素值,使得该差值像素值能够准确的反映待处理医学图像的色彩信息,从而提升差值图像生成的准确度。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的医学图像处理装置300的另一实施例中,
生成模块302,具体用于根据待处理医学图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成待处理差值图像;
对待处理差值图像进行高斯模糊处理,得到差值图像。
本申请实施例中,提供了另一种生成差值图像的方法,通过上述方式,对生成待处理差值图像行高斯模糊处理,由于高斯模糊处理可以提升分割鲁棒性,由此所得到的差值图像有较好的分割鲁棒性,从而提升成差值图像的稳定性。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的医学图像处理装置300的另一实施例中,医学图像处理装置300还包括确定模块304;
确定模块304,用于根据差值图像确定分割阈值;
确定模块304,还用于若差值图像中像素点所对应的像素值大于或等于分割阈值,则将像素点确定为二值化图像的前景像素点;
确定模块304,还用于若差值图像中像素点所对应的像素值小于分割阈值,则将像素点确定为二值化图像的背景像素点。
本申请实施例中,提供了一种得到二值化图像的方法,通过上述方式,根据二值化处理生成二值化图像,由于二值化图像的几何性质不涉及到像素的灰度值,可以使得后续对二值化图像的处理变得简单,从而可以提升生成前景分割结果的效率。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的医学图像处理装置300的另一实施例中,
确定模块304,具体用于根据差值图像获取N个像素点所对应的N个像素值,其中,像素值与像素点具有一一对应的关系,N为大于1的整数;
从N个像素值中确定待处理像素值,其中,待处理像素值为N个像素值中的最大值;
根据待处理像素值以及比例阈值,计算得到分割阈值。
本申请实施例中,提供了另一种得到分割阈值的方法,通过上述方式,可以通过由最大像素值确定的待处理像素值以及比例阈值的分割阈值,由于差值图像灰度深度是存在差异的,并且不同区域其明暗分布也可以是不同的,因此,可以通过调整比例阈值灵活确定分割阈值,提升阈值准确度以及灵活性,从而提升二值化图像生成的准确度。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的医学图像处理装置300的另一实施例中,
生成模块302,具体用于采用泛洪算法检测二值化图像中的背景区域,其中,背景区域包括多个背景像素点;
根据二值化图像以及二值化图像中的背景区域,获取二值化图像中的前景区域内的背景像素点,其中,前景区域包括多个前景像素点;
将二值化图像中的前景区域内的背景像素点变更为前景像素点,得到空洞填补图像;
对空洞填补图像进行中值滤波处理,得到待处理医学图像所对应的前景分割结果。
本申请实施例中,提供了一种生成前景分割结果的方法,通过上述方式,将前景区域内的背景像素点变更为前景像素点,所得到空洞填补图像具有较好的可靠性,其次,通过中值滤波处理,能够在不损坏图像的轮廓及边缘等特征信息的基础上,使得待处理医学图像所对应的前景分割结果清晰并且视觉效果好。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的医学图像处理装置300的另一实施例中,
处理模块303,具体用于对空洞填补图像进行中值滤波处理,得到滤波图像,其中,滤波图像包括待处理前景区域;
获取待处理前景区域的边界线,其中,边界线包括M个像素点,M为大于1的整数;
针对边界线上M个像素点中的每个像素点,向外延伸K个像素点,得到前景分割结果,其中,K为大于或等于1的整数。
本申请实施例中,提供了另一种生成前景分割结果的方法,通过上述方式,通过中值滤波处理,能够在不损坏图像的轮廓及边缘等特征信息的基础上,使得滤波图像清晰并且视觉效果好。其次,通过泛洪算法对滤波图像进行形态学处理,提升前景分割结果的准确度以及一体性。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的医学图像处理装置300的另一实施例中,
获取模块301,具体用于获取原始医学图像;
采用滑动窗口从原始医学图像中提取医学子图像;
若检测到医学子图像中包括病理组织区域,则确定为待处理医学图像;
若检测到医学子图像中未包括病理组织区域,则将医学子图像确定为背景图像,且去除背景图像。
本申请实施例中,提供了一种获取待处理医学图像的方法,通过上述方式,通过检测医学子图像是否包括有病理组织区域,确定待处理医学图像,使得包括有病理组织区域的待处理医学图像通过前述步骤,能够获取的待处理医学图像所对应的前景分割结果,并且前景分割结果包括有病理组织区域,便于后续对该前景分割结果中病理组织区域的处理以及分析。其次,将为包括有病理组织区域的医学子图像确定为背景图像,且去除该背景图像,减少资源占用率。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的医学图像处理装置300的另一实施例中,图像处理装置还包括训练模块305;
生成模块302,还用于根据前景分割结果生成目标正样本图像,其中,目标正样本图像属于正样本集合中的一个正样本图像,且每个正样本图像包含病理组织区域;
获取模块301,还用于获取负样本集合,其中,负样本集合包括至少一个负样本图像,且每个负样本图像不包含病理组织区域;
训练模块305,用于基于正样本集合以及负样本集合,对图像分割模型进行训练。
本申请实施例中,提供了一种训练图像分割模型的方法,通过上述方式,通过包含病理组织区域的正样本图像合集,以及不包含病理组织区域的负样本集合对图像分割模型进行训练,提升图像分割模型的准确度以及可靠性,从而提升图像处理的效率以及准确度。
下面对本申请中的图像处理装置进行详细描述,请参阅图13,图13为本申请实施例中图像处理装置一个实施例示意图,图像处理装置400包括:
获取模块401,用于获取第一待处理图像以及第二待处理图像,其中,第一待处理图像为彩色图像,且第一待处理图像包括第一图像数据、第二图像数据以及第三图像数据,且第一图像数据、第二图像数据以及是第三图像数据分别对应于不同通道下的色彩信息;
生成模块402,用于根据第一待处理图像中所包括的第一图像数据、第二图像数据以及第三图像数据,生成差值图像;
处理模块403,用于对差值图像进行二值化处理,得到二值化图像;
生成模块402,还用于根据二值化图像生成第一待处理图像所对应的前景分割结果;
提取模块404,用于根据前景分割结果,从第一待处理图像中提取目标对象;
生成模块402,还用于根据目标对象以及第二待处理图像,生成合成图像,其中,目标对象位于第一图层,第二待处理图像位于第二图层,第一图层覆盖于第二图层之上。
本申请实施例中,提供了一种图像处理的方法,通过上述方式,由于灰度像素点在不同通道下的色彩信息差异较小,而彩色像素点在不同通道下的色彩信息差异较大,因此,在对图像进行二值化处理之前,先利用不同通道的色彩信息生成差值图像,从而有效地利用了图像中的色彩信息,基于差值图像提取到的目标对象更为准确,从而根据该目标对象所在图层覆盖于第二待处理图像所在图层,所生成的合成图像汇总目标对象准确,从而提升合成图像的准确度,并可以对后续的图像分析产生积极影响。
图14是本申请实施例提供的一种服务器结构示意图,该服务器500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processingunits,CPU)522(例如,一个或一个以上处理器)和存储器532,一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储设备)。其中,存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器522可以设置为与存储介质530通信,在服务器500上执行存储介质530中的一系列指令操作。
服务器500还可以包括一个或一个以上电源525,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口558,和/或,一个或一个以上操作系统541,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图14所示的服务器结构。
本实施例中,CPU 522用于执行图2对应的实施例中医学图像处理装置执行的步骤,CPU 522还用于执行图1对应的实施例中图像处理装置执行的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种医学图像处理的方法,其特征在于,包括:
获取待处理医学图像,其中,所述待处理医学图像为彩色图像,且所述待处理医学图像包括第一图像数据、第二图像数据以及第三图像数据,且所述第一图像数据、所述第二图像数据以及是第三图像数据分别对应于不同通道下的色彩信息;
根据所述待处理医学图像中所包括的所述第一图像数据、所述第二图像数据以及所述第三图像数据,生成差值图像;
对所述差值图像进行二值化处理,得到二值化图像;
根据所述二值化图像生成所述待处理医学图像所对应的前景分割结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述待处理医学图像中所包括的所述第一图像数据、所述第二图像数据以及所述第三图像数据,生成差值图像,包括:
根据所述待处理医学图像中所包括的所述第一图像数据、所述第二图像数据以及所述第三图像数据,生成最大值图像;
根据所述待处理医学图像中所包括的所述第一图像数据、所述第二图像数据以及所述第三图像数据,生成最小值图像;
根据所述最大值图像以及所述最小值图像,生成所述差值图像。
3.根据权利要求2所述的方法,其特征在于,所述根据所述待处理医学图像中所包括的所述第一图像数据、所述第二图像数据以及所述第三图像数据,生成最大值图像,包括:
根据所述待处理医学图像中所包括的所述第一图像数据、所述第二图像数据以及所述第三图像数据,从第一像素值、第二像素值以及第三像素值中确定目标像素点所对应的最大像素值,其中,所述第一像素值为所述第一图像数据中第一像素位置所对应的像素值,所述第二像素值为所述第二图像数据中第二像素位置所对应的像素值,所述第三像素值为所述第三图像数据中第三像素位置所对应的像素值,所述目标像素点为所述最大值图像中第四像素位置所对应的像素值,所述第一像素位置、所述第二像素位置、所述第三像素位置以及所述第四像素位置均对应于所述待处理医学图像中同一个像素点的位置;
所述根据所述待处理医学图像中所包括的所述第一图像数据、所述第二图像数据以及所述第三图像数据,生成最小值图像,包括:
根据所述待处理医学图像中所包括的所述第一图像数据、所述第二图像数据以及所述第三图像数据,从所述第一像素值、所述第二像素值以及所述第三像素值中确定所述目标像素点所对应的最小像素值;
所述根据所述最大值图像以及所述最小值图像,生成所述差值图像,包括:
将所述最大值图像中所述目标像素点所对应的最大像素值,与所述最大值图像中所述目标像素点所对应的最小像素值相减,得到所述差值图像中所述目标像素点所对应的差值像素值。
4.根据权利要求1所述的方法,其特征在于,所述根据所述待处理医学图像中所包括的所述第一图像数据、所述第二图像数据以及所述第三图像数据,生成差值图像,包括:
根据所述待处理医学图像中所包括的所述第一图像数据、所述第二图像数据以及所述第三图像数据,生成待处理差值图像;
对所述待处理差值图像进行高斯模糊处理,得到所述差值图像。
5.根据权利要求1所述的方法,其特征在于,所述对所述差值图像进行二值化处理,得到二值化图像,包括:
根据所述差值图像确定分割阈值;
若所述差值图像中像素点所对应的像素值大于或等于所述分割阈值,则将所述像素点确定为所述二值化图像的前景像素点;
若所述差值图像中像素点所对应的像素值小于所述分割阈值,则将所述像素点确定为所述二值化图像的背景像素点。
6.根据权利要求5所述的方法,其特征在于,所述根据所述差值图像确定分割阈值,包括:
根据所述差值图像获取N个像素点所对应的N个像素值,其中,所述像素值与所述像素点具有一一对应的关系,所述N为大于1的整数;
从所述N个像素值中确定待处理像素值,其中,所述待处理像素值为所述N个像素值中的最大值;
根据所述待处理像素值以及比例阈值,计算得到所述分割阈值。
7.根据权利要求1所述的方法,其特征在于,所述根据所述二值化图像生成所述待处理医学图像所对应的前景分割结果,包括:
采用泛洪算法检测所述二值化图像中的背景区域,其中,所述背景区域包括多个背景像素点;
根据所述二值化图像以及所述二值化图像中的背景区域,获取所述二值化图像中的前景区域内的背景像素点,其中,所述前景区域包括多个前景像素点;
将所述二值化图像中的前景区域内的背景像素点变更为前景像素点,得到空洞填补图像;
对所述空洞填补图像进行中值滤波处理,得到所述待处理医学图像所对应的前景分割结果。
8.根据权利要求7所述的方法,其特征在于,所述对所述空洞填补图像进行中值滤波处理,得到所述待处理医学图像所对应的前景分割结果,包括:
对所述空洞填补图像进行中值滤波处理,得到滤波图像,其中,所述滤波图像包括待处理前景区域;
获取所述待处理前景区域的边界线,其中,所述边界线包括M个像素点,所述M为大于1的整数;
针对所述边界线上所述M个像素点中的每个像素点,向外延伸K个像素点,得到所述前景分割结果,其中,所述K为大于或等于1的整数。
9.根据权利要求1所述的方法,其特征在于,所述获取待处理医学图像,包括:
获取原始医学图像;
采用滑动窗口从所述原始医学图像中提取医学子图像;
若检测到所述医学子图像中包括病理组织区域,则确定为所述待处理医学图像;
若检测到所述医学子图像中未包括病理组织区域,则将所述医学子图像确定为背景图像,且去除所述背景图像。
10.根据权利要求1至9中任一项所述的方法,其特征在于,所述根据所述二值化图像生成所述待处理医学图像所对应的前景分割结果之后,所述方法还包括:
根据所述前景分割结果生成目标正样本图像,其中,所述目标正样本图像属于正样本集合中的一个正样本图像,且每个正样本图像包含病理组织区域;
获取负样本集合,其中,所述负样本集合包括至少一个负样本图像,且每个负样本图像不包含病理组织区域;
基于所述正样本集合以及所述负样本集合,对图像分割模型进行训练。
11.一种图像处理的方法,其特征在于,包括:
获取第一待处理图像以及第二待处理图像,其中,所述第一待处理图像为彩色图像,且所述第一待处理图像包括第一图像数据、第二图像数据以及第三图像数据,且所述第一图像数据、所述第二图像数据以及是第三图像数据分别对应于不同通道下的色彩信息;
根据所述第一待处理图像中所包括的所述第一图像数据、所述第二图像数据以及所述第三图像数据,生成差值图像;
对所述差值图像进行二值化处理,得到二值化图像;
根据所述二值化图像生成所述第一待处理图像所对应的前景分割结果;
根据所述前景分割结果,从所述第一待处理图像中提取目标对象;
根据所述目标对象以及所述第二待处理图像,生成合成图像,其中,所述目标对象位于第一图层,所述第二待处理图像位于第二图层,所述第一图层覆盖于所述第二图层之上。
12.一种医学图像处理装置,其特征在于,包括:
获取模块,用于获取待处理医学图像,其中,所述待处理医学图像为彩色图像,且所述待处理医学图像包括第一图像数据、第二图像数据以及第三图像数据,且所述第一图像数据、所述第二图像数据以及是第三图像数据分别对应于不同通道下的色彩信息;
生成模块,用于根据所述待处理医学图像中所包括的所述第一图像数据、所述第二图像数据以及所述第三图像数据,生成差值图像;
处理模块,用于对所述差值图像进行二值化处理,得到二值化图像;
所述生成模块,还用于根据所述二值化图像生成所述待处理医学图像所对应的前景分割结果。
13.一种图像处理装置,其特征在于,包括:
获取模块,用于获取第一待处理图像以及第二待处理图像,其中,所述第一待处理图像为彩色图像,且所述第一待处理图像包括第一图像数据、第二图像数据以及第三图像数据,且所述第一图像数据、所述第二图像数据以及是第三图像数据分别对应于不同通道下的色彩信息;
生成模块,用于根据所述第一待处理图像中所包括的所述第一图像数据、所述第二图像数据以及所述第三图像数据,生成差值图像;
处理模块,用于对所述差值图像进行二值化处理,得到二值化图像;
所述生成模块,还用于根据所述二值化图像生成所述第一待处理图像所对应的前景分割结果;
提取模块,用于根据所述前景分割结果,从所述第一待处理图像中提取目标对象;
所述生成模块,还用于根据所述目标对象以及所述第二待处理图像,生成合成图像,其中,所述目标对象位于第一图层,所述第二待处理图像位于第二图层,所述第一图层覆盖于所述第二图层之上。
14.一种计算机设备,其特征在于,包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,以实现如上述权利要求1至10中任一项所述的方法,或,实现如上述权利要求11所述的方法;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
15.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1至10中任一项所述的方法,或,执行如权利要求11所述的方法。
CN202010084678.8A 2020-02-10 2020-02-10 一种医学图像处理的方法、图像处理的方法及装置 Active CN111275696B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202010084678.8A CN111275696B (zh) 2020-02-10 2020-02-10 一种医学图像处理的方法、图像处理的方法及装置
EP20919308.5A EP4002268A4 (en) 2020-02-10 2020-11-03 METHOD FOR PROCESSING MEDICAL IMAGES, IMAGE PROCESSING METHOD AND APPARATUS
KR1020227009792A KR20220050977A (ko) 2020-02-10 2020-11-03 의료 이미지 처리 방법, 이미지 처리 방법 및 장치
JP2022524010A JP2022553979A (ja) 2020-02-10 2020-11-03 医用画像処理方法、画像処理方法、医用画像処理装置、画像処理装置、コンピュータ装置およびプログラム
PCT/CN2020/126063 WO2021159767A1 (zh) 2020-02-10 2020-11-03 一种医学图像处理的方法、图像处理的方法及装置
US17/685,847 US20220189017A1 (en) 2020-02-10 2022-03-03 Medical image processing method and apparatus, image processing method and apparatus, terminal and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010084678.8A CN111275696B (zh) 2020-02-10 2020-02-10 一种医学图像处理的方法、图像处理的方法及装置

Publications (2)

Publication Number Publication Date
CN111275696A true CN111275696A (zh) 2020-06-12
CN111275696B CN111275696B (zh) 2023-09-15

Family

ID=71000325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010084678.8A Active CN111275696B (zh) 2020-02-10 2020-02-10 一种医学图像处理的方法、图像处理的方法及装置

Country Status (6)

Country Link
US (1) US20220189017A1 (zh)
EP (1) EP4002268A4 (zh)
JP (1) JP2022553979A (zh)
KR (1) KR20220050977A (zh)
CN (1) CN111275696B (zh)
WO (1) WO2021159767A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070708A (zh) * 2020-08-21 2020-12-11 杭州睿琪软件有限公司 图像处理方法、图像处理装置、电子设备、存储介质
CN112149509A (zh) * 2020-08-25 2020-12-29 浙江浙大中控信息技术有限公司 深度学习与图像处理融合的交通信号灯故障检测方法
CN113160974A (zh) * 2021-04-16 2021-07-23 山西大学 一种基于超图聚类的精神疾病生物型发掘方法
WO2021159767A1 (zh) * 2020-02-10 2021-08-19 腾讯科技(深圳)有限公司 一种医学图像处理的方法、图像处理的方法及装置
CN113989304A (zh) * 2021-11-10 2022-01-28 心医国际数字医疗系统(大连)有限公司 图像处理方法、装置、电子设备及存储介质
CN114979589A (zh) * 2021-02-26 2022-08-30 深圳怡化电脑股份有限公司 图像处理方法、装置、电子设备及介质
CN115205156A (zh) * 2022-07-27 2022-10-18 上海物骐微电子有限公司 无失真的中值滤波边界填充方法及装置、电子设备、存储介质
CN115830459A (zh) * 2023-02-14 2023-03-21 山东省国土空间生态修复中心(山东省地质灾害防治技术指导中心、山东省土地储备中心) 基于神经网络的山地林草生命共同体损毁程度检测方法
CN117252893A (zh) * 2023-11-17 2023-12-19 科普云医疗软件(深圳)有限公司 一种乳腺癌病理图像的分割处理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115934990B (zh) * 2022-10-24 2023-05-12 北京数慧时空信息技术有限公司 基于内容理解的遥感影像推荐方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1153564A (zh) * 1994-06-03 1997-07-02 神经医药体系股份有限公司 基于密度纹理的分类系统和方法
CN102360500A (zh) * 2011-07-08 2012-02-22 西安电子科技大学 基于Treelet曲波域去噪的遥感图像变化检测方法
CN102982519A (zh) * 2012-11-23 2013-03-20 南京邮电大学 一种视频图像的前景识别提取和拼接方法
CN103325117A (zh) * 2013-06-17 2013-09-25 中国石油天然气集团公司 一种基于matlab的岩心图像处理方法及系统
CN104036490A (zh) * 2014-05-13 2014-09-10 重庆大学 适用于移动通信网络传输中的前景分割方法
CN105740844A (zh) * 2016-03-02 2016-07-06 成都翼比特自动化设备有限公司 基于图像识别技术的绝缘子炸裂故障检测方法
CN106295645A (zh) * 2016-08-17 2017-01-04 东方网力科技股份有限公司 一种车牌字符识别方法和装置
CN107563373A (zh) * 2017-07-28 2018-01-09 飞智控(天津)科技有限公司 基于立体视觉的无人机降落区域主动安全检测方法及应用
CN107609468A (zh) * 2017-07-28 2018-01-19 飞智控(天津)科技有限公司 用于无人机降落区域主动安全检测的类别优化聚合分析方法及应用
CN107644429A (zh) * 2017-09-30 2018-01-30 华中科技大学 一种基于强目标约束视频显著性的视频分割方法
CN108924525A (zh) * 2018-06-06 2018-11-30 平安科技(深圳)有限公司 图像亮度调整方法、装置、计算机设备及存储介质
CN109708813A (zh) * 2018-06-28 2019-05-03 永康市胜时电机有限公司 供暖片漏水状态实时检测平台
CN109784344A (zh) * 2019-01-24 2019-05-21 中南大学 一种用于地平面标识识别的图像非目标滤除方法
CN110472616A (zh) * 2019-08-22 2019-11-19 腾讯科技(深圳)有限公司 图像识别方法、装置、计算机设备及存储介质
CN110675420A (zh) * 2019-08-22 2020-01-10 华为技术有限公司 一种图像处理方法和电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08279046A (ja) * 1995-04-06 1996-10-22 Mitsubishi Rayon Co Ltd パターン検査装置
US6704456B1 (en) * 1999-09-02 2004-03-09 Xerox Corporation Automatic image segmentation in the presence of severe background bleeding
WO2005027015A2 (en) * 2003-09-10 2005-03-24 Bioimagene, Inc. Method and system for quantitatively analyzing biological samples
US20060036372A1 (en) * 2004-03-18 2006-02-16 Bulent Yener Method and apparatus for tissue modeling
ES2795036T3 (es) * 2008-07-25 2020-11-20 Fund D Anna Sommer Champalimaud E Dr Carlos Montez Champalimaud Sistemas y métodos para tratar, diagnosticar y predecir la aparición de una afección médica
JP5295044B2 (ja) * 2009-08-27 2013-09-18 Kddi株式会社 マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム
JP5995215B2 (ja) * 2012-05-14 2016-09-21 学校法人東京理科大学 癌細胞領域抽出装置、方法、及びプログラム
CN106469267B (zh) * 2015-08-20 2019-12-17 深圳市腾讯计算机系统有限公司 一种验证码样本收集方法及系统
WO2018180386A1 (ja) * 2017-03-30 2018-10-04 国立研究開発法人産業技術総合研究所 超音波画像診断支援方法、およびシステム
JP2018152095A (ja) * 2018-04-19 2018-09-27 株式会社ニコン 画像処理装置、撮像装置及び画像処理プログラム
CN109461143B (zh) * 2018-10-12 2021-01-12 上海联影医疗科技股份有限公司 图像显示方法、装置、计算机设备和存储介质
CN110575178B (zh) * 2019-09-10 2022-05-10 北京择天众康科技有限公司 一种运动状态判断的诊断监控综合医疗系统及其判断方法
CN110705425B (zh) * 2019-09-25 2022-06-28 广州西思数字科技有限公司 一种基于图卷积网络的舌象多标签分类方法
CN111275696B (zh) * 2020-02-10 2023-09-15 腾讯医疗健康(深圳)有限公司 一种医学图像处理的方法、图像处理的方法及装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1153564A (zh) * 1994-06-03 1997-07-02 神经医药体系股份有限公司 基于密度纹理的分类系统和方法
CN102360500A (zh) * 2011-07-08 2012-02-22 西安电子科技大学 基于Treelet曲波域去噪的遥感图像变化检测方法
CN102982519A (zh) * 2012-11-23 2013-03-20 南京邮电大学 一种视频图像的前景识别提取和拼接方法
CN103325117A (zh) * 2013-06-17 2013-09-25 中国石油天然气集团公司 一种基于matlab的岩心图像处理方法及系统
CN104036490A (zh) * 2014-05-13 2014-09-10 重庆大学 适用于移动通信网络传输中的前景分割方法
CN105740844A (zh) * 2016-03-02 2016-07-06 成都翼比特自动化设备有限公司 基于图像识别技术的绝缘子炸裂故障检测方法
CN106295645A (zh) * 2016-08-17 2017-01-04 东方网力科技股份有限公司 一种车牌字符识别方法和装置
CN107563373A (zh) * 2017-07-28 2018-01-09 飞智控(天津)科技有限公司 基于立体视觉的无人机降落区域主动安全检测方法及应用
CN107609468A (zh) * 2017-07-28 2018-01-19 飞智控(天津)科技有限公司 用于无人机降落区域主动安全检测的类别优化聚合分析方法及应用
CN107644429A (zh) * 2017-09-30 2018-01-30 华中科技大学 一种基于强目标约束视频显著性的视频分割方法
CN108924525A (zh) * 2018-06-06 2018-11-30 平安科技(深圳)有限公司 图像亮度调整方法、装置、计算机设备及存储介质
CN109708813A (zh) * 2018-06-28 2019-05-03 永康市胜时电机有限公司 供暖片漏水状态实时检测平台
CN109784344A (zh) * 2019-01-24 2019-05-21 中南大学 一种用于地平面标识识别的图像非目标滤除方法
CN110472616A (zh) * 2019-08-22 2019-11-19 腾讯科技(深圳)有限公司 图像识别方法、装置、计算机设备及存储介质
CN110675420A (zh) * 2019-08-22 2020-01-10 华为技术有限公司 一种图像处理方法和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
阮书敏: "复杂背景下的多姿态人脸检测技术研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》, no. 12, pages 138 - 259 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021159767A1 (zh) * 2020-02-10 2021-08-19 腾讯科技(深圳)有限公司 一种医学图像处理的方法、图像处理的方法及装置
CN112070708A (zh) * 2020-08-21 2020-12-11 杭州睿琪软件有限公司 图像处理方法、图像处理装置、电子设备、存储介质
US11985287B2 (en) 2020-08-21 2024-05-14 Hangzhou Glority Software Limited Image processing method, image processing device, electronic apparatus and storage medium
CN112070708B (zh) * 2020-08-21 2024-03-08 杭州睿琪软件有限公司 图像处理方法、图像处理装置、电子设备、存储介质
CN112149509A (zh) * 2020-08-25 2020-12-29 浙江浙大中控信息技术有限公司 深度学习与图像处理融合的交通信号灯故障检测方法
CN114979589B (zh) * 2021-02-26 2024-02-06 深圳怡化电脑股份有限公司 图像处理方法、装置、电子设备及介质
CN114979589A (zh) * 2021-02-26 2022-08-30 深圳怡化电脑股份有限公司 图像处理方法、装置、电子设备及介质
CN113160974A (zh) * 2021-04-16 2021-07-23 山西大学 一种基于超图聚类的精神疾病生物型发掘方法
CN113989304A (zh) * 2021-11-10 2022-01-28 心医国际数字医疗系统(大连)有限公司 图像处理方法、装置、电子设备及存储介质
CN115205156A (zh) * 2022-07-27 2022-10-18 上海物骐微电子有限公司 无失真的中值滤波边界填充方法及装置、电子设备、存储介质
CN115830459A (zh) * 2023-02-14 2023-03-21 山东省国土空间生态修复中心(山东省地质灾害防治技术指导中心、山东省土地储备中心) 基于神经网络的山地林草生命共同体损毁程度检测方法
CN117252893A (zh) * 2023-11-17 2023-12-19 科普云医疗软件(深圳)有限公司 一种乳腺癌病理图像的分割处理方法
CN117252893B (zh) * 2023-11-17 2024-02-23 科普云医疗软件(深圳)有限公司 一种乳腺癌病理图像的分割处理方法

Also Published As

Publication number Publication date
WO2021159767A1 (zh) 2021-08-19
US20220189017A1 (en) 2022-06-16
EP4002268A1 (en) 2022-05-25
JP2022553979A (ja) 2022-12-27
KR20220050977A (ko) 2022-04-25
EP4002268A4 (en) 2022-12-21
CN111275696B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN111275696B (zh) 一种医学图像处理的方法、图像处理的方法及装置
CN110570353B (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
Yeh et al. Lightweight deep neural network for joint learning of underwater object detection and color conversion
Jourabloo et al. Face de-spoofing: Anti-spoofing via noise modeling
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
TW202014984A (zh) 一種圖像處理方法、電子設備及存儲介質
CN109918971B (zh) 监控视频中人数检测方法及装置
CN111915530A (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN107808161A (zh) 一种基于光视觉的水下目标识别方法
CN112581370A (zh) 人脸图像的超分辨率重建模型的训练及重建方法
CN112837344A (zh) 一种基于条件对抗生成孪生网络的目标跟踪方法
CN112614136A (zh) 一种红外小目标实时实例分割方法及装置
CN106446925A (zh) 一种基于图像处理的海豚身份识别的方法
CN112561813B (zh) 人脸图像增强方法、装置、电子设备及存储介质
CN112396635A (zh) 一种基于多设备的复杂环境下多目标检测方法
Sun et al. Underwater image enhancement with encoding-decoding deep CNN networks
CN112308087A (zh) 基于动态视觉传感器的一体化成像识别系统和方法
CN115713469A (zh) 基于通道注意力和形变生成对抗网络的水下图像增强方法
CN110889868A (zh) 一种结合梯度和纹理特征的单目图像深度估计方法
CN114708173A (zh) 图像融合方法、计算机程序产品、存储介质及电子设备
Hua et al. Background extraction using random walk image fusion
CN112070041B (zh) 一种基于cnn深度学习模型的活体人脸检测方法和装置
Kour et al. A review on image processing
Zhang et al. Novel approaches to enhance coral reefs monitoring with underwater image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40023655

Country of ref document: HK

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211126

Address after: 518052 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Applicant after: Tencent Medical Health (Shenzhen) Co.,Ltd.

Address before: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Applicant before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant