CN111353407B - 医学图像处理方法、装置、计算机设备和存储介质 - Google Patents

医学图像处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111353407B
CN111353407B CN202010113658.9A CN202010113658A CN111353407B CN 111353407 B CN111353407 B CN 111353407B CN 202010113658 A CN202010113658 A CN 202010113658A CN 111353407 B CN111353407 B CN 111353407B
Authority
CN
China
Prior art keywords
real background
blocks
image
information
pathological section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010113658.9A
Other languages
English (en)
Other versions
CN111353407A (zh
Inventor
陈翔
李芳芳
张宇
赵爽
陈明亮
粟娟
陈彦中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangya Hospital of Central South University
Original Assignee
Xiangya Hospital of Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangya Hospital of Central South University filed Critical Xiangya Hospital of Central South University
Priority to CN202010113658.9A priority Critical patent/CN111353407B/zh
Publication of CN111353407A publication Critical patent/CN111353407A/zh
Application granted granted Critical
Publication of CN111353407B publication Critical patent/CN111353407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种医学图像处理方法、装置、计算机设备和存储介质，获取病理切片图像以及病理切片图像对应的图像尺寸信息和图像标记信息，基于图像尺寸信息和图像标记信息，采用并行方式调用真实背景生成卷积函数，构建携带感兴趣区域的真实背景，通过将常规的真实背景生成函数修改为卷积函数，且采用并行方式处理，加快真实背景生成的速度，再将真实背景切割成预设大小的图片切块，采用并行方式调用有效区域检测卷积函数，能够快速对感兴趣区域进行求和，提高感兴趣区域的筛选速度，极大地提高了图像处理的速度和效率。

Description

医学图像处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理领域，特别是涉及医学图像处理方法、装置、计算机设备和存储介质。
背景技术
在现代医学领域中，图像分割是医疗图片分析中常用的图像手段处理。对应的，出现了将医学图像通过图像分割，再结合XML(EXtensible Markup Languag，可扩展标记语言)文件，即实现可按照用户缩放的尺寸，按需加载图像，将医学图像切割成多个图片切块的技术，如由微软定义的Deep Zoom技术，分割出的图片切块能够支持医生对病情做出更准确的诊断。
目前，现有的图像分割技术，其多是针对小尺寸图片进行处理，当图片尺寸较大时，如数字化病理切片图像，其长与宽的像素值均为数万级别，尺寸大，且图像本身携带信息的丰富且复杂，若采用现有图像分割技术对数字化病理切片图像进行处理，则存在图片加载速度慢，处理效率低的问题。
发明内容
基于此，有必要针对现有图像分割技术针对大尺寸图像，存在处理效率低的问题，提供一种高效的医学图像处理方法、装置、计算机设备和存储介质。
一种医学图像处理方法，方法包括：
获取病理切片图像以及病理切片图像对应的图像尺寸信息和图像标记信息；
基于图像尺寸信息和图像标记信息，采用并行方式调用真实背景生成卷积函数，构建病理切片图像的真实背景，真实背景携带感兴趣区域；
将真实背景切割成预设大小的图片切块；
采用并行方式调用有效区域检测卷积函数，筛选出感兴趣区域满足预设比例的图片切块，得到目标图片切块。
在其中一个实施例中，图像标记信息包括病灶区域坐标信息；
基于图像尺寸信息和图像标记信息，采用并行方式调用真实背景生成卷积函数，构建病理切片图像的真实背景包括：
读取图像尺寸信息、预设真实背景块的尺寸信息以及病灶区域坐标信息；
根据图像尺寸信息和预设真实背景块的尺寸信息，确定真实背景块的数量和真实背景块的起始坐标；
基于病灶区域坐标信息，得到病灶区域的边界坐标序列；
根据真实背景块的起始坐标，确定病灶边界序列的偏移量、并根据偏移量，确定真实背景块的坐标；
基于真实背景块的坐标和真实背景块的数量，构建病理切片图像的真实背景。
在其中一个实施例中，基于真实背景块的坐标和真实背景块的数量，构建病理切片图像的真实背景包括：
根据真实背景块的坐标和真实背景块的数量，将病理切片图像划分为相同尺寸的真实背景块；
基于病灶区域坐标信息，采用PNPoly算法，判断、并标记真实背景块的感兴趣区域；
筛选出包含感兴趣区域的真实背景块、并根据真实背景块携带的位置信息为筛选出的真实背景块编号，构建病理切片图像的真实背景。
在其中一个实施例中，采用并行方式调用有效区域检测卷积函数，筛选出感兴趣区域满足预设比例的图片切块，得到目标图片切块包括：
获取有效区域检测卷积函数；
提取有效区域检测卷积函数中卷积核、并将所述卷积核分解为水平核和竖直核；
基于水平核和竖直核，采用并行方式对各图片切块中的感兴趣区域进行求和；
筛选出感兴趣区域满足预设比例的图片切块，得到目标图片切块。
在其中一个实施例中，采用并行方式调用有效区域检测卷积函数，筛选出感兴趣区域满足预设比例的图片切块，得到目标图片切块之后，还包括：
获取各目标图片切块携带的文件名标识信息；
基于文件名标识信息，采用文件组织方式对各目标图片切块进行命名与分类，构造图片切块集。
在其中一个实施例中，采用文件组织方式对各目标图片切块进行命名与分类，构造图片切块集之后，还包括：
获取存储各类图片切块的文件夹，得到文件夹序列；
按照预设数据集比例、预设数据量以及类别参数，对文件夹序列进行乱序处理；
按照乱序后的文件夹序列的顺序，将存储各类图片切块的文件夹分配至至少两个数据集中。
在其中一个实施例中，将真实背景切割成预设大小的图片切块包括：
基于无重叠分割原则，采用循环滑动窗口图像处理算法，将真实背景切割成预设大小的图片切块。
一种医学图像处理装置，装置包括：
图像获取模块，用于获取病理切片图像以及所述病理切片图像对应的图像尺寸信息和图像标记信息；
真实背景构建模块，用于基于图像尺寸信息和图像标记信息，采用并行方式调用真实背景生成卷积函数，构建病理切片图像的真实背景，真实背景携带感兴趣区域；
真实背景切割模块，用于将真实背景切割成预设大小的图片切块；
并行筛选模块，用于采用并行方式调用有效区域检测卷积函数，筛选出感兴趣区域满足预设比例的图片切块，得到目标图片切块。
一种医学图像处理设备，包括数据采集组件、数据处理组件以及数据输出组件；
数据采集组件采集病理切片图像，并将病理切片图像发送至数据处理组件，数据处理组件采用上述医学图像处理方法对病理切片图像进行处理，得到目标图片切块，推送目标图片切块至数据输出组件进行输出。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取病理切片图像以及所述病理切片图像对应的图像尺寸信息和图像标记信息；
基于图像尺寸信息和图像标记信息，采用并行方式调用真实背景生成卷积函数，构建病理切片图像的真实背景，真实背景携带感兴趣区域；
将真实背景切割成预设大小的图片切块；
采用并行方式调用有效区域检测卷积函数，筛选出感兴趣区域满足预设比例的图片切块，得到目标图片切块。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取病理切片图像以及所述病理切片图像对应的图像尺寸信息和图像标记信息；
基于图像尺寸信息和图像标记信息，采用并行方式调用真实背景生成卷积函数，构建病理切片图像的真实背景，真实背景携带感兴趣区域；
将真实背景切割成预设大小的图片切块；
采用并行方式调用有效区域检测卷积函数，筛选出感兴趣区域满足预设比例的图片切块，得到目标图片切块。
上述医学图像处理方法、装置、设备、计算机设备和存储介质，获取病理切片图像以及病理切片图像对应的图像尺寸信息和图像标记信息，基于图像尺寸信息和图像标记信息，采用并行方式调用真实背景生成卷积函数，构建携带感兴趣区域的真实背景，通过将常规的真实背景生成函数修改为卷积函数，且采用并行方式处理，加快真实背景生成的速度，再将真实背景切割成预设大小的图片切块，采用并行方式调用有效区域检测卷积函数，能够快速对感兴趣区域进行求和，提高感兴趣区域的筛选速度，极大地提高了图像处理的速度和效率。
附图说明
图1为一个实施例中医学图像处理方法的应用环境图；
图2为一个实施例中医学图像处理方法的流程示意图；
图3为一个实施例中构建病理切片图像的真实背景步骤的流程示意图；
图4为另一个实施例中医学图像处理方法的流程示意图；
图5为一个实施例中医学图像处理装置的结构框图；
图6为另一个实施例中医学图像处理装置的结构框图；
图7为一个实施例中医学图像处理设备的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的医学图像处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。在实际应用中，可以是医护人员上传病理切片图像于终端102，通过于终端102的图形界面操作发送图像处理请求至服务器104，服务器104响应图片处理请求，获取病理切片图像以及病理切片图像对应的图像尺寸信息和图像标记信息，采用真实背景生成卷积法，构建病理切片图像的真实背景，真实背景携带感兴趣区域，将真实背景切割成预设大小的图片切块，采用并行方式调用有效区域检测卷积函数，筛选出感兴趣区域满足预设比例的图片切块，得到目标图片切块。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在其中一个实施例中，如图2所示，提供了一种医学图像处理方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
步骤S200，获取病理切片图像以及所述病理切片图像对应的图像尺寸信息和图像标记信息。
病理切片图像是指全视野的数字病理切片(Whole Slide Image，简称WSI)，该病理切片图像是利用数字显微镜或放大系统在低倍物镜下对玻璃切片进行逐幅扫描采集成像，显微扫描平台自动按照切片XY轴方向扫描移动，并在Z轴方向自动聚焦。然后，由扫描控制软件在光学放大装置有效放大的基础上利用程控扫描方式采集高分辨数字图像，图像压缩与存储软件将图像自动进行无缝拼接处理，制作生成的整张全视野的数字化切片。图像尺寸信息即指图像的长度和宽度，长度和宽度均以像素为单位。本实施例中，获取的病理切片图像为成百上千张的包括黑色素瘤、皮内痣、交界痣和复合痣四个类别的电子病理组织切片图像，病理切片图像的长和宽的像素值是数万级别的，其平均尺寸达到15,000*35,000像素大小。其中，每张切片图像都经过数位皮肤病理医生的专业标记，图像标记信息为XML文件，主要包括医生标记的病灶区域信息。
步骤S400，基于图像尺寸信息和图像标记信息，采用并行方式调用真实背景生成卷积函数，构建病理切片图像的真实背景，真实背景携带感兴趣区域。
病理切片图像的真实背景即病理切片的背景图像。在实际应用中，研发人员对真实背景生成卷积函数添加了多GPU支持，以实现多GPU多并行处理。对于病理切片图像WSIs，所感兴趣的病灶区域在WSIs中所占的比例通常不高于30％。为了在后续工作中剔除非病灶区域，可采用并行方式调用真实背景生成卷积函数，也就是预设的XML_to_GT_CONV函数，基于无重叠分割的原则，根据图像尺寸信息，将病理切片图像的真实背景划分为5000*5000像素大小的真实背景块，然后，根据图像标记信息，制作真实背景。进一步的，还可以根据划分出的真实背景块的位置信息将所述真实背景块编号。
步骤S600，将真实背景切割成预设大小的图片切块。
经过上述步骤构造病理切片的真实背景大小为5000*5000像素，尺寸仍较大，不便于后续图像处理。因此，构建真实背景之后，可再次将真实背景切割成预设大小的图片切块。本实施例中，可以是将真实背景切割成500*500像素的图片切块。具体的，切割方式可以包括重叠分割和无重叠分割，重叠分割的优势在于对不同视野下的相同感兴趣区域进行重复预测，提高预测的准确度。无重叠分割的优势在于，在同等大小的图片集中，能取得比重叠切割法更广的视野。具体采用哪种分割方式，可视其实际情况而定，在此不做限定。
步骤S800，采用并行方式调用有效区域检测卷积函数，筛选出感兴趣区域满足预设比例的图片切块，得到目标图片切块。
有效区域检测卷积函数主要用于对图片切块中携带的感兴趣区域(病灶区域)进行检测和整合，统计对应的真实背景的有效面积。在实际应用中，对真实背景有效面积的计算，是通过对整张真实背景求和实现。常规的方法是通过滑动窗口图像处理算法对每一张图片进行处理，但对于尺寸较大病理切片图像而言，滑动窗口图像处理算法效率较低。通过大量的实验和研究，研发人员发现二维卷积的过程于滑动窗口图像处理的操作等效。因此，研发人员通过CUDA等GPU(Graphic Processing Unit，图形处理单元)语言，添加GPU支持需要，设计有效区域检测卷积函数，并预设有效区域检测卷积函数。本实施例中，通过采用并行方式调用有效区域检测卷积函数对图片切块中包含的病灶区域进行求和，并筛选出病灶区域大于或等于20％的图片切块，作为目标图片切块。可以理解的是，在其他实施例中，预设比例还可以是21％，30％以及其他比例，在此不做限定。
上述医学图像处理方法中，获取病理切片图像以及病理切片图像对应的图像尺寸信息和图像标记信息，基于图像尺寸信息和图像标记信息，采用并行方式调用真实背景生成卷积函数，构建携带感兴趣区域的真实背景，通过将常规的真实背景生成函数修改为卷积函数，且采用并行方式处理，加快真实背景生成的速度，再将真实背景切割成预设大小的图片切块，采用并行方式调用有效区域检测卷积函数，能够快速对感兴趣区域进行求和，提高感兴趣区域的筛选速度，极大地提高了图像处理的速度和效率。
在其中一个实施例中，如图3所示，图像标记信息包括病灶区域坐标信息；基于图像尺寸信息和图像标记信息，采用并行方式调用真实背景生成卷积函数，构建病理切片图像的真实背景包括：
步骤S402，读取图像尺寸信息、预设真实背景块的尺寸信息以及病灶区域坐标信息；
步骤S404，根据图像尺寸信息和预设真实背景块的尺寸信息，确定真实背景块的数量和真实背景块的起始坐标；
步骤S406，基于病灶区域坐标信息，得到病灶区域的边界坐标序列；
步骤S408，根据真实背景块的起始坐标，确定病灶边界序列的偏移量、并根据偏移量，确定真实背景块的坐标；
步骤S410，基于真实背景块的坐标和真实背景块的数量，构建病理切片图像的真实背景。
本实施例中，图像标记信息包括病灶区域在病理切片图像WSI中的二维坐标系中的坐标。预设真实背景块的尺寸信息为5000*5000像素。具体的，构造真实背景可以包括：1.首先读取病理切片图像的尺寸信息和真实背景块的尺寸信息，调用XML读取函数读取图像标记信息。2.已知每一块真实背景块无重叠，且大小为5000*5000像素，那么，可根据病理切片图像的尺度信息，可计算出图像可划分的真实背景块的数量和真实背景块起始坐标，且病理切片图像本身携带有图像名称，也能对应确定划分出的真实背景块所属图像名称，且进一步的，还可给划分出的真实背景块按照在病理切片图像中的位置关系进行编号。(例如名称为0_0.png真实背景块在病理切片图像上的起始坐标是(0,0)，代表真实背景块在WSI上的像素范围为(0:4999，0:4999)，名称为2_2.png真实背景块在WSI上的起始坐标为(10000,10000)，代表真实背景块在WSI上像素范围为(10000：14999，10000：14999)。3.基于图像标记信息，得到一个或者多个病灶区域的边界坐标序列。4.开始循环计算每一块真实背景块，根据各真实背景块的起始坐标，计算病灶区域的边界坐标序列的偏移量，并根据病灶区域的边界坐标序列的偏移量，确定真实背景块的坐标。因为病灶区域的边界坐标是基于WSI的坐标采集的，需要将病灶区域的边界坐标转换某块真实背景块的坐标。5.基于真实背景块的坐标和真实背景块的数量，将病理切片图像划分为对应的真实背景块，构建真实背景。本实施例中，通过上述步骤，能够快速构建病理切片图像的真实背景。
在其中一个实施例中，基于真实背景块的坐标和真实背景块的数量，构建病理切片图像的真实背景包括：
步骤S412，根据真实背景块的坐标和真实背景块的数量，将病理切片图像划分为相同尺寸的真实背景块；
步骤S414，基于病灶区域坐标信息，采用PNPoly算法，判断、并标记真实背景块的感兴趣区域；
步骤S416，筛选出包含感兴趣区域的真实背景块、并根据真实背景块携带的位置信息为筛选出的真实背景块编号，构建病理切片图像的真实背景。
PNPoly算法是用于判断某个点是否在多边形内的算法，本实施例中，其主要算法原理是：通过射线法，判断目标坐标点是否在这个四边形之内。本实施例中，在得到真实背景块的坐标和真实背景块的数量之后，可将病理切片图像划分为相同尺寸5000*5000像素的真实背景块，再使用PNPoly算法对真实背景中所有的点进行判断，在当前点引出一条射线，如果该射线与奇数条边相交，则点在多边形内，反之在多边形外。根据上述方法，判断图像标记信息中的病灶区域坐标信息所围成的多边形的点属于病灶区域，反之，则属于正常区域(非病灶区域)。具体的，可将病灶区域标记为白色，将正常区域标记为黑色，然后，可采用DEL_EMPTY函数将只含非病灶区域的纯黑色真实背景块去除，保留包含病灶区域的真实背景块，根据真实背景块携带的位置信息为筛选出的真实背景块编号，构建病理切片图像的真实背景。本实施例中，通过PNPoly算法能够简单高效地判断并标记出病灶区域，并去除只包含非病灶区域的纯黑色真实背景块，能够有效减少计算量，加速后续图像处理速度。
在其中一个实施例中，如图4所示，将真实背景切割成预设大小的图片切块包括：步骤S620，基于无重叠分割原则，采用循环滑动窗口图像处理算法，将真实背景切割成预设大小的图片切块。
无重叠分割是指将图像分成若干互不重叠的子区域。滑动窗口图像处理算法的算法原理概括来讲为：在规模为W×H的图像中，按一定规律移动w×h的窗口(W>w,H>h)，对窗口内像素点的像素值进行一系列运算，运算结束后窗口向右或向下移动一步，直到完成对整幅图像的处理，得到尺寸大小均为w×h的子切片图像。本实施例中，可以是将滑动窗口的大小设定为500*500像素大小，使用滑动窗口对5000*5000像素大小的真实背景进行遍历，将其切分为大小均为500*500像素大小的图片切块。本实施例中，采用无重叠分割原则的优势在于，在同等大小的图片集中，能取得比重叠切割法更广的视野，且采用滑动窗口图像处理算法，也能够快速完成真实背景的切分。
在其中一个实施例中，如图4所示，采用并行方式调用有效区域检测卷积函数，筛选出感兴趣区域满足预设比例的图片切块，得到目标图片切块包括：步骤820，获取预设卷积核，将预设卷积核分解为水平核和竖直核；基于水平核和竖直核，采用并行方式调用有效区域检测卷积函数，对各图片切块中的感兴趣区域进行求和；筛选出感兴趣区域满足预设比例的图片切块，得到目标图片切块。
在实际应用中，经过理论推导和实验证明，将原始设计中的二维卷积核分解为水平核和竖直核，最终可使用两次卷积过程百年便能替代循环的滑动窗口图像处理算法中计算有效面积的过程。因此，本实施例在具体实施时，采用并行方式调用有效区域检测卷积函数，筛选出感兴趣区域满足预设比例的图片切块可以是获取预设的二维卷积核，二维卷积核为是500*500大小的全1卷积核，将其分解为500*1的水平核与1*500竖直核，然后，使用两次卷积过程，完成对图片切块中的病灶区域进行求和计算，如此，在原本用循环滑动窗口图像处理方法计算病灶区域面积的耗时上，减少了50％的有效面积的计算耗时，大大节省了计算耗时，同是也节约了系统资源。
进一步的，研发人员通过实验发现，在使用常规的串行医学图像处理方法时，使用Intel Xeon E5-2680处理器，图片处理速度为：平均42分钟处理一张15,000*35,000个像素点的WSI。而在使用本申请提供的能够支持多GPU并行的医学图像处理方法运算时，使用4块英伟达K80 GPU进行图片处理，每分钟能处理47张5,000*5,000个像素点的真实背景块，或者生成1,649个切片。平均144秒处理一张15,000*35,000个像素点的WSI。与串行算法相比，基于多GPU并行处理的医学图像处理算法取得了17.5倍的加速比。
在其中一个实施例中，如图4所示，采用并行方式调用有效区域检测卷积函数，筛选出感兴趣区域满足预设比例的图片切块，得到目标图片切块之后，还包括：步骤S900，获取各目标图片切块携带的文件名标识信息；基于文件名标识信息，采用文件组织方式对各目标图片切块进行命名与分类，构造图片切块集。
在实际应用中，筛选出的目标图片切块可制作成图片集，作为神经网络模型的输入。因此，本实施例中，可通过文件组织的方式构造图片切块集。具体的，可以是获取各目标图片切块携带的文件名标识信息，文件名标识信息包括但不限于图片切块对应的目标目录、WSI类别、WSI名称、组织编号以及图片切块名称，将获取到的上述文件名标识信息，按照格式<目标目录>/WSI类别/WSI名称/组织编号/图片切块名称.png对图片切块进行命名，如对命名为cur_wsi的WSI图片进行切割，此WSI属于黑色素瘤，其中有编号为1的组织块，根据位置切割出位于<1,1>位置的图片切块，则命名为：<目标目录>/黑色素瘤/cur_wsi/1/1_1.png。然后，将命名好的图片切块按照WSI类别存放至对应的文件夹中，得到以文件为单位的按疾病类别分类的图片切块集。本实施例中，通过以文件组织的方式构造图片切块集，能够有效地实现对图片切块的管理。
在其中一个实施例中，如图4所示，对各目标图片切块进行命名与分类，构造图片切块集之后，还包括：步骤S950，获取存储各类图片切块的文件夹，得到文件夹序列，按照预设数据集比例、预设数据量以及类别参数，对文件夹序列进行乱序处理，按照乱序后的文件夹序列的顺序，将存储各类图片切块的文件夹分配至至少两个数据集中。
具体实施时，图片切块集可作为神经网络的输入数据进行进一步处理，为了确保图片切块集中的图片切块能包含尽可能全面的特征，减少过拟合的可能性。可以是通过广度优先搜索获取并存储所有包含图片切块的文件夹(直接存放图片的文件夹)及所包含的图片切片的数量。然后，按照预设的数据集比例、数据量、疾病类别等参数，使用Knuth-Durstenfeld Shuffle算法分别对每一类疾病对应的文件夹序列乱序，再将按照乱序后的顺序，将各类存储图片切块的文件夹分配给三个数据集。此外，并按照文件夹内的图片数量使用Knuth-Durstenfeld Shuffle算法从中抽取一定比例的图片制作数据集，值得注意的是，一个文件夹中的图片切块只会分配给测试集、训练集和验证集中的某一个图片集，可确保图片切块集与图片切块集同分布，降低神经网络过拟合的可能性。进一步的，在图片集构造完毕后，根据训练集、测试集、验证集的图片数量，对训练集、测试集、验证集图片进行随机删除或增广。可以理解的是，本实施例中所列举出的算法只是众多方式中的一种示例，在其他实施例中，还可以使用其他算法。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在其中一个实施例中，如图5所示，提供了一种医学图像处理装置，包括：图像获取模块510、真实背景构建模块520、真实背景切割模块530和并行筛选模块540，其中：
图像获取模块510，用于获取病理切片图像以及所述病理切片图像对应的图像尺寸信息和图像标记信息。
真实背景构建模块520，用于基于图像尺寸信息和图像标记信息，采用并行方式调用真实背景生成卷积函数，构建病理切片图像的真实背景，真实背景携带感兴趣区域。
真实背景切割模块530，用于将真实背景切割成预设大小的图片切块。
并行筛选模块540，用于采用并行方式调用有效区域检测卷积函数，筛选出感兴趣区域满足预设比例的图片切块，得到目标图片切块。
在其中一个实施例中，图像标记信息包括病灶区域坐标信息；真实背景构建模块520还用于读取图像尺寸信息、预设真实背景块的尺寸信息以及病灶区域坐标信息，根据图像尺寸信息和预设真实背景块的尺寸信息，确定真实背景块的数量和真实背景块的起始坐标，基于病灶区域坐标信息，得到病灶区域的边界坐标序列，根据真实背景块的起始坐标，确定病灶边界序列的偏移量、并根据偏移量，确定真实背景块的坐标，基于真实背景块的坐标和真实背景块的数量，构建病理切片图像的真实背景。
在其中一个实施例中，真实背景构建模块520还用于根据真实背景块的坐标和真实背景块的数量，将病理切片图像划分为相同尺寸的真实背景块，基于病灶区域坐标信息，采用PNPoly算法，判断、并标记真实背景块的感兴趣区域，筛选出包含感兴趣区域的真实背景块、并根据真实背景块携带的位置信息为筛选出的真实背景块编号，构建病理切片图像的真实背景。
在其中一个实施例中，并行筛选模块540还用于获取有效区域检测卷积函数，提取有效区域检测卷积函数中卷积核、并将所述卷积核分解为水平核和竖直核，基于水平核和竖直核，采用并行方式对各图片切块中的感兴趣区域进行求和，筛选出感兴趣区域满足预设比例的图片切块，得到目标图片切块。
在其中一个实施例中，如图6所示，医学图像处理装置还包括图片切块集构造模块550，用于获取各目标图片切块携带的文件名标识信息，基于文件名标识信息，采用文件组织方式对各目标图片切块进行命名与分类，构造图片切块集。
在其中一个实施例中，如图6所示，医学图像处理装置还包括图片切块集分配模块560，用于获取存储各类图片切块的文件夹，得到文件夹序列，按照预设数据集比例、预设数据量以及类别参数，对文件夹序列进行乱序处理，按照乱序后的文件夹序列的顺序，将存储各类图片切块的文件夹分配至至少两个数据集中。
在其中一个实施例中，真实背景切割模块530还用于基于无重叠分割原则，采用循环滑动窗口图像处理算法，将真实背景切割成预设大小的图片切块。
关于医学图像处理装置的具体限定可以参见上文中对于医学图像处理方法的限定，在此不再赘述。上述医学图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在其中一个实施例中，如图7所示，提供了一种医学图像处理设备，包括数据采集组件610、数据处理组件620以及数据输出组件630；
数据采集组件610采集病理切片图像，并将病理切片图像发送至数据处理组件620，数据处理组件620采用上述医学图像处理方法对病理切片图像进行处理，得到目标图片切块，推送目标图片切块至数据输出组件630进行输出。
在其中一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储病理切片图像、真实背景生成卷积算法以及并行卷积算法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种医学图像处理方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在其中一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述医学图像处理方法中的步骤。
在其中一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述医学图像处理方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种医学图像处理方法，所述方法包括：
获取病理切片图像以及所述病理切片图像对应的图像尺寸信息和图像标记信息，所述图像标记信息包括病灶区域坐标信息；
基于所述图像尺寸信息和所述图像标记信息，采用多GPU并行方式调用真实背景生成卷积函数，构建所述病理切片图像的真实背景，所述真实背景携带感兴趣区域；
将所述真实背景切割成预设大小的图片切块；
采用并行方式调用有效区域检测卷积函数，筛选出感兴趣区域满足预设比例的图片切块，得到目标图片切块；
基于所述图像尺寸信息和所述图像标记信息，采用多GPU并行方式调用真实背景生成卷积函数，构建所述病理切片图像的真实背景包括：读取所述图像尺寸信息、预设真实背景块的尺寸信息以及所述病灶区域坐标信息，根据所述图像尺寸信息和预设真实背景块的尺寸信息，确定真实背景块的数量和真实背景块的起始坐标，基于所述病灶区域坐标信息，得到病灶区域的边界坐标序列，根据所述真实背景块的起始坐标，确定所述病灶区域的边界坐标序列的偏移量，并根据所述偏移量，确定真实背景块的坐标，根据所述真实背景块的坐标和所述真实背景块的数量，将所述病理切片图像划分为相同尺寸的真实背景块，基于所述病灶区域坐标信息，采用PNPoly算法，判断并标记所述真实背景块的感兴趣区域，筛选出包含感兴趣区域的真实背景块，并根据真实背景块携带的位置信息为筛选出的真实背景块编号，构建所述病理切片图像的真实背景。
2.根据权利要求1所述的医学图像处理方法，其特征在于，所述采用并行方式调用有效区域检测卷积函数，筛选出感兴趣区域满足预设比例的图片切块包括：
获取有效区域检测卷积函数；
提取所述有效区域检测卷积函数中卷积核，并将所述卷积核分解为水平核和竖直核；
基于所述水平核和所述竖直核，采用并行方式对各图片切块中的感兴趣区域进行求和；
筛选出感兴趣区域满足预设比例的图片切块。
3.根据权利要求1所述的医学图像处理方法，其特征在于，所述采用并行方式调用有效区域检测卷积函数，筛选出感兴趣区域满足预设比例的图片切块，得到目标图片切块之后，还包括：
获取各目标图片切块携带的文件名标识信息；
基于所述文件名标识信息，采用文件组织方式对各目标图片切块进行命名与分类，构造图片切块集。
4.根据权利要求3所述的医学图像处理方法，其特征在于，所述采用文件组织方式对各目标图片切块进行命名与分类，构造图片切块集之后，还包括：
获取存储各类图片切块的文件夹，得到文件夹序列；
按照预设数据集比例、预设数据量以及类别参数，对所述文件夹序列进行乱序处理；
按照乱序后的文件夹序列的顺序，将所述存储各类图片切块的文件夹分配至至少两个数据集中。
5.根据权利要求1所述的医学图像处理方法，其特征在于，所述将所述真实背景切割成预设大小的图片切块包括：
基于无重叠分割原则，采用循环滑动窗口图像处理算法，将所述真实背景切割成预设大小的图片切块。
6.一种医学图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取病理切片图像以及所述病理切片图像对应的图像尺寸信息和图像标记信息，所述图像标记信息包括病灶区域坐标信息；
真实背景构建模块，用于基于所述图像尺寸信息和所述图像标记信息，采用多GPU并行方式调用真实背景生成卷积函数，构建所述病理切片图像的真实背景，所述真实背景携带感兴趣区域，其中，基于所述图像尺寸信息和所述图像标记信息，采用多GPU并行方式调用真实背景生成卷积函数，构建所述病理切片图像的真实背景包括：读取所述图像尺寸信息、预设真实背景块的尺寸信息以及所述病灶区域坐标信息，根据所述图像尺寸信息和预设真实背景块的尺寸信息，确定真实背景块的数量和真实背景块的起始坐标，基于所述病灶区域坐标信息，得到病灶区域的边界坐标序列，根据所述真实背景块的起始坐标，确定所述病灶区域的边界坐标序列的偏移量，并根据所述偏移量，确定真实背景块的坐标，根据所述真实背景块的坐标和所述真实背景块的数量，将所述病理切片图像划分为相同尺寸的真实背景块，基于所述病灶区域坐标信息，采用PNPoly算法，判断并标记所述真实背景块的感兴趣区域，筛选出包含感兴趣区域的真实背景块，并根据真实背景块携带的位置信息为筛选出的真实背景块编号，构建所述病理切片图像的真实背景；
真实背景切割模块，用于将所述真实背景切割成预设大小的图片切块；
并行筛选模块，用于采用并行方式调用有效区域检测卷积函数，筛选出感兴趣区域满足预设比例的图片切块，得到目标图片切块。
7.根据权利要求6所述的装置，其特征在于，所述并行筛选模块，还用于获取有效区域检测卷积函数，提取所述有效区域检测卷积函数中卷积核，并将所述卷积核分解为水平核和竖直核，基于所述水平核和所述竖直核，采用并行方式对各图片切块中的感兴趣区域进行求和，筛选出感兴趣区域满足预设比例的图片切块。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括图片切块集构造模块，用于获取各目标图片切块携带的文件名标识信息，基于所述文件名标识信息，采用文件组织方式对各目标图片切块进行命名与分类，构造图片切块集。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202010113658.9A 2020-02-24 2020-02-24 医学图像处理方法、装置、计算机设备和存储介质 Active CN111353407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010113658.9A CN111353407B (zh) 2020-02-24 2020-02-24 医学图像处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010113658.9A CN111353407B (zh) 2020-02-24 2020-02-24 医学图像处理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111353407A CN111353407A (zh) 2020-06-30
CN111353407B true CN111353407B (zh) 2023-10-31

Family

ID=71194053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010113658.9A Active CN111353407B (zh) 2020-02-24 2020-02-24 医学图像处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111353407B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215219B (zh) * 2020-09-14 2023-11-24 阿波罗智联(北京)科技有限公司 用于路侧拍摄设备的感兴趣区域获取方法、装置及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103269436A (zh) * 2013-05-20 2013-08-28 山东大学 一种2d-3d视频转换中的关键帧选择方法
JP2016220963A (ja) * 2015-05-29 2016-12-28 東芝メディカルシステムズ株式会社 医用画像処理装置及び磁気共鳴イメージング装置
KR101760287B1 (ko) * 2016-02-05 2017-07-25 한국광기술원 의료영상 분할 장치 및 방법
CN109064475A (zh) * 2018-09-11 2018-12-21 深圳辉煌耀强科技有限公司 针对宫颈脱落细胞图像的图像分割方法和装置
CN109493328A (zh) * 2018-08-31 2019-03-19 上海联影智能医疗科技有限公司 医学图像显示方法、查看设备以及计算机设备
CN110415792A (zh) * 2019-05-31 2019-11-05 上海联影智能医疗科技有限公司 图像检测方法、装置、计算机设备和存储介质
CN110648295A (zh) * 2019-09-23 2020-01-03 中南大学湘雅医院 基于影像分析的骨科术前检查与用户终端交互系统及方法
CN110689550A (zh) * 2019-10-12 2020-01-14 嘉应学院 一种腰椎矢状面ct图像高效自动化筛选系统及方法
KR20200014604A (ko) * 2018-08-01 2020-02-11 삼성에스디에스 주식회사 관심 영역 검출 방법 및 그 장치
CN110796230A (zh) * 2018-08-02 2020-02-14 株式会社理光 卷积神经网络的训练及使用方法、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058210B2 (en) * 2001-11-20 2006-06-06 General Electric Company Method and system for lung disease detection
TWI389559B (zh) * 2009-08-14 2013-03-11 Ind Tech Res Inst 前景影像分離方法
JP5665401B2 (ja) * 2010-07-21 2015-02-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103269436A (zh) * 2013-05-20 2013-08-28 山东大学 一种2d-3d视频转换中的关键帧选择方法
JP2016220963A (ja) * 2015-05-29 2016-12-28 東芝メディカルシステムズ株式会社 医用画像処理装置及び磁気共鳴イメージング装置
KR101760287B1 (ko) * 2016-02-05 2017-07-25 한국광기술원 의료영상 분할 장치 및 방법
KR20200014604A (ko) * 2018-08-01 2020-02-11 삼성에스디에스 주식회사 관심 영역 검출 방법 및 그 장치
CN110796230A (zh) * 2018-08-02 2020-02-14 株式会社理光 卷积神经网络的训练及使用方法、设备及存储介质
CN109493328A (zh) * 2018-08-31 2019-03-19 上海联影智能医疗科技有限公司 医学图像显示方法、查看设备以及计算机设备
CN109064475A (zh) * 2018-09-11 2018-12-21 深圳辉煌耀强科技有限公司 针对宫颈脱落细胞图像的图像分割方法和装置
CN110415792A (zh) * 2019-05-31 2019-11-05 上海联影智能医疗科技有限公司 图像检测方法、装置、计算机设备和存储介质
CN110648295A (zh) * 2019-09-23 2020-01-03 中南大学湘雅医院 基于影像分析的骨科术前检查与用户终端交互系统及方法
CN110689550A (zh) * 2019-10-12 2020-01-14 嘉应学院 一种腰椎矢状面ct图像高效自动化筛选系统及方法

Also Published As

Publication number Publication date
CN111353407A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
US10810735B2 (en) Method and apparatus for analyzing medical image
JP7134303B2 (ja) 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測
US20220076411A1 (en) Neural netork based identification of areas of interest in digital pathology images
CN109697460B (zh) 对象检测模型训练方法、目标对象检测方法
US11636696B2 (en) Identifying regions of interest from whole slide images
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN110427970A (zh) 图像分类方法、装置、计算机设备和存储介质
CN111291813B (zh) 图像标注方法、装置、计算机设备和存储介质
JP2021532459A (ja) 標的細胞標識方法、装置、記憶媒体及び端末デバイス
CN111899246A (zh) 玻片数字化信息质量检测方法、装置、设备及介质
WO2023279847A1 (zh) 单元格位置的检测方法、装置和电子设备
CN112464802B (zh) 一种玻片样本信息的自动识别方法、装置和计算机设备
CN112927239A (zh) 图像处理方法、装置、电子设备及存储介质
JP2022028422A (ja) 画像処理方法及び画像処理装置
CN111353407B (zh) 医学图像处理方法、装置、计算机设备和存储介质
CN111681738A (zh) 基于病理切片扫描和分析一体化方法、装置、设备及介质
CN111899265A (zh) 图像分析方法、装置、计算机设备和存储介质
CN115410693B (zh) 一种数字病理切片的存储系统、浏览系统及方法
CN109859218B (zh) 病理图关键区域确定方法、装置、电子设备及存储介质
CN112102235B (zh) 人体部位识别方法、计算机设备和存储介质
CN113160199B (zh) 影像识别方法、装置、计算机设备和存储介质
CN114972026A (zh) 图像处理方法和存储介质
CN114723723A (zh) 医学影像处理方法、计算机设备和存储介质
US11875893B2 (en) Method and apparatus for outputting information related to a pathological slide image
CN111862003B (zh) 医疗影像目标信息获取方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant