CN112215217A - 模拟医师阅片的数字图像识别方法及装置 - Google Patents

模拟医师阅片的数字图像识别方法及装置 Download PDF

Info

Publication number
CN112215217A
CN112215217A CN202011391995.0A CN202011391995A CN112215217A CN 112215217 A CN112215217 A CN 112215217A CN 202011391995 A CN202011391995 A CN 202011391995A CN 112215217 A CN112215217 A CN 112215217A
Authority
CN
China
Prior art keywords
image
digital image
historical
detected
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011391995.0A
Other languages
English (en)
Other versions
CN112215217B (zh
Inventor
牛智勇
黄特辉
刘瑾
路石洁
杨立伟
彭攀勇
李彦东
万科锐
吕晓莹
王智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yinji Information Technology Beijing Co ltd
Original Assignee
Yinji Information Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yinji Information Technology Beijing Co ltd filed Critical Yinji Information Technology Beijing Co ltd
Priority to CN202011391995.0A priority Critical patent/CN112215217B/zh
Publication of CN112215217A publication Critical patent/CN112215217A/zh
Application granted granted Critical
Publication of CN112215217B publication Critical patent/CN112215217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种模拟医师阅片的数字图像识别方法及装置，其中方法包括：获得待测数字图像；根据预先设定的缩放比例对待测数字图像进行缩放处理，得到对应的压缩图像；将压缩图像输入训练好的第一深度神经网络模型，识别压缩图像的生发中心区域，第一深度神经网络模型根据第一图像集进行训练；根据压缩图像的生发中心区域，确定对应的待测数字图像的生发中心区域；将待测数字图像输入训练好的第二深度神经网络模型，若存在癌症区域则识别出癌症区域位置，第二深度神经网络模型根据第二图像集进行训练；根据待测数字图像的生发中心区域和癌症区域位置，确定模拟医师阅片的数字图像识别结果。本发明可以提高数字图像识别的效率和准确率。

Description

模拟医师阅片的数字图像识别方法及装置
技术领域
本发明涉及图像识别技术领域，尤其涉及模拟医师阅片的数字图像识别方法及装置。
背景技术
数字图像识别是指识别出数字图像中所包含的目标对象。
目前医疗领域在对数字图像进行识别时，主要由经验丰富的组织病理医生对微观视野下的数字图像进行识别及评估。但这种数字图像识别方式耗时耗力，识别效率极低，并且也可能会因疲劳误判或者不统一的评判标准而影响数字图像识别的准确率。
因此，亟需一种可以克服上述问题的数字图像识别方案。
发明内容
本发明实施例提供一种模拟医师阅片的数字图像识别方法，用以提高数字图像识别的效率和准确率，该方法包括：
获得待测数字图像；
根据预先设定的缩放比例对所述待测数字图像进行缩放处理，得到对应的压缩图像；
将所述压缩图像输入训练好的第一深度神经网络模型，识别压缩图像的生发中心区域，所述第一深度神经网络模型根据第一图像集进行训练，其中，按如下方式获得第一图像集：
获得历史压缩图像，所述历史压缩图像上标记出生发中心区域，所述历史压缩图像是根据所述缩放比例对历史数字图像进行缩放处理得到的；
提取所述历史压缩图像上标记出的生发中心区域，得到ROI模板；
根据所述ROI模板，对所述历史压缩图像进行数据增广处理；
根据数据增广处理后得到的压缩图像，生成第一图像集；
根据所述压缩图像的生发中心区域，确定对应的待测数字图像的生发中心区域；
将所述待测数字图像输入训练好的第二深度神经网络模型，确定待测数字图像是否存在癌症区域，若存在癌症区域，则识别出癌症区域位置，所述第二深度神经网络模型根据第二图像集进行训练，所述第二图像集是根据历史数字图像获得的，所述历史数字图像上标记出癌症区域；
根据所述待测数字图像的生发中心区域和癌症区域位置，确定模拟医师阅片的数字图像识别结果。
本发明实施例提供一种模拟医师阅片的数字图像识别装置，用以提高数字图像识别的效率和准确率，该装置包括：
图像获得模块，用于获得待测数字图像；
缩放处理模块，用于根据预先设定的缩放比例对所述待测数字图像进行缩放处理，得到对应的压缩图像；
第一识别模块，用于将所述压缩图像输入训练好的第一深度神经网络模型，识别压缩图像的生发中心区域，所述第一深度神经网络模型根据第一图像集进行训练，其中，按如下方式获得第一图像集：
获得历史压缩图像，所述历史压缩图像上标记出生发中心区域，所述历史压缩图像是根据所述缩放比例对历史数字图像进行缩放处理得到的；
提取所述历史压缩图像上标记出的生发中心区域，得到ROI模板；
根据所述ROI模板，对所述历史压缩图像进行数据增广处理；
根据数据增广处理后得到的压缩图像，生成第一图像集；
生发中心确定模块，用于根据所述压缩图像的生发中心区域，确定对应的待测数字图像的生发中心区域；
第二识别模块，用于将所述待测数字图像输入训练好的第二深度神经网络模型，确定待测数字图像是否存在癌症区域，若存在癌症区域，则识别出癌症区域位置，所述第二深度神经网络模型根据第二图像集进行训练，所述第二图像集是根据历史数字图像获得的，所述历史数字图像上标记出癌症区域；
识别结果确定模块，用于根据所述待测数字图像的生发中心区域和癌症区域位置，确定模拟医师阅片的数字图像识别结果。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述模拟医师阅片的数字图像识别方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述模拟医师阅片的数字图像识别方法的计算机程序。
本发明实施例通过获得待测数字图像；根据预先设定的缩放比例对所述待测数字图像进行缩放处理，得到对应的压缩图像；将所述压缩图像输入训练好的第一深度神经网络模型，识别压缩图像的生发中心区域，所述第一深度神经网络模型根据第一图像集进行训练，其中，按如下方式获得第一图像集：获得历史压缩图像，所述历史压缩图像上标记出生发中心区域，所述历史压缩图像是根据所述缩放比例对历史数字图像进行缩放处理得到的；提取所述历史压缩图像上标记出的生发中心区域，得到ROI模板；根据所述ROI模板，对所述历史压缩图像进行数据增广处理；根据数据增广处理后得到的压缩图像，生成第一图像集；根据所述压缩图像的生发中心区域，确定对应的待测数字图像的生发中心区域；将所述待测数字图像输入训练好的第二深度神经网络模型，确定待测数字图像是否存在癌症区域，若存在癌症区域，则识别出癌症区域位置，所述第二深度神经网络模型根据第二图像集进行训练，所述第二图像集是根据历史数字图像获得的，所述历史数字图像上标记出癌症区域；根据所述待测数字图像的生发中心区域和癌症区域位置，确定模拟医师阅片的数字图像识别结果。本发明实施例中，训练好的深度神经网络模型具有数字图像自动识别功能，可识别出数字图像上可能有癌症的区域，整个过程省时、省力，提高了数字图像识别的效率。在进行数字图像识别过程中，首先利用训练好的深度神经网络模型识别出与癌症区域相似的生发中心区域，进而再进行癌症区域的识别，从而有效避免因将生发中心误判为癌症区域造成识别率低的问题。在进行生发中心区域识别时，首先对待测数字图像进行缩放处理，得到低倍视距的压缩图像后再输入训练好的深度神经网络模型，将图像调整为低倍视距可以扩大生发中心区域与癌症区域的区别，提高生发中心区域的分辨率，从而保证生发中心区域可以准确识别出来。在利用第一图像集对深度神经网络模型进行时，考虑到生发中心区域出现比例较少存在训练不均衡的问题，因此本发明实施例提取历史压缩图像标记出的生发中心区域，得到ROI模板，对历史压缩图像进行数据增广处理，然后根据数据增广处理后得到的压缩图像，生成第一图像集。通过利用感兴趣区域模板进行数据增广处理可以有效增加生发中心区域的比例，克服了样本比例失衡导致的训练不均衡的问题。进而，根据识别出的待测数字图像的生发中心区域和癌症区域，可以综合确定最终的数字图像识别结果，有效提高了数字图像识别的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中模拟医师阅片的数字图像识别方法示意图；
图2为本发明实施例中平衡特征金字塔的网络架构示意图；
图3为本发明实施例中第二深度神经网络模型输出示意图；
图4~图5为本发明具体实施例中模拟医师阅片的数字图像识别结果图；
图6为本发明实施例中模拟医师阅片的数字图像识别装置结构图；
图7为本发明实施例中另一模拟医师阅片的数字图像识别装置结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
如前所述，目前医疗领域在对数字图像进行识别时，主要由经验丰富的组织病理医生对微观视野下的数字图像进行识别及评估。但这种数字图像识别方式耗时耗力，识别效率极低，并且也可能会因疲劳误判或者不统一的评判标准而影响数字图像识别的准确率。
为了提高数字图像识别的效率和准确率，本发明实施例提供一种模拟医师阅片的数字图像识别方法，如图1所示，该方法可以包括：
步骤101、获得待测数字图像；
步骤102、根据预先设定的缩放比例对所述待测数字图像进行缩放处理，得到对应的压缩图像；
步骤103、将所述压缩图像输入训练好的第一深度神经网络模型，识别压缩图像的生发中心区域，所述第一深度神经网络模型根据第一图像集进行训练，其中，按如下方式获得第一图像集：
获得历史压缩图像，所述历史压缩图像上标记出生发中心区域，所述历史压缩图像是根据所述缩放比例对历史数字图像进行缩放处理得到的；
提取所述历史压缩图像上标记出的生发中心区域，得到ROI模板；
根据所述ROI模板，对所述历史压缩图像进行数据增广处理；
根据数据增广处理后得到的压缩图像，生成第一图像集；
步骤104、根据所述压缩图像的生发中心区域，确定对应的待测数字图像的生发中心区域；
步骤105、将所述待测数字图像输入训练好的第二深度神经网络模型，确定待测数字图像是否存在癌症区域，若存在癌症区域，则识别出癌症区域位置，所述第二深度神经网络模型根据第二图像集进行训练，所述第二图像集是根据历史数字图像获得的，所述历史数字图像上标记出癌症区域；
步骤106、根据所述待测数字图像的生发中心区域和癌症区域位置，确定模拟医师阅片的数字图像识别结果。
由图1所示可以得知，本发明实施例通过获得待测数字图像；根据预先设定的缩放比例对所述待测数字图像进行缩放处理，得到对应的压缩图像；将所述压缩图像输入训练好的第一深度神经网络模型，识别压缩图像的生发中心区域，所述第一深度神经网络模型根据第一图像集进行训练，其中，按如下方式获得第一图像集：获得历史压缩图像，所述历史压缩图像上标记出生发中心区域，所述历史压缩图像是根据所述缩放比例对历史数字图像进行缩放处理得到的；提取所述历史压缩图像上标记出的生发中心区域，得到ROI模板；根据所述ROI模板，对所述历史压缩图像进行数据增广处理；根据数据增广处理后得到的压缩图像，生成第一图像集；根据所述压缩图像的生发中心区域，确定对应的待测数字图像的生发中心区域；将所述待测数字图像输入训练好的第二深度神经网络模型，确定待测数字图像是否存在癌症区域，若存在癌症区域，则识别出癌症区域位置，所述第二深度神经网络模型根据第二图像集进行训练，所述第二图像集是根据历史数字图像获得的，所述历史数字图像上标记出癌症区域；根据所述待测数字图像的生发中心区域和癌症区域位置，确定模拟医师阅片的数字图像识别结果。本发明实施例中，训练好的深度神经网络模型具有数字图像自动识别功能，可识别出数字图像上可能有癌症的区域，整个过程省时、省力，提高了数字图像识别的效率。在进行数字图像识别过程中，首先利用训练好的深度神经网络模型识别出与癌症区域相似的生发中心区域，进而再进行癌症区域的识别，从而有效避免因将生发中心误判为癌症区域造成识别率低的问题。在进行生发中心区域识别时，首先对待测数字图像进行缩放处理，得到低倍视距的压缩图像后再输入训练好的深度神经网络模型，将图像调整为低倍视距可以扩大生发中心区域与癌症区域的区别，提高生发中心区域的分辨率，从而保证生发中心区域可以准确识别出来。在利用第一图像集对深度神经网络模型进行时，考虑到生发中心区域出现比例较少存在训练不均衡的问题，因此本发明实施例提取历史压缩图像标记出的生发中心区域，得到ROI模板，对历史压缩图像进行数据增广处理，然后根据数据增广处理后得到的压缩图像，生成第一图像集。通过利用感兴趣区域模板进行数据增广处理可以有效增加生发中心区域的比例，克服了样本比例失衡导致的训练不均衡的问题。进而，根据识别出的待测数字图像的生发中心区域和癌症区域，可以综合确定最终的数字图像识别结果，有效提高了数字图像识别的准确率。
在数字图像中存在一种和癌区很相似的正常区域，叫做生发中心，面积有大有小，这类区域尤其是分化比较好的生发中心区域，如果从高倍视距（如40倍视距）上去识别很困难，但是在低倍视距上识别就很容易，分辨率较高。因此，本发明实施例首先利用训练好的深度神经网络模型识别出与癌症区域相似的生发中心区域，进而再进行癌症区域的识别，从而有效避免因将生发中心误判为癌症区域造成识别率低的问题。在进行生发中心区域识别时，首先对待测数字图像进行缩放处理，得到低倍视距的压缩图像后再输入训练好的深度神经网络模型，将图像调整为低倍视距可以扩大生发中心区域与癌症区域的区别，提高生发中心区域的分辨率，从而保证生发中心区域可以准确识别出来。
具体实施时，获得待测数字图像，根据预先设定的缩放比例对所述待测数字图像进行缩放处理，得到对应的压缩图像。
实施例中，可以根据待测数字图像的尺寸信息预先设定缩放比例。
本实施例中，获得待测数字图像的尺寸信息，所述尺寸信息包括：宽度信息和高度信息，然后根据宽度信息和高度信息预先设定缩放比例。
本实施例中，可以按如下公式根据宽度信息和高度信息预先设定缩放比例：
Figure 550895DEST_PATH_IMAGE001
其中，ratio为缩放比例，a为常数，可以根据硬件条件进行设定，可以取2600，w'为宽度信息，h'为高度信息。
有的整张数字图像上生发中心区域个数比较少，大部分都是背景区域，样本比例差距比较大，有的生发中心区域类型出现比例较少，得到训练的次数就会少，出现训练不均衡的情况。因此，本发明实施例在利用第一图像集对深度神经网络模型进行时，考虑到生发中心区域出现比例较少存在训练不均衡的问题，提取历史压缩图像标记出的生发中心区域，得到感兴趣区域（Region Of Interest，ROI）模板，对历史压缩图像进行数据增广处理，然后根据数据增广处理后得到的压缩图像，生成第一图像集。通过利用ROI模板进行数据增广处理可以有效增加生发中心区域的比例，克服了样本比例失衡导致的训练不均衡的问题。
具体实施时，将所述压缩图像输入训练好的第一深度神经网络模型，识别压缩图像的生发中心区域，所述第一深度神经网络模型根据第一图像集进行训练，其中，按如下方式获得第一图像集：获得历史压缩图像，所述历史压缩图像上标记出生发中心区域，所述历史压缩图像是根据所述缩放比例对历史数字图像进行缩放处理得到的；提取所述历史压缩图像上标记出的生发中心区域，得到ROI模板；根据所述ROI模板，对所述历史压缩图像进行数据增广处理；根据数据增广处理后得到的压缩图像，生成第一图像集。
实施例中，历史压缩图像上标记出生发中心区域，可以用矩形框进行勾画，得到矩形区域，提取历史压缩图像上标记出的矩形区域作为感兴趣区域，保存为ROI模板，将ROI模板随机地覆盖在历史压缩图上，从而实现历史压缩图像的数据增广处理。在得到数据增广处理后的压缩图像后，可以与处理前的历史压缩图像共同作为第一图像集。
实施例中，第一深度神经网络模型可以为Libra R-CNN深度神经网络模型，可以采用ResNet50作为主干网络，本领域技术人员可以理解，上述选定ResNet50作为主干网络仅为一例，实施时也可以选择其它的主干网络，本发明不再一一列举，相关的变化例均应落入本发明的保护范围。
实施例中，将压缩图像输入训练好的第一深度神经网络模型后，可以识别压缩图像的生发中心区域，例如，可以得到生发中心区域的外接矩形区域坐标信息，表示为[S Xmin，S Ymin，W S ，H S ]其中，S Xmin为外接矩形区域的左上角X坐标，S Ymin为外接矩形区域的左上角Y坐标，W S 为外接矩形区域的宽度信息，H S 为外接矩形区域的高度信息。
具体实施时，根据所述压缩图像的生发中心区域，确定对应的待测数字图像的生发中心区域。
实施例中，在得到生发中心区域的外接矩形区域坐标信息[S Xmin，S Ymin，W S ，H S ]之后，可以根据预先设定的缩放比例，将压缩图像中生发中心区域的坐标转换为待测数字图像上的坐标信息，表示为[SX min，SY min，W，H]，其中，SX min为待测数字图像上外接矩形区域的左上角X坐标，SY min为待测数字图像上外接矩形区域的左上角Y坐标，W为待测数字图像上外接矩形区域的宽度信息，H为待测数字图像上外接矩形区域的高度信息。
具体实施时，将所述待测数字图像输入训练好的第二深度神经网络模型，确定待测数字图像是否存在癌症区域，若存在癌症区域，则识别出癌症区域位置，所述第二深度神经网络模型根据第二图像集进行训练，所述第二图像集是根据历史数字图像获得的，所述历史数字图像上标记出癌症区域。
实施例中，用于训练的数字图像都由医师做好了标注，即历史数字图像上可以标记出癌症区域的轮廓坐标信息。
实施例中，模拟医师阅片的数字图像识别方法还包括：在将待测数字图像输入训练好的第二深度神经网络模型之前，在待测数字图像上以预设视距切割出预设尺寸的图像，得到对应的切割图像；将所述待测数字图像输入训练好的第二深度神经网络模型，确定待测数字图像是否存在癌症区域，包括：将所述切割图像输入训练好的第二深度神经网络模型，确定切割图像是否存在癌症区域；按如下方式获得第二图像集：获得历史数字图像；在所述历史数字图像上以预设视距切割出不同尺寸的图像，得到历史切割图像；将所述不同尺寸的历史切割图像调整为预设尺寸，得到不同视距的历史切割图像；根据所述不同视距的历史切割图像，生成第二图像集。
目前数字图像现有的识别方法大多数为将数字图像切割出固定尺寸的patch，一般为224×224像素然后训练分类模型，基于切割出的patch进行预测，得到最终整个数字图像的识别结果。这种方法存在一些不足：基于切割的固定patch去训练分类网络，由于每个patch中含有癌区和正常区域，癌区的比例不同，有的多有的少，一方面可能含有癌区比例比较少的patch可能会被判为正常的，造成误检的概率大大提升；另一方面，即使判断为癌，也只是该patch为癌，而无法给出详细的癌区位置坐标；传统的算法往往只用某一个视距进行学习预测，而有经验的病理医师阅片时往往是缩小放大，从低倍视距到高倍视距结合多个维度的信息进行观察，得到的预测结果不准确。因此，本发明实施例用于训练第二深度神经网络模型的第二图像集中，包含不同视距的历史切割图像，从而有效提高识别准确率。
本实施例中，预设视距可以为40倍视距，预设尺寸可以为1024×1024像素。可以在待测数字图像上以40倍视距切割出1024×1024像素的图像，得到对应的切割图像，将切割图像输入训练好的第二深度神经网络模型，确定切割图像是否存在癌症区域。
本实施例中，在所述历史数字图像上以预设视距切割出不同尺寸的图像，包括：在所述历史数字图像上以40倍视距分别切割出4096×4096像素，2048×2048像素和1024×1024像素的图像；将所述不同尺寸的历史切割图像调整为预设尺寸，得到不同视距的历史切割图像，包括：将4096×4096像素的图像调整为1024×1024像素，将2048×2048像素的图像调整为1024×1024像素，获得均为1024×1024像素的图像。
本实施例中，可以按如下方式获得第二图像集：获得历史数字图像之后，在历史数字图像上以40倍视距切割出不同尺寸的图像，可以包括：4096×4096像素，2048×2048像素和1024×1024像素，从而得到历史切割图像。然后将4096×4096像素，2048×2048像素和1024×1024像素的历史切割图像进行尺寸调整，均调整为1024×1024像素的图像，也即4096×4096像素的历史切割图像进行尺寸调整后可以得到10倍视距下1024×1024像素的图像，2048×2048像素的历史切割图像进行尺寸调整后可以得到20倍视距下1024×1024像素的图像，进而得到不同视距的历史切割图像，然后根据不同视距的历史切割图像生成第二图像集。
实施例中，第二深度神经网络模型可以为基于ResNeXt网络和平衡特征金字塔的MaskRCNN深度神经网络模型，采用ResNeXt-101(32X4d)作为主干网络，本领域技术人员可以理解，上述选定ResNeXt-101(32X 4d)作为主干网络仅为一例，实施时也可以选择其它的主干网络，例如ResNeXt-101(64X4d)或ResNet-50，本发明不再一一列举，相关的变化例均应落入本发明的保护范围。
本实施例中，采用基于ResNeXt网络和平衡特征金字塔的MaskRCNN深度神经网络模型相比于传统方法，在保证100%敏感性的前提下，假阳性可以减少到5%以内，且有效识别微转移，并且降低了医生的工作负荷，同时可辅助指导缺乏经验的医生进行学习。需要说明的是，本发明实施例可以运用迁移学习，解决绝大多数的病理诊断场景，如基于数字病理对手术清扫的各类癌种淋巴结是否转移的自动诊断或者基于数字病理对人体各部位活检标本和外科手术标本的自动诊断。
本实施例中，为了模拟有经验医师的阅片习惯，需要结合多种视距的信息进行融合，对大区域、小区域的可能癌区都进行预测，因此采用了基于ResNeXt网络和平衡特征金字塔的MaskRCNN模型。其中，ResNeXt网络相比于ResNet网络，参数量大大减少，计算量减少了一半，且在参数和计算量近似的情况下，性能更好。
传统深度神经网络模型默认采用了随机采样，这样可能造成采样的不平衡，影响训练效率，因此本发明实施例用IoU-balanced Sampling替换了随机采样。
实施例中，对输入第二深度神经网络模型的待测数字图像采用IoU-balancedSampling的采样方法，计算输入样本的交并比（Intersection over Union，IoU），将IoU在设定阈值以下的样本均匀分为几个区间。IoU可以取0.5，IoU在0.5以下有很多的负样本，由此可以有效调整采样的比例。将IoU在0.5以下的样本均匀分为5个区间，即0.1，0.2，0.3，0.4，0.5，然后按如下公式进行分层抽样采样：
Figure 422643DEST_PATH_IMAGE002
其中，p为每个区间采样的概率，M为总共采样的负样本数，M'为每个区间采样的数量。
实施例中，将切割图像输入训练好的Mask-RCNN深度神经网络模型进行识别时，采用了平衡特征金字塔，如图2所示，将切割图像通过从下到上进行4次下采样，再从上到下进行3次上采样，上采样的结果与下采样的结果相加后输出C2，C3，C4，C5。图2中的一体化融合（Integrate）操作是将C2，C3，C4，C5进行缩放处理到同一尺寸再相加取平均值。精炼（Refine）操作是对一体化融合（Integrate）操作的结果采用1×1的卷积进行全局语义信息提取，最后将精炼（Refine）操作的结果加到上采样后得到的各个特征图上，输出P2，P3，P4，P5。该网络模拟了医师的阅片方法，结合了多种视距信息。这样就不会轻易地漏掉任何可能的癌区，提高了敏感性。
本实施例中，采用平衡特征金字塔可以有效模拟医师的阅片方法，结合了多种视距信息，不仅在高倍视距上进行诊断，也在低倍视距上进行诊断，这样就不会轻易地漏掉任何可能的癌区，提高了敏感性。
实施例中，将所述待测数字图像输入训练好的第二深度神经网络模型，确定待测数字图像是否存在癌症区域，若存在癌症区域，则识别出癌症区域位置，包括：将所述待测数字图像输入训练好的第二深度神经网络模型，经过平衡特征金字塔和主干网络生成特征图谱，对所述特征图谱进行基于ROI Align处理的双线性插值，然后采用1×1卷积处理进行提取特征，采用softmax函数作为激活函数，将提取出的特征通过全连接层，确定待测数字图像是否存在癌症区域；若存在癌症区域，则采用回归算法确定癌症区域的外接矩形框坐标，以及采用mask技术确定癌症区域的轮廓点坐标，所述轮廓点坐标的精确度为像素级。
本实施例中，通过平衡特征金字塔和主干网络，生成了特征图谱（Feature Maps），对特征图谱（Feature Maps）进行基于ROI Align处理的双线性插值，然后采用1×1卷积进一步提取特征，再通过全连接层（FC layers），最终得到三个分支：分支一为分类的分支，采用softmax函数作为激活函数得到类别；分支二采用回归的方法获得矩形框坐标，也即经过全连接层（FC layers）后进行框回归（bbox reg）获得矩形框坐标；分支三得到ROI头部（head），采用mask技术确定癌症区域的轮廓点坐标，所述轮廓点坐标的精确度为像素级。如图3所示，输出的三个分支包括：癌区类别；检测到的癌区的外接矩形坐标，即：[X min，Y min，W，H]，其中X min为外接矩形的左上角X坐标，Y min为外接矩形的左上角Y坐标，W为外接矩形的宽，H为外接矩形的高；检测到的癌区的轮廓点坐标，即：[X 1，Y 1，X 2，Y 2，...，X n ，Y n ]，其中，X n 为第n个点的X坐标，Y n 为第n个点的Y坐标。
实施例中，所述第二深度神经网络模型根据第二图像集进行训练，包括：利用第二图像集对第二深度神经网络模型进行训练，得到第二图像集的训练结果；将所述训练结果与历史数字图像上标记出的癌症区域进行比对，确定误检区域；提取所述误检区域，得到背景模板；根据所述背景模板，对所述历史数字图像进行数据增广处理；利用数据增广处理后得到的图像对第二深度神经网络模型进行迭代训练。
本实施例中，把检测结果中将正常组织检测为癌的区域定义为误检区域。需要对误检区域进行迭代，以消除误检区域，得到更好的识别精度。将误检区域提取出来作为背景模板，将背景模板随机地覆盖在历史数字图像中，利用数据增广处理后得到的图像对第二深度神经网络模型进行迭代训练。如此循环往复，直至模型结果达到预设的精度为止。
具体实施时，根据所述待测数字图像的生发中心区域和癌症区域位置，确定模拟医师阅片的数字图像识别结果。
实施例中，根据所述待测数字图像的生发中心区域和癌症区域，确定模拟医师阅片的数字图像识别结果，包括：根据所述待测数字图像，生成第一预设填充值的单通道图；根据待测数字图像的癌症区域，将所述单通道图的对应区域设置为第二预设填充值；根据待测数字图像的生发中心区域，将所述单通道图的对应区域设置为第一预设填充值；提取单通道图中第二预设填充值的区域作为模拟医师阅片的数字图像识别结果。
针对同一张数字图像，由于生发中心区域和癌症区域往往不止一个，可能存在多个生发中心区域和多个癌症区域，需要将所有生发中心区域的外接矩形坐标和所有癌症区域轮廓坐标进行融合。对于每一个生发中心区域的坐标，都表示为[SX min，SY min，W，H]的形式，对于每一个癌症区域轮廓的坐标，都表示为[X 1，Y 1，X 2，Y 2，...，X n ，Y n ]。按照待测数字图像生成相同大小的mask单通道图，全部置为第一预设填充值，第一预设填充值可以为0。将每个癌症区域轮廓围成的区域设置为第二预设填充值，第二预设填充值可以为255，直至将每个癌症区域的轮廓循环填充完毕。将每个生发中心区域的外接矩形区域填充为第一预设填充值，直至将每个生发中心外接矩形填充完毕。将mask单通道图中剩下为第二预设填充值的区域轮廓提取出来，记做L，则L的所有坐标围成的区域即为最终的模拟医师阅片的数字图像识别结果。
实施例中，采用多GPU并行处理方式同时对多张待测数字图像进行处理。
本实施例中，CPU采用Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHz 24核，64G的内存，GPU采用Tesla P40 24G×8，系统为Ubuntu。采用多GPU并行处理的方式，可以同时对多张数字图像进行处理，在多GPU并行处理一批数据时，每张数字图像的预测时间平均低于30秒。由于采用了多GPU并行处理，大大缩短了诊断时间，速度快于有经验的病理医师，并且模型稳定性优于人类。本发明实施例中，patch的大小受限于GPU显存的大小。如果不受此资源限制，patch大小替换为更大一些或稍小一些也可以实现类似效果。
如图4~图5所示，为数字图像的识别结果，截取的均为300×300像素的图像，图4~图5中勾画为模型识别出来的微转移癌的癌症区域。基于淋巴结的统计指标为敏感性达到100%，同时假阳性低于5%。
本发明实施例针对难以辨别的生发中心，采用目标检测的方法进行识别，最后对结果进行融合。传统基于切割固定大小的patch进行分类算法，本发明采用了实例分割的方法，针对微转移癌有很好的识别效果。采用了多视距的图像进行学习，并对结果进行融合诊断，模拟病理医师的阅片方法。采用了多GPU并行处理，大大缩短了诊断时间，速度快于有经验的病理医师，并且模型稳定性优于人类。该发明运用迁移学习和迭代，可以解决且适用于以下绝大多数的场景，如基于数字病理，对手术清扫的各类癌种淋巴结是否转移的自动诊断；基于数字病理，对人体各部位活检标本和外科手术标本的自动诊断。
基于同一发明构思，本发明实施例还提供了一种模拟医师阅片的数字图像识别装置，如下面的实施例所述。由于这些解决问题的原理与模拟医师阅片的数字图像识别方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
图6为本发明实施例中模拟医师阅片的数字图像识别装置的结构图，如图6所示，该装置包括：
图像获得模块601，用于获得待测数字图像；
缩放处理模块602，用于根据预先设定的缩放比例对所述待测数字图像进行缩放处理，得到对应的压缩图像；
第一识别模块603，用于将所述压缩图像输入训练好的第一深度神经网络模型，识别压缩图像的生发中心区域，所述第一深度神经网络模型根据第一图像集进行训练，其中，按如下方式获得第一图像集：
获得历史压缩图像，所述历史压缩图像上标记出生发中心区域，所述历史压缩图像是根据所述缩放比例对历史数字图像进行缩放处理得到的；
提取所述历史压缩图像上标记出的生发中心区域，得到ROI模板；
根据所述ROI模板，对所述历史压缩图像进行数据增广处理；
根据数据增广处理后得到的压缩图像，生成第一图像集；
生发中心确定模块604，用于根据所述压缩图像的生发中心区域，确定对应的待测数字图像的生发中心区域；
第二识别模块605，用于将所述待测数字图像输入训练好的第二深度神经网络模型，确定待测数字图像是否存在癌症区域，若存在癌症区域，则识别出癌症区域位置，所述第二深度神经网络模型根据第二图像集进行训练，所述第二图像集是根据历史数字图像获得的，所述历史数字图像上标记出癌症区域；
识别结果确定模块606，用于根据所述待测数字图像的生发中心区域和癌症区域位置，确定模拟医师阅片的数字图像识别结果。
一个实施例中，第二识别模块605进一步用于：
将所述待测数字图像输入训练好的第二深度神经网络模型，经过平衡特征金字塔和主干网络生成特征图谱，对所述特征图谱进行基于ROI Align处理的双线性插值，然后采用1×1卷积处理进行提取特征，采用softmax函数作为激活函数，将提取出的特征通过全连接层，确定待测数字图像是否存在癌症区域；若存在癌症区域，则采用回归算法确定癌症区域的外接矩形框坐标，以及采用mask技术确定癌症区域的轮廓点坐标，所述轮廓点坐标的精确度为像素级。
一个实施例中，如图7所示，图6的模拟医师阅片的数字图像识别装置还包括：图像切割模块607，用于在将待测数字图像输入训练好的第二深度神经网络模型之前，在待测数字图像上以预设视距切割出预设尺寸的图像，得到对应的切割图像；
所述第二识别模块605进一步用于：将所述切割图像输入训练好的第二深度神经网络模型，确定切割图像是否存在癌症区域，若存在癌症区域，则识别出癌症区域位置；
按如下方式获得第二图像集：
获得历史数字图像；
在所述历史数字图像上以预设视距切割出不同尺寸的图像，得到历史切割图像；
将所述不同尺寸的历史切割图像调整为预设尺寸，得到不同视距的历史切割图像；
根据所述不同视距的历史切割图像，生成第二图像集。
一个实施例中，在所述历史数字图像上以预设视距切割出不同尺寸的图像，包括：在所述历史数字图像上以40倍视距分别切割出4096×4096像素，2048×2048像素和1024×1024像素的图像；
将所述不同尺寸的历史切割图像调整为预设尺寸，得到不同视距的历史切割图像，包括：将4096×4096像素的图像调整为1024×1024像素，将2048×2048像素的图像调整为1024×1024像素，获得均为1024×1024像素的图像。
一个实施例中，所述第二深度神经网络模型根据第二图像集进行训练，包括：
利用第二图像集对第二深度神经网络模型进行训练，得到第二图像集的训练结果；
将所述训练结果与历史数字图像上标记出的癌症区域进行比对，确定误检区域；
提取所述误检区域，得到背景模板；
根据所述背景模板，对所述历史数字图像进行数据增广处理；
利用数据增广处理后得到的图像对第二深度神经网络模型进行迭代训练。
一个实施例中，识别结果确定模块606进一步用于：
根据所述待测数字图像，生成第一预设填充值的单通道图；
根据待测数字图像的癌症区域位置，将所述单通道图的对应区域设置为第二预设填充值；
根据待测数字图像的生发中心区域，将所述单通道图的对应区域设置为第一预设填充值；
提取单通道图中第二预设填充值的区域作为模拟医师阅片的数字图像识别结果。
一个实施例中，采用多GPU并行处理方式同时对多张待测数字图像进行处理。
综上所述，本发明实施例通过获得待测数字图像；根据预先设定的缩放比例对所述待测数字图像进行缩放处理，得到对应的压缩图像；将所述压缩图像输入训练好的第一深度神经网络模型，识别压缩图像的生发中心区域，所述第一深度神经网络模型根据第一图像集进行训练，其中，按如下方式获得第一图像集：获得历史压缩图像，所述历史压缩图像上标记出生发中心区域，所述历史压缩图像是根据所述缩放比例对历史数字图像进行缩放处理得到的；提取所述历史压缩图像上标记出的生发中心区域，得到ROI模板；根据所述ROI模板，对所述历史压缩图像进行数据增广处理；根据数据增广处理后得到的压缩图像，生成第一图像集；根据所述压缩图像的生发中心区域，确定对应的待测数字图像的生发中心区域；将所述待测数字图像输入训练好的第二深度神经网络模型，确定待测数字图像是否存在癌症区域，若存在癌症区域，则识别出癌症区域位置，所述第二深度神经网络模型根据第二图像集进行训练，所述第二图像集是根据历史数字图像获得的，所述历史数字图像上标记出癌症区域；根据所述待测数字图像的生发中心区域和癌症区域位置，确定模拟医师阅片的数字图像识别结果。本发明实施例中，训练好的深度神经网络模型具有数字图像自动识别功能，可识别出数字图像上可能有癌症的区域，整个过程省时、省力，提高了数字图像识别的效率。在进行数字图像识别过程中，首先利用训练好的深度神经网络模型识别出与癌症区域相似的生发中心区域，进而再进行癌症区域的识别，从而有效避免因将生发中心误判为癌症区域造成识别率低的问题。在进行生发中心区域识别时，首先对待测数字图像进行缩放处理，得到低倍视距的压缩图像后再输入训练好的深度神经网络模型，将图像调整为低倍视距可以扩大生发中心区域与癌症区域的区别，提高生发中心区域的分辨率，从而保证生发中心区域可以准确识别出来。在利用第一图像集对深度神经网络模型进行时，考虑到生发中心区域出现比例较少存在训练不均衡的问题，因此本发明实施例提取历史压缩图像标记出的生发中心区域，得到ROI模板，对历史压缩图像进行数据增广处理，然后根据数据增广处理后得到的压缩图像，生成第一图像集。通过利用感兴趣区域模板进行数据增广处理可以有效增加生发中心区域的比例，克服了样本比例失衡导致的训练不均衡的问题。进而，根据识别出的待测数字图像的生发中心区域和癌症区域，可以综合确定最终的数字图像识别结果，有效提高了数字图像识别的准确率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种模拟医师阅片的数字图像识别方法，其特征在于，包括：
获得待测数字图像；
根据预先设定的缩放比例对所述待测数字图像进行缩放处理，得到对应的压缩图像；
将所述压缩图像输入训练好的第一深度神经网络模型，识别压缩图像的生发中心区域，所述第一深度神经网络模型根据第一图像集进行训练，其中，按如下方式获得第一图像集：
获得历史压缩图像，所述历史压缩图像上标记出生发中心区域，所述历史压缩图像是根据所述缩放比例对历史数字图像进行缩放处理得到的；
提取所述历史压缩图像上标记出的生发中心区域，得到ROI模板；
根据所述ROI模板，对所述历史压缩图像进行数据增广处理；
根据数据增广处理后得到的压缩图像，生成第一图像集；
根据所述压缩图像的生发中心区域，确定对应的待测数字图像的生发中心区域；
将所述待测数字图像输入训练好的第二深度神经网络模型，确定待测数字图像是否存在癌症区域，若存在癌症区域，则识别出癌症区域位置，所述第二深度神经网络模型根据第二图像集进行训练，所述第二图像集是根据历史数字图像获得的，所述历史数字图像上标记出癌症区域；
根据所述待测数字图像的生发中心区域和癌症区域位置，确定模拟医师阅片的数字图像识别结果。
2.如权利要求1所述的模拟医师阅片的数字图像识别方法，其特征在于，将所述待测数字图像输入训练好的第二深度神经网络模型，确定待测数字图像是否存在癌症区域，若存在癌症区域，则识别出癌症区域位置，包括：
将所述待测数字图像输入训练好的第二深度神经网络模型，经过平衡特征金字塔和主干网络生成特征图谱，对所述特征图谱进行基于ROI Align处理的双线性插值，然后采用1×1卷积处理进行提取特征，采用softmax函数作为激活函数，将提取出的特征通过全连接层，确定待测数字图像是否存在癌症区域；若存在癌症区域，则采用回归算法确定癌症区域的外接矩形框坐标，以及采用mask技术确定癌症区域的轮廓点坐标，所述轮廓点坐标的精确度为像素级。
3.如权利要求1所述的模拟医师阅片的数字图像识别方法，其特征在于，还包括：在将待测数字图像输入训练好的第二深度神经网络模型之前，在待测数字图像上以预设视距切割出预设尺寸的图像，得到对应的切割图像；
将所述待测数字图像输入训练好的第二深度神经网络模型，确定待测数字图像是否存在癌症区域，包括：将所述切割图像输入训练好的第二深度神经网络模型，确定切割图像是否存在癌症区域；
按如下方式获得第二图像集：
获得历史数字图像；
在所述历史数字图像上以预设视距切割出不同尺寸的图像，得到历史切割图像；
将所述不同尺寸的历史切割图像调整为预设尺寸，得到不同视距的历史切割图像；
根据所述不同视距的历史切割图像，生成第二图像集。
4.如权利要求3所述的模拟医师阅片的数字图像识别方法，其特征在于，在所述历史数字图像上以预设视距切割出不同尺寸的图像，包括：在所述历史数字图像上以40倍视距分别切割出4096×4096像素，2048×2048像素和1024×1024像素的图像；
将所述不同尺寸的历史切割图像调整为预设尺寸，得到不同视距的历史切割图像，包括：将4096×4096像素的图像调整为1024×1024像素，将2048×2048像素的图像调整为1024×1024像素，获得均为1024×1024像素的图像。
5.如权利要求1所述的模拟医师阅片的数字图像识别方法，其特征在于，所述第二深度神经网络模型根据第二图像集进行训练，包括：
利用第二图像集对第二深度神经网络模型进行训练，得到第二图像集的训练结果；
将所述训练结果与历史数字图像上标记出的癌症区域进行比对，确定误检区域；
提取所述误检区域，得到背景模板；
根据所述背景模板，对所述历史数字图像进行数据增广处理；
利用数据增广处理后得到的图像对第二深度神经网络模型进行迭代训练。
6.如权利要求1所述的模拟医师阅片的数字图像识别方法，其特征在于，根据所述待测数字图像的生发中心区域和癌症区域位置，确定模拟医师阅片的数字图像识别结果，包括：
根据所述待测数字图像，生成第一预设填充值的单通道图；
根据待测数字图像的癌症区域位置，将所述单通道图的对应区域设置为第二预设填充值；
根据待测数字图像的生发中心区域，将所述单通道图的对应区域设置为第一预设填充值；
提取单通道图中第二预设填充值的区域作为模拟医师阅片的数字图像识别结果。
7.如权利要求1所述的模拟医师阅片的数字图像识别方法，其特征在于，采用多GPU并行处理方式同时对多张待测数字图像进行处理。
8.一种模拟医师阅片的数字图像识别装置，其特征在于，包括：
图像获得模块，用于获得待测数字图像；
缩放处理模块，用于根据预先设定的缩放比例对所述待测数字图像进行缩放处理，得到对应的压缩图像；
第一识别模块，用于将所述压缩图像输入训练好的第一深度神经网络模型，识别压缩图像的生发中心区域，所述第一深度神经网络模型根据第一图像集进行训练，其中，按如下方式获得第一图像集：
获得历史压缩图像，所述历史压缩图像上标记出生发中心区域，所述历史压缩图像是根据所述缩放比例对历史数字图像进行缩放处理得到的；
提取所述历史压缩图像上标记出的生发中心区域，得到ROI模板；
根据所述ROI模板，对所述历史压缩图像进行数据增广处理；
根据数据增广处理后得到的压缩图像，生成第一图像集；
生发中心确定模块，用于根据所述压缩图像的生发中心区域，确定对应的待测数字图像的生发中心区域；
第二识别模块，用于将所述待测数字图像输入训练好的第二深度神经网络模型，确定待测数字图像是否存在癌症区域，若存在癌症区域，则识别出癌症区域位置，所述第二深度神经网络模型根据第二图像集进行训练，所述第二图像集是根据历史数字图像获得的，所述历史数字图像上标记出癌症区域；
识别结果确定模块，用于根据所述待测数字图像的生发中心区域和癌症区域位置，确定模拟医师阅片的数字图像识别结果。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至7任一所述方法的计算机程序。
CN202011391995.0A 2020-12-03 2020-12-03 模拟医师阅片的数字图像识别方法及装置 Active CN112215217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011391995.0A CN112215217B (zh) 2020-12-03 2020-12-03 模拟医师阅片的数字图像识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011391995.0A CN112215217B (zh) 2020-12-03 2020-12-03 模拟医师阅片的数字图像识别方法及装置

Publications (2)

Publication Number Publication Date
CN112215217A true CN112215217A (zh) 2021-01-12
CN112215217B CN112215217B (zh) 2021-04-13

Family

ID=74068131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011391995.0A Active CN112215217B (zh) 2020-12-03 2020-12-03 模拟医师阅片的数字图像识别方法及装置

Country Status (1)

Country Link
CN (1) CN112215217B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112869829A (zh) * 2021-02-25 2021-06-01 北京积水潭医院 一种智能镜下腕管切割器
CN113076972A (zh) * 2021-03-04 2021-07-06 山东师范大学 一种基于深度学习的两阶段Logo图像检测方法及系统
WO2022156235A1 (zh) * 2021-01-22 2022-07-28 上海商汤智能科技有限公司 神经网络训练和图像处理方法及装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160011116A1 (en) * 2014-07-09 2016-01-14 Caliper Life Sciences, Inc. Pure Spectrum Extraction From Biological Samples
CN107748900A (zh) * 2017-11-08 2018-03-02 山东财经大学 基于区分性卷积神经网络的乳腺肿瘤分类方法和装置
CN108520518A (zh) * 2018-04-10 2018-09-11 复旦大学附属肿瘤医院 一种甲状腺肿瘤超声图像识别方法及其装置
CN108875734A (zh) * 2018-05-23 2018-11-23 平安科技（深圳）有限公司 肝脏癌变定位方法、装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160011116A1 (en) * 2014-07-09 2016-01-14 Caliper Life Sciences, Inc. Pure Spectrum Extraction From Biological Samples
CN107748900A (zh) * 2017-11-08 2018-03-02 山东财经大学 基于区分性卷积神经网络的乳腺肿瘤分类方法和装置
CN108520518A (zh) * 2018-04-10 2018-09-11 复旦大学附属肿瘤医院 一种甲状腺肿瘤超声图像识别方法及其装置
CN108875734A (zh) * 2018-05-23 2018-11-23 平安科技（深圳）有限公司 肝脏癌变定位方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
廖子傑 等: "生发中心的发生与发展", 《中国生物化学与分子生物学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022156235A1 (zh) * 2021-01-22 2022-07-28 上海商汤智能科技有限公司 神经网络训练和图像处理方法及装置、电子设备及存储介质
CN112869829A (zh) * 2021-02-25 2021-06-01 北京积水潭医院 一种智能镜下腕管切割器
CN112869829B (zh) * 2021-02-25 2022-10-21 北京积水潭医院 一种智能镜下腕管切割器
CN113076972A (zh) * 2021-03-04 2021-07-06 山东师范大学 一种基于深度学习的两阶段Logo图像检测方法及系统

Also Published As

Publication number Publication date
CN112215217B (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN111027547B (zh) 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN110287932B (zh) 基于深度学习图像语义分割的道路阻断信息提取方法
WO2020215985A1 (zh) 医学影像分割方法、装置、电子设备和存储介质
CN110472616B (zh) 图像识别方法、装置、计算机设备及存储介质
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
CN113344849B (zh) 一种基于YOLOv5的微乳头检测系统
JP6660313B2 (ja) 画像解析を用いた核のエッジの検出
CN110853022B (zh) 病理切片图像的处理方法、装置、系统及存储介质
CN109977191B (zh) 问题地图检测方法、装置、电子设备和介质
CN109711288A (zh) 基于特征金字塔和距离约束fcn的遥感船舶检测方法
CN112819821B (zh) 一种细胞核图像检测方法
CN110135271A (zh) 一种细胞分类方法及装置
CN112215801A (zh) 一种基于深度学习和机器学习的病理图像分类方法及系统
CN110738132B (zh) 一种具备判别性感知能力的目标检测质量盲评价方法
CN108052909B (zh) 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN115546605A (zh) 一种基于图像标注和分割模型的训练方法及装置
CN115393351B (zh) 一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置
CN113012129A (zh) 一种脑切片图像的区域定位及标记神经细胞计数系统及装置
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
Kromp et al. Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation
CN113706562A (zh) 图像分割方法、装置、系统及细胞分割方法
CN112703531A (zh) 生成组织图像的注释数据
CN113781387A (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN113096080A (zh) 图像分析方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant