CN110110808B - 一种对图像进行目标标注的方法、装置及计算机记录介质 - Google Patents

一种对图像进行目标标注的方法、装置及计算机记录介质 Download PDF

Info

Publication number
CN110110808B
CN110110808B CN201910406757.3A CN201910406757A CN110110808B CN 110110808 B CN110110808 B CN 110110808B CN 201910406757 A CN201910406757 A CN 201910406757A CN 110110808 B CN110110808 B CN 110110808B
Authority
CN
China
Prior art keywords
layer
neural network
image
target
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910406757.3A
Other languages
English (en)
Other versions
CN110110808A (zh
Inventor
史永明
欧歌
吴琼
王纯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Technology Development Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Technology Development Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910406757.3A priority Critical patent/CN110110808B/zh
Publication of CN110110808A publication Critical patent/CN110110808A/zh
Priority to US17/253,216 priority patent/US11735316B2/en
Priority to PCT/CN2020/085613 priority patent/WO2020228490A1/zh
Application granted granted Critical
Publication of CN110110808B publication Critical patent/CN110110808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种对图像进行目标标注的方法、装置及计算机记录介质，该方法包括：获取训练好的对图像进行与目标相关的分类的第一神经网络，第一神经网络包括多层卷积神经网络和全连接层，每层卷积神经网络依序包括卷积层、激活函数层和下采样层；由处理器利用所获取的第一神经网络的多层卷积神经网络对图像进行处理；由处理器对第一神经网络的至少一层的激活函数层的输出进行大值空间位置采样；由处理器基于大值空间位置采样的结果将相应层的下采样层的输出映射到图像的坐标空间得到映射矩阵；由处理器基于映射矩阵获得目标位置蒙版；由处理器基于目标位置蒙版标注目标。该方法的训练样本更容易获得，训练更容易。

Description

一种对图像进行目标标注的方法、装置及计算机记录介质
技术领域
本公开涉及图像处理领域，尤其涉及一种对图像进行目标标注的方法、装置及计算机记录介质。
背景技术
医学图像的病灶位置需要由有经验的医生来确定，而基于传统特征检测或模式识别的算法确定病灶位置的准确率较低。目前，虽然可以通过机器学习或深度学习的方式，能获得准确率较高的对病灶位置进行自动标注的算法，但这些算法需要借助已标注好病灶位置的图像进行训练，而带有病灶位置信息的图像在现实中很难获取到。
发明内容
针对现有技术中存在的上述技术问题，本公开提供了一种对图像进行目标标注的方法、装置及计算机记录介质，通过对训练好的对图像进行与目标分类的第一神经网络的至少一层的激活函数层的输出进行大值空间位置采样，基于大值空间位置采样的结果将相应层的下采样层的输出映射到图像中，从而得到目标位置蒙版。该方法利用训练好的分类神经网络完成了分割神经网络的功能，前者的训练样本更容易获得，训练更容易。
根据本公开的第一方案，提供了一种对图像进行目标标注的方法，所述方法包括：获取训练好的对图像进行与目标相关的分类的第一神经网络，所述第一神经网络包括多层卷积神经网络和全连接层，每层卷积神经网络依序包括卷积层、激活函数层和下采样层；由处理器，利用所获取的第一神经网络的所述多层卷积神经网络对所述图像进行处理；由处理器，对所述第一神经网络的至少一层的激活函数层的输出进行大值空间位置采样；由所述处理器，基于大值空间位置采样的结果将相应层的下采样层的输出映射到所述图像的坐标空间，以得到映射矩阵；由所述处理器，基于所述映射矩阵获得目标位置蒙版；由所述处理器，基于所述目标位置蒙版在所述图像中标注所述目标。
在一些实施例中，所述相应层的下采样层的输出经由至少一层反卷积神经网络映射到所述图像的坐标空间，各层反卷积神经网络依序包括上采样层、激活函数层和反卷积层。
在一些实施例中，所述大值空间位置采样针对所述第一神经网络的各层的激活函数层的输出进行，所述反卷积神经网络与所述卷积神经网络对应地设置，基于所述大值空间位置采样的结果将相应层的下采样层的输出映射到所述图像的坐标空间包括：将最后一层的下采样层的输出经由所述反卷积神经网络映射到所述图像的坐标空间，所述卷积神经网络的各层的大值空间位置采样的结果用于引导所述反卷积神经网络的相应各层的上采样。
在一些实施例中，各层反卷积神经网络的反卷积层的输出作为下一层反卷积神经网络的上采样层的输入。
在一些实施例中，对至少一层的激活函数层的输出进行大值空间位置采样，包括：将所述至少一层的激活函数层的输出与第一预设阈值进行比较；对比较结果进行二值化处理；记录二值化处理结果中的大值元素的空间位置信息。
在一些实施例中，基于所述映射矩阵获得目标位置蒙版，包括：将所述映射矩阵中的各元素与第二预设阈值进行比较；对比较结果进行二值化处理，以获得所述目标位置蒙版。
在一些实施例中，所述方法还包括：利用标注疾病种类的图像样本集合对所述第一神经网络进行训练。
在一些实施例中，所述目标包括病灶。
在一些实施例中，所述训练使用的损失函数基于如下公式(1)来计算：
Figure BDA0002061483050000021
其中，fi表示疾病种类为i的图像输入到所述第一神经网络后被分类为i的分值，fj表示所述图像输入到所述第一神经网络后被分类为任意一类疾病的分值。
在一些实施例中，所述训练包括：基于所述损失函数和如下公式(2)对所述第一神经网络中的各参数进行更新：
Figure BDA0002061483050000022
其中，L表示损失函数，W表示所述第一神经网络中的参数，α表示更新速率。
在一些实施例中，基于所述目标位置蒙版在所述图像中标注所述目标包括：将所述图像中与所述目标位置蒙版中强度为1的位置对应的像素区域标注为目标区域。
根据本公开的第二方案，提供了一种对图像进行目标标注的装置，所述装置包括：通信接口，其配置为接收图像；存储器，所述存储器上存储有计算机可执行指令；以及处理器，所述处理器执行所述计算机可执行指令时，实现根据本公开任一项所述的对图像进行目标标注的方法。
根据本公开的第三方案，提供了一种非暂时性的计算机记录介质，其上存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如下步骤：获取训练好的对图像进行与目标相关的分类的第一神经网络，所述第一神经网络包括多层卷积神经网络和全连接层，每层卷积神经网络依序包括卷积层、激活函数层和下采样层；利用所获取的第一神经网络的所述多层卷积神经网络对所述图像进行处理；对所述第一神经网络的至少一层的激活函数层的输出进行大值空间位置采样；基于大值空间位置采样的结果将相应层的下采样层的输出映射到所述图像的坐标空间，以得到映射矩阵；基于所述映射矩阵获得目标位置蒙版；基于所述目标位置蒙版在所述图像中标注所述目标。
与现有技术相比，本公开的有益效果在于：
本公开所提供的对图像进行目标标注的方法、装置及计算机记录介质，通过对训练好的对图像进行与目标分类的第一神经网络的至少一层的激活函数层的输出进行大值空间位置采样，基于大值空间位置采样的结果将相应层的下采样层的输出映射到图像中，从而得到目标位置蒙版。该方法利用训练好的分类神经网络完成了分割神经网络的功能，前者的训练样本更容易获得，训练更容易。
应当理解，前面的一般描述和以下详细描述都仅是示例性和说明性的，而不是用于限制本公开。
本节提供本公开中描述的技术的各种实现或示例的概述，并不是所公开技术的全部范围或所有特征的全面公开。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1为根据本公开实施例的对图像进行目标标注的方法的流程图；
图2为根据本公开实施例的对卷积神经网络的激活函数层的输出进行大值空间位置采样的前后对比图；
图3为根据本公开实施例的训练第一神经网络的示意图；
图4(a)为根据本公开的对图像进行目标标注的方法的一个具体实施例的示意图；
图4(b)为根据本公开的对图像进行目标标注的方法的一个具体实施例的示意图；
图4(c)为根据本公开的对图像进行目标标注的方法的一个具体实施例的示意图；
图5为根据本公开实施例的对图像进行目标标注的装置的示意图。
附图标记说明：
100-对图像进行目标标注的装置；110-通信接口；120-存储器；130-处理器。
具体实施方式
为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
为了保持本公开实施例的以下说明清楚且简明，本公开省略了已知功能和已知部件的详细说明。
与本公开相一致的方法和装置直接用于识别图像或一系列图像的目标位置，包括医学图像或一系列医学图像，例如管造影图像、核磁共振成像(MRI)图像、计算机断层扫描成像(CT)图像、超声图像等。在医学图像中，目标位置可以包括肿瘤位置、器官位置等。图像可以是2D或3D图像。图1为根据本公开实施例的对图像进行目标标注的方法的流程图，如图1所示，本公开提供了一种对图像进行目标标注的方法，所述方法包括步骤S101至S106：
在步骤S101，获取训练好的对图像进行与目标相关的分类的第一神经网络，第一神经网络包括多层卷积神经网络和全连接层，每层卷积神经网络依序包括卷积层、激活函数层和下采样层。具体说来，卷积层、激活函数层和下采样层依序组成卷积神经网络的单元，每层卷积神经网络可以依序为卷积层、激活函数层和下采样层，其还可以依序为卷积层、激活函数层、卷积层、激活函数层和下采样层等，在此不做具体限定。具体的，卷积层用于提取图像的特征，激活函数层用于对卷积层提取的特征进行激活，下采样层用于降低特征的维度，减少计算量，全连接层用于对下采样层的输出赋予相应权重，其中，下采样层例如但不限于池化层，诸如最大池化层、平均池化层等。通过引入下采样层，可以扩大学习的视野，从而得到更鲁棒性的分类效果。在一些实施例中，激活函数层的激活函数可以为线性激活函数，也可以为非线性激活函数。对图像进行与目标相关的分类的第一神经网络可以利用标记有疾病种类的图像样本集合进行训练获得，也就是说，在训练过程中，只需要标注疾病种类的图像样本而无需标注目标(例如病灶)的图像样本，前者更容易获得，从而大大降低了训练难度。
在步骤S102，由处理器，利用所获取的第一神经网络的多层卷积神经网络对图像进行处理，以提取图像的多层次信息。
在步骤S103，由处理器，对第一神经网络的至少一层的激活函数层的输出进行大值空间位置采样。如此，大值空间位置采样结果中包含激活函数层的输出中强度大于设定阈值的空间位置，可以将这些强度大于设定阈值的空间位置记录下来。
在步骤S104，由处理器，基于大值空间位置采样结果将相应层的下采样层的输出映射到图像的坐标空间，以得到映射矩阵。具体说来，相应层可以是第一神经网络的多层卷积神经网络中的某一层或某几层，例如第10层、最后一层、第1层至第6层等，该层可以是与对激活函数层的输出进行大值空间位置采样对应的层，也可以是与对激活函数层的输出进行大值空间位置采样不同的层。例如，基于第10层的激活函数层的大值空间位置采样结果将第10层的下采样层的输出映射到图像的坐标空间；还可以基于第6层的激活函数层的大值空间位置采样结果将第10层的下采样层的输出映射到图像的坐标空间，只要将两者之一进行映射(例如但不限于插值、池化等)以与另一方配准即可。
在步骤S105，由处理器，基于在步骤S104获得的映射矩阵获得目标位置蒙版，具体的，映射矩阵中的元素值为图像的像素点的强度(例如灰度值)，可以通过对映射矩阵中的元素值进行处理确定目标位置蒙版。
最后在步骤S106，由处理器，基于目标位置蒙版在图像中标注目标，具体的，可以通过将目标位置蒙版与输入的原始图像进行比较，在原始图像中标注出目标。
本公开所提供的对图像进行目标标注的方法，通过对训练好的对图像进行与目标相关的分类的第一神经网络的至少一层的激活函数层的输出进行大值空间位置采样，基于大值空间位置采样的结果将相应层的下采样层的输出映射到图像中，从而得到目标位置蒙版。该方法仅仅对分类神经网络进行训练，利用训练好的分类神经网络完成了分割神经网络的功能，前者的训练样本更容易获得，训练更容易，而后者在医疗领域中具有更广泛的应用前景。
在一些实施例中，相应层的下采样层的输出经由至少一层反卷积神经网络映射到图像的坐标空间，各层反卷积神经网络依序包括上采样层、激活函数层和反卷积层。具体说来，上采样层用于放大卷积神经网络中相应层的下采样层的输出图像的尺寸，该层的激活函数层的激活函数可以为非线性激活函数，也可以为线性激活函数，其可以与卷积神经网络中的激活函数层的激活函数相同，也可以不同，反卷积层用于对该层的激活函数层输出的图像内容进行丰富。
在一些实施例中，大值空间位置采样针对第一神经网络的各层的激活函数层的输出进行，反卷积神经网络与卷积神经网络对应地设置，基于大值空间位置采样的结果将相应层的下采样层的输出映射到图像的坐标空间包括：将最后一层的下采样层的输出经由反卷积神经网络映射到图像的坐标空间，卷积神经网络的各层的大值空间位置采样的结果用于引导反卷积神经网络的相应各层的上采样。具体的，对第一神经网络的每一层的激活函数层均进行大值空间位置采样，从最后一层开始，基于各层的大值空间位置采样的结果依序将相应层的下采样层的输出映射到图像的坐标空间，直至将第一层卷积神经网络的大值空间位置采样结果映射到图像的坐标空间。
在一些实施例中，各层反卷积神经网络的反卷积层的输出作为下一层反卷积神经网络的上采样层的输入，以将图像的多层次信息映射到图像中。
在一些实施例中，对至少一层的激活函数层的输出进行大值空间位置采样，包括：将至少一层的激活函数层的输出与第一预设阈值进行比较；对比较结果进行二值化处理；记录二值化处理结果中的大值元素的空间位置信息。具体的，可以对某一层卷积神经网络的激活函数层的输出进行大值空间位置采样，也可以对每一层卷积神经网络的激活函数层均进行大值空间位置采样。图2为根据本公开实施例的对卷积神经网络的激活函数层的输出进行大值空间位置采样的前后对比图，如图2所示，例如第一预设阈值可以设为120，左侧图为某一层的激活函数层的输出结果，将输出结果中的各元素值与第一预设阈值进行比较，将大于等于第一预设阈值的元素的强度标记为1，将小于第一预设阈值的元素的强度标记为0，对输出结果进行大值空间位置采样的结果如右侧图所示。
在一些实施例中，基于映射矩阵获得目标位置蒙版，包括：将映射矩阵中的各元素与第二预设阈值进行比较；对比较结果进行二值化处理，以获得目标位置蒙版。具体说来，目标位置的元素值与图像的其他区域的元素值存在不同程度的差异，用户可以根据实际情况设定第二预设阈值，将映射矩阵中的各元素值与第二预设阈值进行比较，对比较结果进行二值化处理，将大于等于第二预设阈值的元素的强度标记为1，小于第二预设阈值的元素的强度标记为0，得到图像的目标位置蒙版。
在一些实施例中，所述方法还包括：利用标注疾病种类的图像样本集合对第一神经网络进行训练。具体说来，标注疾病种类的图像样本集合可以为骨折图像、肿瘤图像、脑部图像等等，在此不作具体限定，图像样本的疾病种类可以由有经验的临床医生确定，相对现有的利用带有病灶位置标注的图像样本，这些标注疾病种类的图像样本集合在实际中较容易获得，使得第一神经网络的训练更容易。
在一些实施例中，目标包括病灶，例如，骨折部位、肿瘤部位等等，通过对训练好的对图像进行与病灶分类的第一神经网络的至少一层的激活函数层的输出进行大值空间位置采样，基于大值空间位置采样的结果将相应层的下采样层的输出映射到图像中，从而得到病灶位置蒙版，在图像中标注出病灶。
在一些实施例中，训练使用的损失函数基于如下公式(1)来计算：
Figure BDA0002061483050000081
其中，fi表示疾病种类为i的图像输入到所述第一神经网络后被分类为i的分值，fj表示图像输入到第一神经网络后被分类为任意一类疾病的分值。具体的，损失函数与对全连接层的输出进行分类选择的分类方法相对应，可选的，分类方法包括多种，例如支持向量机分类、softmax分类等，在此不作具体限定。
在一些实施例中，训练包括：基于损失函数和如下公式(2)对第一神经网络中的各参数进行更新：
Figure BDA0002061483050000082
其中，L表示损失函数，W表示第一神经网络中的参数，α表示更新速率，损失函数根据选择的分类方法计算得到，并且用户可以根据实际情况自行选择分类方法以及设定更新速率，以加快第一神经网络的训练速度。
在一些实施例中，基于目标位置蒙版在图像中标注目标，包括：将图像中与目标位置蒙版中强度为1的位置对应的像素区域标注为目标区域，目标位置蒙版中强度为0的位置对应的像素区域标注为非目标区域，可以将目标位置蒙版与输入的原始图像进行与运算，从而将目标区域标注在图像上。
具体说来，对图像进行目标标注的方法包括利用图像样本集合对第一神经网络进行训练和利用训练好的对图像进行与目标相关的分类的第一神经网络对图像的目标位置进行标注两部分。
图3为根据本公开实施例的训练第一神经网络的示意图，如图3所示，首先将标注疾病种类的图像样本集合输入到第一神经网络中，第一神经网络的多层卷积神经网络的卷积核可以采用2×2、5×5等，在此不做具体限定，其激活函数层采用非线性激活函数对卷积层提取的图像特征进行激活，利用全连接层对最后一层卷积神经网络的池化层的输出赋予相应的权重，然后对全连接层的输出结果采用softmax分类方法进行分类，基于该分类结果计算损失函数并基于得到的损失函数对第一神经网络中的参数进行更新，如图3中的虚线所示。
图4(a)为根据本公开的对图像进行目标标注的方法的一个具体实施例的示意图，如图4(a)所示，将待标注目标的图像输入到利用图3得到的训练好的对图像进行与目标相关的分类的第一神经网络中，由处理器利用所获取的第一神经网络的多层卷积神经网络对该图像进行处理，第一神经网络输出待标注目标的图像所属的疾病种类，在多层卷积神经网络对该图像进行处理的过程中，对多层卷积神经网络中某一层的激活函数层的输出进行大值空间位置采样，例如，图4(a)所示的第10层，然后将该层的大值空间位置采样结果和该层的池化层的输出一同输入到至少一层反卷积神经网络中，依序经过反池化层、激活函数层和反卷积层后，对反卷积层的输出进行处理获得目标位置蒙版，通过将待标注目标的图像与该目标位置蒙版进行比较，获得带目标位置标注的图像。在一些实施例中，所述反卷积神经网络可以与卷积神经网络对应地设置，以便具有相同数量的层以及相同尺寸的卷积/反卷积核，也可以不对应地设置。例如，可以采用与卷积神经网络层数更少但核更大的反卷积神经网络。
图4(b)为根据本公开的对图像进行目标标注的方法的一个具体实施例的示意图，如图4(b)所示，将待标注目标的图像输入到利用图3得到的训练好的对图像进行与目标相关的分类的第一神经网络中，在第一神经网络的多层卷积神经网络对该图像进行处理的过程中，可以对某一层或某几层的激活函数层的输出进行大值空间位置采样，例如，图4(b)所示的第6层或第1层至第6层，然后将各个层的大值空间位置采样结果和未对激活函数层的输出进行大值空间位置采样的池化层的输出一同输入到反卷积神经网络中。在一些实施例中，反卷积神经网络的层数可以与进行大值空间位置采样的卷积神经网络的层数相对应，通过将第i层(i为层序数，且为自然数)卷积神经网络的激活函数层的输出进行大值空间位置采样，并基于该大值空间位置采样结果对第i层反卷积神经网络的反池化层的输入进行反池化，如此在应用大值空间位置采样结果时无需对其进行尺寸调整和配准，从而便利了处理进程。在反卷积神经网络中依序进行反池化、激活和反卷积后，对反卷积层的输出进行处理获得目标位置蒙版，通过将待标注目标的图像与该目标位置蒙版进行比较，获得带目标位置标注的图像。
图4(c)为根据本公开的对图像进行目标标注的方法的一个具体实施例的示意图，如图4(c)所示，将待标注目标的图像输入到利用图3得到的训练好的对图像进行与目标相关的分类的第一神经网络中，其中，反卷积神经网络与卷积神经网络对应地设置，在多层卷积神经网络对该图像进行处理的过程中，对各层的激活函数层的输出均进行大值空间位置采样，然后将最后一层的大值空间位置采样的结果和该层的池化层的输出一同输入到相对应的反卷积神经网络中，依序经过反池化层、激活函数层和反卷积层，然后将该反卷积层的输出和下一层的大值空间位置采样结果作为下一层的反卷积神经网络的反池化层的输入，以便下一层的反卷积神经网络的反池化层可以基于所述下一层的大值空间位置采样结果对上一层反卷积层的输出执行反池化，以此类推，直至第一神经网络的第1层，然后对第1层的反卷积层的输出进行处理获得目标位置蒙版，通过将待标注目标的图像与该目标位置蒙版进行比较，获得带目标位置标注的图像。
图5为根据本公开实施例的对图像进行目标标注的装置100的示意图，如图5所示，本公开还提供了一种对图像进行目标标注的装置100，该装置100包括通信接口110、存储器120以及处理器130，其中，通信接口110配置为接收图像，包括用于训练第一神经网络的图像样本集合和待标注目标的图像，存储器120上存储有计算机可执行指令，处理器130在执行计算机可执行指令时，实现根据本公开任一实施例所述的对图像进行目标标注的方法。具体说来，首先，通信接口110接收图像数据库提供的用于训练第一神经网络的图像样本集合，处理器130利用存储器120上存储的计算机可执行指令和接收到图像样本集合，对第一神经网络进行训练，以得到训练好的对图像进行与目标相关的分类的第一神经网络，在通信接口110接收到待标注目标的图像时，处理器130将该图像输入到训练好的第一神经网络中对该图像进行处理，获得该图像的目标位置蒙版并在该图像中标注出目标位置。
本公开所提供的对图像进行目标标注的装置100，通过对训练好的对图像进行与目标分类的第一神经网络的至少一层的激活函数层的输出进行大值空间位置采样，基于大值空间位置采样的结果将相应层的下采样层的输出映射到图像中，从而得到目标位置蒙版，该装置利用分类神经网络完成了分割神经网络的功能，前者的训练样本更容易获得，训练更容易。
本公开还提供了一种非暂时性的计算机记录介质，其上存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现如下步骤：获取训练好的对图像进行与目标相关的分类的第一神经网络，第一神经网络包括多层卷积神经网络和全连接层，每层卷积神经网络依序包括卷积层、激活函数层和下采样层；利用所获取的第一神经网络的多层卷积神经网络对图像进行处理；对第一神经网络的至少一层的激活函数层的输出进行大值空间位置采样；基于大值空间位置采样的结果将相应层的下采样层的输出映射到图像的坐标空间，以得到映射矩阵；基于映射矩阵获得目标位置蒙版；基于目标位置蒙版在图像中标注目标。
本公开描述了各种操作或功能，其可以实现为软件代码或指令或者定义为软件代码或指令。这样的内容可以是可以直接执行(“对象”或“可执行”形式)的源代码或差分代码(“delta”或“patch”代码)。这里描述的实施例的软件实现可以通过其上存储有代码或指令的制品提供，或者通过操作通信接口以通过通信接口发送数据的方法提供。机器或计算机可读存储介质可以使机器执行所描述的功能或操作，并且包括以可由机器(例如，计算装置、电子系统等)访问的形式存储信息的任何机制，例如可记录/不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存装置等)。通信接口包括与硬连线、无线、光学等介质中的任何一种接口以与其他装置通信的任何机制，例如存储器总线接口、处理器总线接口、因特网连接、磁盘控制器等。通信接口可以通过提供配置参数和/或发送信号来配置以准备通信接口，以提供描述软件内容的数据信号。可以通过向通信接口发送一个或多个命令或信号来访问通信接口。
本公开的实施例的计算机可执行指令可以组织成一个或多个计算机可执行组件或模块。可以用这类组件或模块的任何数量和组合来实现本公开的各方面。例如，本公开的各方面不限于附图中示出的和本文描述的特定的计算机可执行指令或特定组件或模块。其他实施例可以包括具有比本文所示出和描述的更多或更少功能的不同的计算机可执行指令或组件。
以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本公开。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本公开的主题可以少于特定的公开的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本公开的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。
以上实施例仅为本公开的示例性实施例，不用于限制本公开，本公开的保护范围由权利要求书限定。本领域技术人员可以在本公开的实质和保护范围内，对本公开做出各种修改或等同替换，这种修改或等同替换也应视为落在本公开的保护范围内。

Claims (13)

1.一种对图像进行目标标注的方法，其特征在于，所述方法包括：
获取训练好的对图像进行与目标相关的分类的第一神经网络，所述第一神经网络包括多层卷积神经网络和全连接层，每层卷积神经网络依序包括卷积层、激活函数层和下采样层；
由处理器，利用所获取的第一神经网络的所述多层卷积神经网络对所述图像进行处理；
由所述处理器，对所述第一神经网络的至少一层的激活函数层的输出进行大值空间位置采样；
由所述处理器，基于大值空间位置采样的结果将相应层的下采样层的输出映射到所述图像的坐标空间，以得到映射矩阵，其中，所述相应层为第一神经网络的多层卷积神经网络中的某一层或某几层；
由所述处理器，基于所述映射矩阵获得目标位置蒙版；
由所述处理器，基于所述目标位置蒙版在所述图像中标注所述目标。
2.根据权利要求1所述的对图像进行目标标注的方法，其特征在于，所述相应层的下采样层的输出经由至少一层反卷积神经网络映射到所述图像的坐标空间，各层反卷积神经网络依序包括上采样层、激活函数层和反卷积层。
3.根据权利要求2所述的对图像进行目标标注的方法，其特征在于，所述大值空间位置采样针对所述第一神经网络的各层的激活函数层的输出进行，所述反卷积神经网络与所述卷积神经网络对应地设置，基于所述大值空间位置采样的结果将相应层的下采样层的输出映射到所述图像的坐标空间包括：
将最后一层的下采样层的输出经由所述反卷积神经网络映射到所述图像的坐标空间，所述卷积神经网络的各层的大值空间位置采样的结果用于引导所述反卷积神经网络的相应各层的上采样。
4.根据权利要求2或3所述的对图像进行目标标注的方法，其特征在于，各层反卷积神经网络的反卷积层的输出作为下一层反卷积神经网络的上采样层的输入。
5.根据权利要求1所述的对图像进行目标标注的方法，其特征在于，对至少一层的激活函数层的输出进行大值空间位置采样，包括：
将所述至少一层的激活函数层的输出与第一预设阈值进行比较；
对比较结果进行二值化处理；
记录二值化处理结果中的大值元素的空间位置信息。
6.根据权利要求1所述的对图像进行目标标注的方法，其特征在于，基于所述映射矩阵获得目标位置蒙版，包括：
将所述映射矩阵中的各元素与第二预设阈值进行比较；
对比较结果进行二值化处理，以获得所述目标位置蒙版。
7.根据权利要求1所述的对图像进行目标标注的方法，其特征在于，所述方法还包括：利用标注疾病种类的图像样本集合对所述第一神经网络进行训练。
8.根据权利要求1所述的对图像进行目标标注的方法，其特征在于，所述目标包括病灶。
9.根据权利要求7所述的对图像进行目标标注的方法，其特征在于，所述训练使用的损失函数基于如下公式(1)来计算：
Figure FDA0003299506110000021
其中，fi表示疾病种类为i的图像输入到所述第一神经网络后被分类为i的分值，fj表示所述图像输入到所述第一神经网络后被分类为任意一类疾病的分值。
10.根据权利要求9所述的对图像进行目标标注的方法，其特征在于，所述训练包括：基于所述损失函数和如下公式(2)对所述第一神经网络中的各参数进行更新：
Figure FDA0003299506110000022
其中，L表示损失函数，W表示所述第一神经网络中的参数，α表示更新速率。
11.根据权利要求1所述的对图像进行目标标注的方法，其特征在于，基于所述目标位置蒙版在所述图像中标注所述目标，包括：
将所述图像中与所述目标位置蒙版中强度为1的位置对应的像素区域标注为目标区域。
12.一种对图像进行目标标注的装置，其特征在于，所述装置包括：
通信接口，其配置为接收图像；
存储器，所述存储器上存储有计算机可执行指令；以及
处理器，所述处理器执行所述计算机可执行指令时，实现根据权利要求1-11中任一项所述的对图像进行目标标注的方法。
13.一种非暂时性的计算机记录介质，其上存储有计算机可执行指令，其特征在于，所述计算机可执行指令被处理器执行时实现如下步骤：
获取训练好的对图像进行与目标相关的分类的第一神经网络，所述第一神经网络包括多层卷积神经网络和全连接层，每层卷积神经网络依序包括卷积层、激活函数层和下采样层；
利用所获取的第一神经网络的所述多层卷积神经网络对所述图像进行处理；
对所述第一神经网络的至少一层的激活函数层的输出进行大值空间位置采样；
基于大值空间位置采样的结果将相应层的下采样层的输出映射到所述图像的坐标空间，以得到映射矩阵，其中，所述相应层为第一神经网络的多层卷积神经网络中的某一层或某几层；
基于所述映射矩阵获得目标位置蒙版；
基于所述目标位置蒙版在所述图像中标注所述目标。
CN201910406757.3A 2019-05-16 2019-05-16 一种对图像进行目标标注的方法、装置及计算机记录介质 Active CN110110808B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910406757.3A CN110110808B (zh) 2019-05-16 2019-05-16 一种对图像进行目标标注的方法、装置及计算机记录介质
US17/253,216 US11735316B2 (en) 2019-05-16 2020-04-20 Method and apparatus of labeling target in image, and computer recording medium
PCT/CN2020/085613 WO2020228490A1 (zh) 2019-05-16 2020-04-20 对图像进行目标标注的方法、装置及计算机记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910406757.3A CN110110808B (zh) 2019-05-16 2019-05-16 一种对图像进行目标标注的方法、装置及计算机记录介质

Publications (2)

Publication Number Publication Date
CN110110808A CN110110808A (zh) 2019-08-09
CN110110808B true CN110110808B (zh) 2022-04-15

Family

ID=67490381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910406757.3A Active CN110110808B (zh) 2019-05-16 2019-05-16 一种对图像进行目标标注的方法、装置及计算机记录介质

Country Status (3)

Country Link
US (1) US11735316B2 (zh)
CN (1) CN110110808B (zh)
WO (1) WO2020228490A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110808B (zh) * 2019-05-16 2022-04-15 京东方科技集团股份有限公司 一种对图像进行目标标注的方法、装置及计算机记录介质
CN110490262B (zh) * 2019-08-22 2022-06-03 京东方科技集团股份有限公司 图像处理模型生成方法、图像处理方法、装置及电子设备
CN110866908B (zh) * 2019-11-12 2021-03-26 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及存储介质
CN111950643B (zh) * 2020-08-18 2022-06-28 创新奇智(上海)科技有限公司 图像分类模型训练方法、图像分类方法及对应装置
US20220188604A1 (en) * 2020-12-15 2022-06-16 Microchip Technology Inc. Method and Apparatus for Performing a Neural Network Operation
CN113505759B (zh) * 2021-09-08 2022-02-11 北京科技大学 多任务处理的方法、装置及存储介质
CN114565792B (zh) * 2022-02-28 2024-07-19 华中科技大学 一种基于轻量化卷积神经网络的图像分类方法和装置
CN114973423B (zh) * 2022-07-28 2022-10-25 聊城市飓风工业设计有限公司 用于儿童学习桌的坐姿监测的警示方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286524B1 (en) * 2015-04-15 2016-03-15 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
CN107203781A (zh) * 2017-05-22 2017-09-26 浙江大学 一种基于显著性指导的端到端的弱监督目标检测方法
CN109087327A (zh) * 2018-07-13 2018-12-25 天津大学 一种级联全卷积神经网络的甲状腺结节超声图像分割方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010000180A (ja) 2008-06-19 2010-01-07 Okayama Univ Ｃｔ像の再構成データ処理装置及び処理方法
EP3107031A1 (en) * 2015-06-18 2016-12-21 Agfa HealthCare Method, apparatus and system for spine labeling
US9773196B2 (en) * 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
CN106296699A (zh) * 2016-08-16 2017-01-04 电子科技大学 基于深度神经网络和多模态mri图像的脑肿瘤分割方法
US10366491B2 (en) * 2017-03-08 2019-07-30 Siemens Healthcare Gmbh Deep image-to-image recurrent network with shape basis for automatic vertebra labeling in large-scale 3D CT volumes
EP3662444B1 (en) * 2017-07-31 2022-06-29 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for automatic vertebrae segmentation and identification in medical images
CN108171232B (zh) * 2017-11-15 2021-12-28 中山大学 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法
US10902587B2 (en) * 2018-05-31 2021-01-26 GE Precision Healthcare LLC Methods and systems for labeling whole spine image using deep neural network
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN110110808B (zh) 2019-05-16 2022-04-15 京东方科技集团股份有限公司 一种对图像进行目标标注的方法、装置及计算机记录介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286524B1 (en) * 2015-04-15 2016-03-15 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
CN107203781A (zh) * 2017-05-22 2017-09-26 浙江大学 一种基于显著性指导的端到端的弱监督目标检测方法
CN109087327A (zh) * 2018-07-13 2018-12-25 天津大学 一种级联全卷积神经网络的甲状腺结节超声图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的遥感图像飞机目标识别研究;颜荔;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20181215;第3.2节 *

Also Published As

Publication number Publication date
CN110110808A (zh) 2019-08-09
US11735316B2 (en) 2023-08-22
US20210118137A1 (en) 2021-04-22
WO2020228490A1 (zh) 2020-11-19

Similar Documents

Publication Publication Date Title
CN110110808B (zh) 一种对图像进行目标标注的方法、装置及计算机记录介质
JP7391846B2 (ja) ディープニューラルネットワークを使用したコンピュータ支援診断
US10867384B2 (en) System and method for automatically detecting a target object from a 3D image
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
WO2019200753A1 (zh) 病变监测方法、装置、计算机设备和存储介质
Chan et al. Effective pneumothorax detection for chest X‐ray images using local binary pattern and support vector machine
EP3480786A1 (en) Medical image object detection with dense feature pyramid network architecture in machine learning
US20190057488A1 (en) Image processing method and device
CN112862745B (zh) 基于人工神经网络的组织病变识别的训练方法及训练系统
Gamage et al. Instance-based segmentation for boundary detection of neuropathic ulcers through Mask-RCNN
CN113781488A (zh) 舌象图像的分割方法、装置及介质
KR20200110111A (ko) 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 방법 및 동적 다차원 질병진단 장치
Xu et al. Mammographic mass segmentation using multichannel and multiscale fully convolutional networks
EP4327333A1 (en) Methods and systems for automated follow-up reading of medical image data
Pal et al. A fully connected reproducible SE-UResNet for multiorgan chest radiographs segmentation
CN117635625A (zh) 基于自动数据增强策略和多注意力辅助UNet的胰腺肿瘤分割方法
CN117523350A (zh) 基于多模态特征的口腔影像识别方法、系统及电子设备
CN111339993A (zh) 一种x射线图像金属检测方法和系统
CN113469962B (zh) 一种面向癌症病变检测的特征提取和图文融合方法及系统
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN110570417B (zh) 肺结节分类装置及图像处理设备
CN113379691A (zh) 一种基于先验引导的乳腺病灶深度学习分割方法
CN116258717B (zh) 病灶识别方法、装置、设备和存储介质
CN117392468B (zh) 基于多示例学习的癌症病理图像分类系统、介质及设备
Alam et al. Automatic brain tumor segmentation using U-ResUNet chain model approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant