CN110866908B - 图像处理方法、装置、服务器及存储介质 - Google Patents

图像处理方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN110866908B
CN110866908B CN201911103557.7A CN201911103557A CN110866908B CN 110866908 B CN110866908 B CN 110866908B CN 201911103557 A CN201911103557 A CN 201911103557A CN 110866908 B CN110866908 B CN 110866908B
Authority
CN
China
Prior art keywords
image
positioning
abnormal
target
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911103557.7A
Other languages
English (en)
Other versions
CN110866908A (zh
Inventor
罗莉舒
尚鸿
孙钟前
郑瀚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911103557.7A priority Critical patent/CN110866908B/zh
Publication of CN110866908A publication Critical patent/CN110866908A/zh
Priority to PCT/CN2020/115768 priority patent/WO2021093448A1/zh
Priority to EP20886491.8A priority patent/EP4006831A4/en
Application granted granted Critical
Publication of CN110866908B publication Critical patent/CN110866908B/zh
Priority to US17/515,174 priority patent/US20220051405A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像处理方法、装置、服务器及存储介质，具体涉及人工智能领域的计算机视觉技术，其中方法包括：获取待检测图像，并对待检测图像进行下采样异常分类处理，得到异常类别预测标签和目标特征图；基于异常类别预测标签以及目标特征图像进行初步异常定位处理，得到待检测图像对应的初始定位图像；对初始定位图像进行上采样异常定位处理，得到待检测图像对应的目标定位图像；输出异常类别预测标签和目标定位图像。采用本发明实施例，可以较高效地对待检测图像进行异常检测。

Description

图像处理方法、装置、服务器及存储介质
技术领域
本发明涉及人工智能技术的图像处理领域，具体涉及图像处理方法、装置、服务器及存储介质。
背景技术
目前，通过对包括异常区域的图像进行分析以确定异常区域所属的异常类别以及发生异常的具体位置是目前常用的异常分类方法。例如，在医学领域中，通过采集内窥镜设备对病人进行内镜检查得到的图像，医生通过对图像进行分析处理可以确定病人所患疾病以及发病位置；在车辆检测领域中，维修人员或其他技术人员通过对包括车辆故障位置图像进行分析处理，可以确定车辆故障所述的故障类型，以及发生该或引起该故障的具体位置等。
在上述异常分类方法中，通常是专门的技术人员对采集到的图像进行分析处理，从而确定异常类型以及发生异常的具体位置。如此一来，在异常分类过程中需要耗费大量的人力，并且检测效率不高。目前，随着计算机视觉技术的兴起，将计算机视觉技术应用在图像检测中成为图像检测的新趋势，因此，当今如何基于计算机视觉技术进行高效的图像检测成为研究的热点问题。
发明内容
本发明实施例提供了一种图像处理方法、装置、服务器及存储介质，可以较高效地对待检测图像进行异常检测。
一方面，本发明实施例提供了一种图像处理方法，包括：
获取待检测图像，并对所述待检测图像进行下采样异常分类处理，得到异常类别预测标签和目标特征图像；
基于所述异常类别预测标签以及所述目标特征图像进行初步异常定位处理，得到所述待检测图像对应的初始定位图像；
对所述初始定位图像进行上采样异常定位处理，得到所述待检测图像对应的目标定位图像；
输出所述异常类别预测标签和所述目标定位图像；
其中，所述初始定位图像和所述目标定位图像用于反映所述异常类别预测标签关联的目标区域的属性信息。
另一方面，本发明实施例提供了一种图像处理装置，包括：
获取单元，用于获取待检测图像；
处理单元，用于对待检测图像进行下采样异常分类处理，得到异常类别预测标签和目标特征图像；
所述处理单元，还用于基于所述异常类别预测标签和所述目标特征图像进行初步定位处理，得到所述待检测图像对应的初始定位图像；
所述处理单元，还用于对所述初始定位图像进行上采样定位处理，得到所述待检测图像的目标定位图像；
输出单元，用于输出所述异常类别预测标签和所述目标定位图像；
其中，所述初始定位图像和所述目标定位图像用于反映所述异常类别预测标签关联的目标区域的属性信息。
再一方面，本发明实施例提供了一种服务器，所述服务器包括：
处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如下步骤：
获取待检测图像，并对所述待检测图像进行下采样异常分类处理，得到异常类别预测标签和目标特征图像；
基于所述异常类别预测标签以及所述目标特征图像进行初步异常定位处理，得到所述待检测图像对应的初始定位图像；
对所述初始定位图像进行上采样异常定位处理，得到所述待检测图像的目标定位图像；
输出所述异常类别预测标签和所述目标定位图像；
其中，所述初始定位图像和所述目标定位图像用于反映所述异常类别预测标签关联的目标区域的属性信息。
又一方方面，本发明实施例提供了一种医疗图像处理设备，所述医疗图像采集器、医疗图像分析器以及医疗图像显示器，所述医疗图像采集器与所述医疗图像分析器相连接，所述医疗图像显示器与所述医疗图像分析器相连；
所述医疗图像采集器，用于获取医疗图像；
所述医疗图像分析器，用于对所述医疗图像进行下采样疾病分类处理，得到疾病类别预测标签和目标特征图像；
所述医疗图像分析器，还用于基于所述疾病类别预测标签以及目标特征图像进行初步定位处理，得到所述医疗图像对应的初始定位图像；
所述医疗图像分析器，还用于对所述初始定位图像进行上采样定位处理，得到所述医疗图像对应的目标定位图像；
所述医疗图像分析器，还用于将所述疾病类别预测标签和所述目标定位图像输出至所述医疗图像显示器；
所述医疗图像显示器，用于显示所述疾病类别预测标签和所述目标定位图像；
其中，所述初始定位图像和所述目标定位图像用于反映所述疾病类别预测标签关联的目标区域的属性信息。
又一方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如下步骤：
获取待检测图像，并对所述待检测图像进行下采样异常分类处理，得到异常类别预测标签和目标特征图像；
基于所述异常类别预测标签以及所述目标特征图像进行初步异常定位处理，得到所述待检测图像对应的初始定位图像；
对所述初始定位图像进行上采样异常定位处理，得到所述待检测图像对应的目标定位图像；
输出所述异常类别预测标签和所述目标定位图像。
本发明实施例中，可以通过对待检测图像进行下采样异常处理得到异常类别预测标签；进一步的，本发明实施例中，基于异常类别预测标签和下采样异常处理过程中获取到的目标特征图像进行初步异常定位处理，紧接着，再对初步异常处理得到的初始定位图像进行上采样定位处理，得到待检测图像对应的目标定位图像，采用本发明实施例不仅可以得到待检测图像对应的异常类别预测标签，还可以对发生异常的区域进行定位，实现了高效地对待检测图像进行检测。另外在对异常区域进行定位时，经过两次定位处理，可以保证定位结果更加准确。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种异常定位模型的结构示意图；
图2是本发明实施例提供的一种图像处理方法的流程示意图；
图3是本发明实施例提供的一种确定目标特征权重向量的示意图；
图4a是本发明实施例提供的一种初始定位图像的示意图；
图4b是本发明实施例提供的一种目标定位图像的示意图；
图5是本发明实施例提供的另一种图像检测模型的结构示意图；
图6是本发明实施例提供的另一种图像处理方法的流程示意图；
图7a是本发明实施例提供的一种第二样本图像以及优化图像的示意图；
图7b是本发明实施例提供的一种确定第一概率和第二概率的示意图；
图8a是本发明实施例提供的一种医疗图像处理设备的结构示意图；
图8b是本发明实施例提供的一种医疗图像处理设备进行图像处理示意图；
图8c是本发明实施例提供的一种医疗图像显示器的用户界面的示意图；
图9a是本发明实施例提供的一种医疗图像处理的应用场景图；
图9b是本发明实施例提供的一种对医疗图像处理的示意图；
图10是本发明实施例提供的一种图像处理装置的结构示意图；
图11是本发明实施例提供的一种服务器的结构示意图。
具体实施方式
随着人工智能技术的研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、智能医疗以及智能音箱等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。本申请实施例提供的方案涉及人工智能技术中的计算机视觉技术，所述计算机视觉(Computer Vision，CV)技术能够利用摄影机和智能终端代替人眼对目标对象进行识别、跟踪和测量并处理输出更适合人眼观察或者传送给特定仪器检测的图像。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在对通过图像进行异常检测的研究中发现，可以预先训练用于检测异常类别和异常定位的图像检测模型，当需要对待检测图像进行检测时，调用预先训练完成的图像检测模型对待检测图像进行分析处理，便可得到待检测图像包括的异常类别以及发生异常的异常区域的属性信息，所述属性信息可以包括异常区域的具体位置和大小。其中，在不同应用领域中，所述异常区域的含义不同。例如，在医学领域中，所谓异常区域可以指发生病变的区域；在车辆领域中，所述异常区域可以指发生故障的车辆组件；在其他领域中，所述异常区域可以指特定物体所在区域，比如待检测图像中包括云朵、太阳以及飞机，可以将云朵、太阳或者飞机所在位置称为待检测图像的异常区域。
发明人在对图像检测模型训练的研究过程中发现，图像检测模型的训练可以包括以下几种：
第一种是基于常规的有监督学习训练图像检测模型。所谓基于常规的有监督学习训练图像检测模型是指训练样本对应的标签与图像检测模型所具有的功能具有相同粒度。所谓相同粒度可以理解为：想要图像检测模型具有哪些功能，在训练时就需要为训练样本添加哪些功能对应的标签，换句话说，图像检测模型具有几种能力，对图像检测模型训练时就需要几种标签。比如想要图像检测模型具有异常分类能力，需要为样本图像数据添加异常类别标签，该异常类别标签用于指示样本图像数据包括的异常所属的异常类别；再如，需要图像检测模型具有异常定位功能，需要为样本图像添加位置标签，该位置标签反映样本图像数据中发生异常的位置。
举例来说，如果图像检测模型应用在医疗影像的自动诊断中，则基于常规的有监督学习对图像检测模型进行训练的过程可以为：首先需要收集大量的医疗影像资料，由专业的医生为其添加疾病类别标签；接下来用这些添加疾病类别标签的医疗影像对图像检测模型进行训练，使其能够精确拟合医疗影像和对应疾病类别标签之间的映射关系；最后训练完成的图像检测模型，只需要输入没有标签的原始医疗图像，便能得到该原始医疗图像对应的疾病类别标签。
第二种是基于弱监督学习的图像检测模型训练。所谓弱监督学习是指训练样本对应的标签的粒度低于与图像检测模型所具有的功能的粒度。比如图像检测模型的功能是对内窥镜图像中疾病进行分类识别和对发生疾病的病变区域定位，此时训练样本只有对应的疾病类别标签即可。
综合比较上述两种图像检测模型的训练方法，在基于常规的有监督学习的图像检测模型训练过程，需要人工为训练样本标注异常类别标签和异常定位标签，工作量大且繁琐。此外，在某些领域，对异常定位的标注是很难实现的，例如在医学领域中，对病变位置和大小的标注需要更多的人力物力，实现难度系数较高，一旦标注出错就会严重影响图像检测模型异常定位的准确性。
而在基于弱监督学习的图像检测模型训练过程中，只需要为训练样本标注异常类别标签即可。与上述方法相比，该种方法省去了标注定位标签的步骤，可以节省人力物力，同时也避免了由于定位标签出错对图像检测模型准确性的影响。
综上所述，在下面的描述中，本发明实施例采用基于弱监督学习的训练方式进行图像检测模型的训练。参考图1，为本发明实施例提供的一种图像检测模型的结构示意图。图1所示的结构示意图可包括异常分类子模型101、初始定位模块102以及异常定位子模型103，异常分类子模型101用于进行下采样异常分类处理，初始定位模块102用于基于下采样异常处理结果进行初步异常定位，异常定位子模型103用于基于初步异常定位的结果进行上采样异常定位处理。
在一个实施例中，异常分类子模型101可以是已经训练完成的具有异常分类能力的模型，可以直接用于进行下采样异常处理；或者，异常分类子模型101也可以是未训练的模型。由于初始定位模块102和异常定位子模型103在进行异常定位时，都需要直接或间接依赖异常分类子模型101的处理结果，因此，为了保证异常定位的准确性，首先要保证异常分类子模型101进行下采样异常分类处理的结果较为准确。如果异常分类子模型101是未训练的模型，在对图像检测模型进行训练时，首先要对异常分类子模型101进行训练。
在一个实施例中，异常分类子模型101可以为具有图像识别功能的任意一种图像识别模型。可选的，卷积神经网络模型由于其较强的特征提取性能成为目前常用的图像识别模型，本发明实施例中，异常分类子模型101可以为卷积神经网络模型，例如res-net模型、dense-net模型、VGG以及GoogleNet模型中的任意一个。在一个实施例中，卷积神经网络模型主要包括负责特征提取的全卷积层、用于缩减输入数据规模的池化层、以及根据池化层的输出计算分类的分类值的全连接层，以及进一步进行分类处理并输出分类结果的softmax层。所述池化层可以包括全局平均池化层、最大池化层、重叠池化层等，在不同卷积神经网络模型中池化层不同。其中，每个卷积层负责提取不同的特征，得到特征图像，前一个卷积层得到的特征图像作为后一个卷积层的输入。每个卷积层负责提取的特征可以是根据特定函数设定的，或者是人为设定的。例如，对于图形类的图像识别时，可以设定第一卷积层负责提取图形的整体形状特征；第二卷积层负责提取图形的线条特征；第三卷积层负责提取图形的非连续性特征等。再如，对于包含人脸的图像识别时，可以设定第一卷积层负责提取人脸的轮廓特征；第二卷积层负责提取人脸的五官特征。每个卷积层包括多个特征提取通道，每个特征提取通道中包括多个相同尺寸的用于进行卷积计算的滤波器。
基于上述，在图1中示出了异常分类子模型101包括的主要部分，具体地包括：全卷积层(也叫下采样层)和softmax层。由图1中可知，异常分类子模型101的全卷积层中包括多个卷积层。在本发明实施例中，异常分类子模型101还包括全局平均池化层和全连接层(图1中未示出)，该全局平均池化层位于全卷积层和全连接层之间，全连接层与softmax层连接。
可选的，异常分类子模型101是基于第一样本图像和所述第一样本图像对应的异常类别监督标签训练得到的，对于具体的训练过程将在后面详细描述。
在一个实施例中，对异常分类子模型101训练完成后，基于训练完成的异常分类子模型101以及初始定位模块102对目标定位子模型103进行训练。具体的过程可以是：获取第二样本图像，该第二样本图像可以与第一样本图像相同，也可以不同；调用训练完成的异常分类子模型101对第二样本图像进行异常分类处理，得到异常类别训练标签；并提取在对第二样本图像进行异常分类处理过程中产生的训练特征图像，该训练特征图像可以是异常分类子模型101的全卷积层的最后一个卷积层进行特征提取得到的。紧接着，初始定位模块102块基于训练特征图像和异常类别训练标签进行异常定位处理，得到对第二样本图像中异常区域进行异常定位的第一定位图像。其中，初始定位模块102可包括特征过滤器和类别标识获取模块两部分，特征过滤器用于对训练特征图像进行处理，类别标识获取模块用于获取与异常类别训练标签对应的类别标识，该类别标识可以是异常类别训练标签所指示的异常类别对应的标识号，比如标识号0对应无异常，标识号1对应异常类型1，标识号2对应异常类型2。进一步的，调用异常定位子模型103对第一定位图像进行异常定位处理，得到第二定位图像；最后，根据第二定位图像和第二样本图像确定用于训练异常定位子模型103的目标损失函数的值，按照减小该目标损失函数的值的方向优化异常定位子模型103，最终得到训练完成的异常定位子模型。
在一个实施例中，对异常定位子模型103训练完成，也就意味着图像检测模型训练完成。当获取到待检测图像时，可以调用训练完成后的图像检测模型中各个子模型或者模块对待检测图像进行处理，得到待检测图像中包括的异常类别以及发生异常的异常位置和异常区域大小。
基于上述的图像检测模型，本发明实施例提供了一种图像处理方法。参考图2，为本发明实施例提供的一种图像处理方法的流程示意图。图2所示的图像处理方法可以由服务器执行，具体可由服务器的处理器执行。图2所示的图像处理方法可以包括以下步骤：
步骤S201、获取待检测图像，并对待检测图像进行下采样异常分类处理，得到异常类别预测标签和目标特征图像。
在一个实施例中，所述待检测图像可以是终端发送的，比如医生通过内窥镜设备对病人进行内窥镜检测，内窥镜设备上配置的视频采集模块采集内窥镜视频数据，内窥镜设备或者与内窥镜相连的终端可以将视频数据进行图像分帧处理，得到多帧图像；进一步的，将得到的多帧图像作为待检测图像发送给服务器；在其他实施例中，所述待检测图像也可以是服务器接收终端发送的视频数据，对视频数据进行图像分帧处理得到的。
其中，所述异常类别预测标签用于反映待检测图像中是否存在异常，以及如果存在异常，异常所属的异常类型。举例来说，如果待检测图像为医疗图像，异常类别预测标签可以指示待检测图像中是否存在疾病，如果存在疾病，该疾病属于何种类型疾病，比如肿瘤、胃癌、肝硬化等。异常类别预测标签可以包括用于表示某种异常的目标类别标识，或者异常类别预测标签还可以包括存在该种异常类别的概率。例如，预先设置无异常的目标类别标识为0，异常类别1的类别标识为1，异常类别2的类别标识为2。基于上述描述，所述异常类别预测标签可以为(1，60％)、(2，40％)，其中，数字1,2标识类别标识，后面百分数表示存在相应异常类别的概率。在一个实施例中，上述异常类别预测标签的数量为一个。如果对待检测图像进行异常分类，得到多个异常分类预测标签，则从中选择置信度最高的作为待检测图像对应的异常类别预测标签。
在一个实施例中，所述对待检测图像进行下采样异常处理的目的是为了确定待检测图像中是否存在异常，如果存在异常，具体是何种类别的异常。在一个实施例中，对待检测图像进行下采样异常处理的方式可以包括：通过至少一个卷积模块对所述待检测图像进行卷积处理，提取出待检测图像包括的特征；基于提取到的特征进行异常检测，得到异常类别预测标签。可选的，上述至少一个卷积模块可以是直接配置于服务器中的；或者，服务器中可运行异常分类子模型，所述异常分类子模型中可包括卷积层，上述至少一个卷积模块也可以指异常分类子模型的卷积层。在下面的描述中，均以卷积模块为异常分类子模型的卷积层为例进行描述。
由前述可知，所述异常分类子模型主要用于对待检测图像进行异常分类，得到待检测图像的异常类别预测标签。所述异常分类子模型可以是基于第一样本图像和第一样本图像对应的异常类别监督标签训练得到的，所述异常类别监督标签反映了第一样本图像中是否包括异常以及如果包括异常，所述异常所属的异常类别。所述异常类别监督标签可以是人工对第一样本图像进行标注得到的；或者，所述异常类别监督标签也可以是通过人工标注和标注模型共同标注得到的。所述异常分类子模型的每个卷积层包括多个特征提取通道，每个特征提取通道包括多个尺寸相同的用于卷积计算的滤波器。基于此，所述对待检测图像进行下采样异常处理的方式可以包括：通过至少一个卷积模块对所述待检测图像进行卷积处理，包括：通过至少一个卷积模块中的多个滤波器对待检测图像进行卷积处理。
具体实现中，对待检测图像进行卷积处理是指每个卷积模块对待检测图像进行卷积处理得到对应的特征图像；将该特征图作为下一个卷积模块的输入，以使得下一个卷积模块对该特征图进行卷积处理，以此类推，直至最后一个卷积模块进行卷积处理后，输出最后一层的特征图像，该最后一层的特征图像中包含了待检测图像的空间结构信息。
在步骤S201中，所述目标特征图像是指在对待检测图像进行下采样异常分类处理过程中产生的特征图像，为了后续基于目标特征图像和异常类别预测标签进行初步定位处理时，得到准确性较高的初始定位图像，本发明实施例中，将最后一个卷积模块输出的特征图像确定为目标特征图像。
步骤S202、基于异常类别预测标签以及目标特征图像进行初步异常定位处理，得到待检测图像对应的初始定位图像。
其中，初始定位图像可以用于粗略反映异常类别预测标签关联的目标区域的属性信息，所述属性信息包括目标区域的位置和大小。其中，如果异常类别预测标签指示待检测图像中不存在异常，则所述异常类别预测标签关联的目标区域不存在；如果异常类别预测标签指示待检测图像中存在某种类型的异常，则所述异常类别预测标签关联的目标区域是指发生该种类型异常的区域。可选的，目标区域的属性信息可以是以标注框的形式显示的，标注框的位置表示发生异常的区域所在位置，标注框的大小表示发生异常的区域的大小。
在一个实施例中，所述基于异常类别预测标签以及目标特征图像进行初步异常定位处理，得到待检测图像对应的初始定位图像的实施方式可以是：基于异常类别预测标签对应的目标类别标识以及目标特征图像进行初步异常定位处理，得到所述初始定位图像。其中，所述异常类别预测标签对应的目标类别标识是用来唯一标识异常类别预测标签所指示的异常的，该目标类别标识可以是异常类别号，异常类别号可以是预先设置的，比如在医学领域中，可以设置为异常类别号0表示无病变，异常类别号1表示胃炎，异常类别号2表示肠炎，异常类别号3表示胃癌等等。
具体可选地，步骤S302中所述基于所述异常类别预测标签以及所述目标特征图像进行初步异常定位处理，得到所述待检测图像对应的初始定位图像，包括：获取与所述异常类别预测标签对应的目标类别标识；调用初始定位模块获取与所述目标类别标识对应的目标特征权重向量，并将所述目标特征权重向量与所述目标特征图像进行叠加处理，得到所述初始定位图像。其中，所述初始定位模块可以是配置于服务器中的模块，也可以是独立运行的模块。可选的，初始定位模块可以包括特征过滤器和类别标识获取模块，所述初始定位模块可以通过类别标识获取模块获取目标类别标识，特征过滤器用于获取与目标类别标识对应的目标特征权重向量。
在一个实施例中，获取与所述异常类别预测标签对应的目标类别标识的实施方式可以为：服务器可以预先设置多个异常类别与类别号之间的对应关系，当通过对待检测图像进行下采样异常分类处理得到异常类别预测标签时，确定所述异常类别预测标签所指示的异常，进一步的，类别标识获取模块在预先设置的对应关系中查找与确定出的异常对应的目标类别标识。
在其他实施例中，所述获取与所述异常类别预测标签对应的目标类别标识的实施方式还可以为：类别标识获取模块接收终端发送的目标类别标识。应当理解的，当在步骤S201中确定出异常类别预测标签之后，可以将异常类别预测标签发送给终端，由终端将异常类别预测标签显示在终端的用户界面中以供用户查看。如果用户想要进一步对待检测图像进行异常定位，可以在终端的用户界面中输入定位处理的触发操作，例如终端的用户界面中可包括异常定位的触发选项，当用户点击该选项时表明用户输入了定位处理的触发操作。用户在输入触发操作的同时可以在用户界面中选择或输入与异常类别预测标签对应的目标类别标识；终端在检测到触发操作时，将用户输入的目标类别标识发送给类别标识获取模块。在一个实施例中，如果异常类别预测标签的数量为至少两个，则用户在用户界面中输入定位处理的触发操作时，还应该指出对哪个异常类别预测标签所表示的异常进行定位处理。
由前述可知，异常分类子模型还可以包括全连接层和池化层，池化层用于对最后一个卷积层输出的目标特征图进行缩减处理，例如最后一个卷积层输出的目标特征图像表示为[N，7，7，2048]，N表示特征提取通道数，2048表示每个特征提取通道中滤波器的个数，7x7表示滤波器的尺寸，将该目标特征图像经过全局平均池化后得到的特征图像为[N，1，1，2048]。全连接层用于根据池化后的目标特征图像计算分类值。
在一个实施例中，为了得到与目标类别标识对应的目标特征权重向量，一般有两种方法：一种是非训练的方法，另一种是训练的方法。参考图3，为本发明实施例提供的一种通过非训练法确定目标特征权重向量和初始定位图像的示意图。在图3中，将输入的待检测图像经过全卷积层，得到目标特征图像；然后将目标特征图像进行全局平均池化，最后输入到全连接层得到分类结果。目标特征图像经过全局平均池化之后，对于每一个异常类别x来说，池化后每个通道的目标特征图像都有一个对应的权重参数，可以记为
Figure GDA0002704874700000111
其中x表示一个异常类别，k表示池化后每个通道的目标特征图像，k的取值可以为1到N之间，N表示通道数。进一步的，从上述
Figure GDA0002704874700000121
中选择与目标类别标识所指示的异常关联的权重参数，作为目标特征权重向量。例如，目标类别标识所指示的异常类别为c，从
Figure GDA0002704874700000122
中选择c这个异常类别对应的权重参数作为目标特征权重向量，可以记为
Figure GDA0002704874700000123
进一步的，将异常类别c对应的目标特征权重向量与池化之前的目标特征图像进行加权处理，便可得到热力图，该热力图即为初始定位图像。
在一个实施例中，在将目标特征权重向量和目标特征图像进行加权处理后，还加了一个ReLU，加入ReLU可以过滤掉其他不属于异常类别c的像素点，可以增强对异常类别c有影响的像素点。
在图3中确定目标特征权重向量时，全连接层采用的是全局平均池化的全连接层，而非传统的全连接层，这是由于传统全连接层将全卷积层的多层的神经元直接拉伸为一个向量，破坏了像素之间的空间结构信息，且参数量巨大。采用全局平均池化的方法能够保留目标特征图像所蕴含的空间信息，有利于对目标异常区域进行定位。
对于通过训练法获取目标特征权重向量，主要借鉴embedding的思想，embedding的本质也是学习一种映射关系，即从语义空间(类别号)到向量空间(特征图各通道的权重向量)的映射。举例来说，假设总的异常类别的数量为m，embedding参数为
Figure GDA0002704874700000124
尺寸为[m，N]。假设目标类别标识为向量selector(例如目标类别标识0：[0])，则embedding操作后得到的向量embedding_vec尺寸为[1，N]，也就是异常类别0对应映射到N长向量空间中的向量，输入不同的类别标识，经过embedding操作后可以得到N长向量空间中不同的向量。该N长向量和目标特征图F_n(x,y)相乘后得到激活向量，即activation_vec(x,y)＝sigmoid(F_n(x,y)*embedding_vec)，该向量可以理解为对应异常在特征图上的权重向量。最后activation_vec*F_n(x,y)加权即得到初步定位图。
步骤S203、对初始定位图像进行上采样异常定位处理得到待检测图像对应的目标定位图像。
相比于步骤S202中的初始定位图像，目标定位图像可以用于较为精确的反映出异常类别预测标签关联的目标区域的属性信息。参考图4a为本发明实施例提供的一种初始定位图像的示意图，图4b为本发明实施例提供的一种目标定位图像的示意图，在图4a中401表示目标区域，图4b中402表示目标区域，由图可见，在图4a中除了隐约看到目标区域外，还可以看到其他区域403；但是，在图4b中能够清晰的看到目标区域的位置和大小，并且看不到其他区域。
在一个实施例中，所述对初始定位图像进行上采样异常定位处理，得到目标定位图像的实施方式可以为：调用异常定位子模型对初始定位图像进行上采样异常定位处理得到目标定位图像。所述异常定位子模型是基于第二样本图像对应的异常类别训练标签以及第二样本图像对应的第一定位图像训练得到的；其中，异常类别训练标签是调用训练完成的异常分类子模型对第二样本图像进行下采样异常处理得到的；第一定位图像是调用所述初始定位模块基于所述异常类别训练标签进行初步异常定位处理得到的。对于基于第二样本图像对应的异常类别训练标签以及第二样本图像对应的第一定位图像训练得到异常定位子模型的具体过程，将在后面的实施例中进行阐述。
在一个实施例中，上述异常分类子模型、初始定位模块以及异常定位子模型可以组成一个图像检测模型，所述图像检测模型可以用于对待检测图像进行检测，输出待检测图像对应的异常类别预测标签以及待检测图像对应的目标定位图像。在其他实施例中，异常分类子模型、初始定位模块以及异常定位子模型也可以是三个独立的模型，服务器可以调用异常分类子模型执行步骤S201，调用初始定位模型执行步骤202以及调用异常定位子模型执行步骤S203。在本发明实施例的下面描述中，以异常分类子模型、初始定位模块以及异常定位子模型组成一个图像检测模型为例，该图像检测模型的示意图可如图1所示。
步骤S204、输出异常类别预测标签和目标定位图像。
在一个实施例中，服务器在得到待检测图像对应的目标定位图像之后，可以将异常类别预测标签以及目标定位图像一起输出给终端，由终端显示在用户界面上以供用户查看。
在一个实施例中，假设在步骤S201中，通过调用图1所示图像检测模型中的异常分类子模型对待检测图像进行下采样异常分类处理得到异常类别预测标签以及目标特征图像，所述下采样异常分类处理包括异常分类子模型的多个卷积模块对待检测图像进行卷积处理，所述目标特征图像可以是最后一个卷积模块进行卷积处理得到的。在步骤S202中基于目标特征图和异常类别预测标签得到的初始定位图像分辨率较低，需要通过步骤S203进一步的对初始定位图像进行上采样精修处理，得到分辨率较高的目标定位图像。
在一个实施例中，为了得到较高分辨率较为清晰的目标定位图像，异常分类子模型中用于下采样处理的卷积模块的数量应该大于异常定位子模型中用于上采样处理的上采样模块的数量。举例来说，参考图5，为本发明实施例提供的另一种图像检测模型的结构示意图，501表示异常分类子模型、502表示初始定位模块、503表示异常定位子模型，假设异常分类子模型501为卷积神经网络模型中的resent-50模型，resent-50模型中包括5个卷积模块和softmax层，待检测图像的尺寸为224*224，经过5个卷积模块进行5次下采样处理之后，得到目标特征图的尺寸为7*7。初始定位模块对目标特征图像进行初始定位处理得到初始定位图像后尺寸不变仍为7*7；进一步的，异常定位子模型503对初始定位图像进行3次上采样处理，得到的目标定位图像的尺寸为56*56，边长仅为待检测图像的1/4，然后经过插值的方法将目标定位图像的尺寸恢复到224*224。不直接在目标定位子模块采用5个上采样模块是因为图5所示的图像检测模型中在异常分类子模型501和异常定位子模型503之间有捷径的存在，采用该种结构可以融合待检测图像以便于进行特征对齐。另外，越上层的特征图像包括的都是较为底层的语义，异常定位子模型503进行定位时需要更多的具有判断力的高层语义信息，过多底层语义会使定位不准确。
本发明实施例中，当需要进行图像检测时，首先对获取到的待检测图像进行下采样异常分类处理得到异常类别预测标签和目标特征图像；紧接着，基于异常类别预测标签和目标特征图像进行初步异常定位处理，得到待检测图像对应的初始定位图像；进一步的，对所述初始定位图像进行上采样异常定位处理，得到所述待检测图像对应的目标定位图像；最后输出异常类别预测标签和目标定位图像。在上述的图像检测过程中，可以通过对待检测图像进行下采样异常处理得到异常类别预测标签，与现有技术中人为分析得到异常的方法相比，节省人力并且更加高效；进一步的，本发明实施例中，基于异常类别预测标签和下采样异常处理过程中获取到的目标特征图像进行初步异常定位处理，紧接着，再对初步异常处理得到的初始定位图像进行上采样定位处理，得到待检测图像对应的目标定位图像，经过两次定位处理，可以保证得到的目标定位图像更加准确。
基于上述的图像处理方法，本发明实施例还提供了另一种图像处理方法，参考图6，为本发明实施例提供的另一种图像处理方法的流程图。图6所示的图像处理方法可由服务器以及服务器调用图像检测模型执行，所述图像检测模型可包括异常分类子模型、初始定位模块以及异常定位子模型。图6所示的图像处理方法可包括如下步骤：
步骤S601、基于第一样本图像和第一样本图像对应的异常类别监督标签对异常分类子模型进行训练。
其中，第一样本图像的数量为多个，多个第一样本图像可以均为正样本，也即所有的第一样本图像中均包括异常，此时第一样本图像对应的异常类别监督标签用于表示各个第一样本图像中的异常类别。在其他实施例中，为了提高异常分类子模型能够准确地进行异常分类，多个第一样本图像中可以包括正样本和包括负样本，也即多个第一样本图像中有一部分第一样本图像中包括异常，有一部分第一样本图像中不存在异常，对于负样本来说，异常类别监督标签用于表示负样本中不包括异常。在本发明实施例的下面描述中，以只采用正样本对异常分类子模型进行训练为例。
在一个实施例中，基于第一样本图像以及第一样本图像对应的异常类别监督标签对异常分类子模型进行训练的实施方式可以为：调用异常分类子模型对第一样本图像进行下采样异常分类处理，得到异常分类子模型输出的第一异常类别标签；基于第一异常类别标签和异常类别监督标签确定第一损失函数的值；按照减小所述第一损失函数的值的方向调整所述异常分类子模型的参数，直到所述第一损失函数的值达到最小，则确定当前的异常分类子模型是最优先的。可选的，此时所述的第一损失函数可以是交叉熵代价函数。
步骤S602、基于第二样本图像对应的异常类别训练标签以及第二样本图像对应的第一定位图像对异常定位子模型进行训练。
其中，第二样本图像可以与第一样本图像相同，也可以与第一样本图像不同。在一个实施例中，第二样本图像对应的异常类别训练标签用于反映第二样本图像存在的异常类别，所述异常类别训练标签可以是调用步骤S601中训练完成的异常分类子模型进行下采样异常分类处理得到的。在其他实施例中，第二样本图像对应的异常类别训练标签也可以是调用其他能够进行异常识别的模型对第二样本图像进行异常分类处理得到的。本发明实施例中，为了提高图像检测模型的准确性以及各个子模型之间的协作性，优选地基于步骤S601中训练完成的异常分类子模型得到第二样本图像对应的异常类别训练标签。
在一个实施例中，步骤S602的实施方式可以包括：1)获取所述第二样本图像，并调用训练完成的异常分类子模型对所述第二样本图像进行下采样异常分类处理，得到所述异常类别训练标签和训练特征图像；2)获取所述异常类别训练标签对应的第一类别标识；3)调用所述初始定位模块基于所述第一类别标识以及所述训练特征图像进行初步定位处理，得到所述第一定位图像；4)调用所述异常定位子模型对所述第一定位图像进行上采样异常定位处理，得到第二定位图像；5)基于所述第二定位图像和所述第二样本图像获取关于所述异常定位子模型的损失函数的值，并按照减小所述损失函数的值的方向对所述异常定位子模型进行优化。其中，第一定位图像和第二定位图像用于反映与异常类别训练标签关联的预测区域的属性信息。所述与异常类别训练标签关联的预测区域是指预测发生异常的异常区域。
其中，在步骤1)中所述训练特征图可以是异常分类子模型在对第二样本图像进行下采样异常分类过程中，最后一次下采样处理得到的图像。由前述可知，第一类别标识可以为异常类别号，服务器可以预先设置至少一组异常类别和异常类别标识之间的对应关系，当获取到异常类别训练标签时，确定异常类别训练标签所指示的异常类别，进一步的，在预先设置的对应关系中查找与确定出的异常对应的类别标识，将查找到的类别标识确定为第一类别标识。
在一个实施例中，在步骤3)中的具体实施方式可包括：获取与第一类别标识对应的第一特征权重向量；将所述第一特征权重向量与所述训练特征图像进行加权处理，得到第一定位图像。由前述可知，初始定位模块可以包括类别标识获取模块和特征过滤器，在步骤3)中，初始定位模块通过类别标识获取模块获取第一类别号，特征过滤器从训练特征图像获取与第一类别标识对应的第一特征权重向量。可选的，所述获取与第一类别标识对应的第一特征权重向量的实施方式，与图2所示的实施例中获取与目标类别标识对应的目标特征权重向量的实施方式相同，具体可参见前述，此处不再赘述。
在一个实施例中，步骤5)中目标损失函数的表达式可以如公式(1)所示：
Figure GDA0002704874700000161
其中，X表示第二样本图像，m表示第二定位图像，
Figure GDA0002704874700000162
表示第一概率，λ1表示第一概率的权重值，第一概率用于表示将第二定位图像包括的预测异常区域和第二样本图像进行逐点相乘等操作后得到的第一优化图像，被异常分类子模型识别为存在异常区域的概率；
Figure GDA0002704874700000171
表示第二概率，λ2表示第二概率的权重值，从第二样本图像中除去与预测异常区域对应的区域得到第二优化图像，第二概率用于表示第二优化图像被异常分类子模型识别为存在异常区域的概率。
Figure GDA0002704874700000172
表示预测异常区域在第二定位图像中的所占的面积，λ3表示面积的权重值。应当理解的，通过异常定位子模型输出的第二定位图像可以是一张与第二样本图像大小相同的mask掩码。
参考图7a所示，为本发明实施例提供的一种第二样本图像、第一优化图像以及第二优化图像的示意图，其中71表示第二样本图像，72表示将第二样本图像包括的预测区域和第二样本图像进行逐点相乘等操作后得到的第一优化图像，第一优化图像中可保留了预测区域；73表示从第二样本图像中除去预测区域对应的区域后得到的第二优化图像，可见，第二优化图像中只去除了预测区域，保留了非预测区域。
在一个实施例中，可以通过以下公式(2)计算预测区域在第二定位图像中的所占的面积：
Figure GDA0002704874700000173
在公式(2)中，IxJ表示第二定位图像包括的总像素数，m(i,j)表示像素位置坐标。
在公式(1)中，
Figure GDA0002704874700000174
表示对第二定位图像中的预测区域进行平滑的平滑函数，λ4表示平滑函数的权重值，平滑函数的值可以通过下述公式(3)计算得到：
Figure GDA0002704874700000175
基于上述描述以及公式(1)-(3)。本发明实施例提供了一种对目标定位子模块进行训练的结构示意图，参考图7b所示，图7b中示出确定第一概率和第二概率过程。在图7b中，701表示异常分类子模型，702表示初始定位模块，703表示异常定位子模型。704表示第二样本图像，705表示经过异常分类子模型701、初始定位模块702以及异常定位子模型703进行处理后得到的目标定位图像。705中7051表示预测区域，将预测区域7051中的各个像素与第二样本图像704中的像素进行逐点相乘得到第一优化图像，调用异常分类子模型对第一优化图像进行下采样异常分类处理得到第一概率，在对异常定位子模型进行优化时，保证第一概率尽可能大。从第二样本图像中移除与预测异常区域对应的区域，得到第二优化图像，调用异常分类子模型对第二优化图像进行下采样异常分类处理得到第二概率，在对目标子模型进行优化时，保证第二概率尽可能大。
步骤S603、获取待检测图像，并调用图像检测模型中的异常分类子模型对所述待检测图像进行下采样异常分类处理，得到异常类别预测标签和目标特征图像。
步骤S604、如果异常类别预测标签指示待检测图像中存在异常，则调用图像检测模型中的初始定位模块基于所述异常类别预测标签以及所述目标特征图像进行初步异常定位处理，得到所述待检测图像对应的初始定位图像。
为了节省服务器的功耗开销，在步骤S603之后，可首先判断异常类别预测标签是否表示待检测图像中存在异常；如果异常类别预测标签表示待检测图像中存在异常，则执行步骤S604；如果异常类别预测标签表示待检测图像中不存在，则可步骤S604，可直接输出异常类别预测标签。
步骤S605、调用图像检测模型中的异常定位子模型对所述初始定位图像进行上采样异常定位处理，得到待检测图像对应的目标定位图像。
步骤S606、输出所述异常类别预测标签和所述目标定位图像。
在一个实施例中，目标定位图像可以是掩膜mask图像，mask图像中可显示预测区域，其他非预测区域被选定的掩膜mask覆盖。用户可以通过mask图像清新准确的确定出待检测图像中存在异常的目标区域。
本发明实施例中，基于第一样本图像和第一样本图像对应的异常类别监督标签进行模型训练得到图像检测模型中的异常分类子模型；进一步的，基于第二样本图像、训练完成的异常分类子模型以及初始定位模块进行模型训练，得到图像检测模型中的对图像检测模型中的目标定位子模块。之后，当需要对待检测图像进行检测时，可以调用图像检测模型中的异常分类子对待检测图像进行下采样异常分类处理，得到异常类别预测标签和目标特征图；如果异常类别预测标签指示待检测图像中包括目标异常区域，则进一步的调用图像检测模块中的初始定位模块基于目标特征图和异常类别预测标签进行初步异常定位处理，得到初始定位图像；紧接着调用图像检测模型中的异常定位子模型对初始定位图像进行上采样异常定位处理，得到目标定位图像，最后输出目标定位图像和异常类别预测标签。在上述图像处理过程中，在异常类别预测标签指示待检测图像中包括目标异常区域时，在进行后续处理以得到目标定位图像，可以节省服务器的终端功耗。另外，可以通过调用异常分类子模型对待检测图像进行下采样异常处理得到异常类别预测标签，与现有技术中人为分析得到异常类别的方法相比，节省人力并且更加高效；进一步的，本发明实施例中，基于异常类别预测标签和下采样异常处理过程中获取到的目标特征图像进行初步异常定位处理，紧接着，再对初步异常处理得到的初始定位图像进行上采样定位处理，得到待检测图像中目标异常区域的目标定位图像，经过两次定位处理，可以保证得到的目标定位图像更加准确。
基于上述描述，本发明实施例还提供了一种医疗图像处理设备，参考图8a为本发明实施例提供的一种医疗图像处理设备的结构示意图，医疗处理设备可包括医疗图像采集器801、医疗图像分析器802以及医疗图像显示器803，上述医疗图像分析器802对应前述实施例中的服务器，所述医疗图像采集器801对应的前述实施例中的终端，医疗图像显示器803可以是终端，也可以是与终端连接的显示设备。所述医疗图像采集器801与医疗图像分析器802相连接，所述医疗图像分析器802与所述医疗图像显示器803相连接。
图8a所示的医疗图像处理设备可采集医疗图像并分析医疗图像，具体实现中，图8a中医疗图像采集器801、医疗图像分析器802以及医疗图像显示器803之间的交互可以如图8b所示，下面结合图8b具体介绍图8a所示的医疗图像设备采集医疗图像并分析医疗图像的过程，具体实现中可包括如下步骤：
步骤S81、医疗图像采集器获取医疗图像。
其中，此处所述医疗图像相当于图2和图6实施例中所述的待检测图像，所述医疗图像采集器可以内窥镜设备、CT设备等可以对人体进行检查的医疗设备。
步骤S82、医疗图像分析器对医疗图像进行下采样疾病分类处理，得到疾病类别预测标签和目标特征图像。
在一个实施例中，所述疾病类别预测标签相当于图2和图6实施例中所述异常类别预测标签。可选的，步骤S82包括的一些实施方式可参考图2和图6实施例中对待检测图像进行下采样异常分类处理，得到异常类别标签和目标特征图像的相关描述，在此不再赘述。
步骤S83、基于疾病类别预测标签以及目标特征图像进行初步定位处理，得到医疗图像对应的初始定位图像。
在一个实施例中，疾病类别预测标签用于表示医疗图像中是否存在疾病，如果存在疾病，存在何种类型的疾病。如果疾病类别预测标签指示医疗图像不存在疾病，也即医疗图像中不存在目标病变区域，说明不需要进一步对医疗图像进行病变定位，则医疗图像分析器82可直接向医疗图像显示器83输出疾病类别预测标签；如果疾病类别预测标签指示医疗图像存在疾病，也即医疗图像中存在目标病变区域，可以进一步进行病变定位，则医疗图像分析器82基于疾病类别预测标签以及目标特征图像进行初步定位处理，得到医疗图像对应的初始定位图像。
可选的，所述医疗图像分析器82在基于所述疾病类别预测标签以及目标特征图像进行初步定位处理，得到所述初始定位图像时，执行如下操作：获取与所述疾病类别预测标签对应的目标类别标识；调用初始定位模获取所述目标类别标识对应的目标特征权重向量，并将所述目标特征权重向量与所述目标特征图像进行叠加处理，得到所述初始定位图像。
上述具体实施方式可以参考图2和图6实施例中基于异常类别预测标签以及目标特征图像进行初始定位处理得到待检测图像对应的初始定位图像的一些描述，此处不再赘述。
步骤S84、医疗图像分析器对初始定位图像进行上采样定位处理，得到一来图像对应的目标定位图像。
在一个实施例，所述医疗图像分析器82在对所述医疗图像进行下采样疾病分类处理时是调用疾病分类子模型(相当于前述的异常分类子模型)执行的，所述医疗图像分析器在对所述初始定位图像进行上采样定位处理时是调用异常定位子模型执行的；所述疾病分类子模型包括至少一个第一采样模块，所述异常定位子模型包括至少一个第二采样模块，且第一采样模块的数量大于第二采样模块的数量；所述医疗图像分析器在对所述医疗图像进行下采样疾病分类处理时，执行如下操作：调用所述至少一个第一采样模块对所述医疗图像进行下采样疾病分类处理；所述医疗图像分析器在对所述初始定位图像进行上采样定位处理时，执行如下操作：调用所述至少一个第二采样模块对所述初始定位图像进行上采样定位处理。
上述具体实施方式可以参考图2和图6实施例中对初始定位图像进行上采样定位处理得到待检测图像对应的目标定位图像的描述，此处不再赘述。
步骤S85、医疗图像显示器用于显示疾病类别预测标签和目标定位图像。
在一个实施例中，医疗图像分析器82得到目标定位图像之后，可以将目标定位图像和疾病类别标签输出给医疗图像显示器83，医疗图像显示器83在用户界面中显示疾病类别标签和目标定位图像。
可选的，医疗图像显示器83也可以与医疗图像采集器81连接，医疗图像采集器81采集到医疗图像之后，发送至医疗分析器82之前，可以将医疗图像发送至医疗图像显示器83，医疗图像显示器83在用户界面中显示医疗图像。
在一个实施例中，医疗图像显示器83还可以在用户界面中显示是否将医疗图像提交至医疗分析器82，以使得医疗图像分析器82对所述医疗图像进行疾病识别和定位处理的提示信息。如果医疗图像显示器83检测到针对提示信息的确认提交操作后，则医疗图像显示器83将医疗图像发送至医疗分析器82；如果医疗图像显示器83检测到针对提示信息的取消提交操作后，则医疗图像显示器83可以不将医疗图像发送给医疗图像分析器82。
举例来说，假设医疗图像采集器81采集到医疗图像后，将医疗图像发送至医疗图像显示器83，医疗图像显示器83在用户界面上显示医疗图像以及是否将医疗图像提交至医疗图像分析器82的提示信息。参考图8c所示，为本发明实施例提供的一种医疗显示器的用户界面的示意图，图8c中11表示医疗采集器81采集到的医疗图像，12表示提示信息，提示信息中可包括确认提交按钮120和取消提交按钮121；当用户点击确认提交按钮120时，医疗图像显示器83将医疗图像提交到医疗图像分析器82进行分析处理；当用户点击取消提交按钮121时，医疗图像显示器83则不将医疗图像提交至医疗图像分析器82。
本发明实施例中，当需要进行医疗图像检测时，医疗图像采集器首先获取医疗图像，医疗图像分析器对医疗图像进行下采样疾病分类处理得到疾病类别标签和目标特征图；紧接着，如果疾病类别预测标签指示医疗图像中存在目标病变区域，则医疗图像分析器基于疾病类别预测标签和目标特征图进行初步定位处理，得到医疗图像中目标疾病区域的初始定位图像；进一步的，对所述初始定位图像进行上采样定位处理，得到所述目标疾病区域的目标定位图像；最后将疾病类别预测标签和目标定位图像输出至医疗图像显示器，由医疗图像显示器显示接收到的疾病类别预测标签和目标定位图像。在上述的图像检测过程中，可以通过对医疗图像进行下采样疾病分类处理得到疾病类别预测标签，与现有技术中人为分析得到疾病类别的方法相比，节省人力并且更加高效；进一步的，本发明实施例中，基于疾病类别预测标签和下采样处理过程中获取到的目标特征图像进行初步定位处理；紧接着，再对初步异常处理得到的初始定位图像进行上采样定位处理，得到医疗图像中医疗图像的目标定位图像，经过两次定位处理，可以保证得到的目标定位图像更加准确。
基于上述实施例描述，下面结合图9a-图9b以应用在医疗领域为例，具体描述一种医疗图像处理的应用场景。参考图9a所示，为本发明实施例提供的一种医疗图像处理的应用场景图，该应用场景中包括医疗图像采集器比如内窥镜器901，医疗图像显示器902以及医疗图像分析器903。假设医生使用内窥镜器901对人体消化道进行检查，获取到医疗视频数据；内窥镜器901可以将医疗视频数据发送至医疗显示器902，医疗图像显示器902通过脚本将医疗视频数据划分得到多帧医疗图像。
当检测到将医疗图像提交至医疗图像分析器903的操作后，医疗图像显示器902将多帧图像依次发送给医疗图像分析器903。参考图9b，为本发明实施例提供的一种医疗图像分析器903对医疗图像处理的示意图，医疗图像分析器903调用图像检测模型对医疗图像进行疾病类别识别和病变区域定位处理，得到疾病类别预测标签和病变区域的目标定位图像，如图9b中91所示。可选的，目标定位图像可包括mask定位图像911和非mask定位图像912。进一步的，医疗图像分析器903将疾病类别预测标签和病变区域的目标定位图像发送给医疗图像显示器902，由医疗图像显示器902在用户界面中显示。医生可以根据医疗图像显示器902上显示的内容进行疾病诊断。
基于上述的图像处理方法，本发明实施例还提供了一种图像处理装置，参考图10为本发明实施例提供的图像处理装置的结构示意图，该图像处理装置可运行如下单元：
获取单元1001，用于获取待检测图像；
处理单元1002，用于对待检测图像进行下采样异常分类处理，得到异常类别预测标签和目标特征图像；
所述处理单元1002，还用于基于所述异常类别预测标签和所述目标特征图像进行初步定位处理，得到所述待检测图像对应的初始定位图像；
所述处理单元1002，还用于对所述初始定位图像进行上采样定位处理，得到所述待检测图像对应的目标定位图像；
输出单元1003，用于输出所述异常类别预测标签和所述目标定位图像。其中，所述初始定位图像和所述目标定位图像用于反映所述异常类别预测标签关联的目标区域的属性信息。
在一个实施例中，所述处理单元在基于所述异常类别预测标签以及所述目标特征图像进行初步异常定位处理，得到所述待检测图像中目标异常区域的初始定位图像时，执行如下操作：获取与所述异常类别预测标签对应的目标类别标识；调用初始定位模块获取与所述目标类别标识对应的目标特征权重向量，并将所述目标特征权重向量与所述目标特征图进行叠加处理，得到所述初始定位图像。
在一个实施例中，所述处理单元1002在对所述待检测图像进行下采样异常分类处理时是调用异常分类子模型执行的，所述处理单元1002在对所述初始定位图像进行上采样异常定位处理时是调用目标定位子模型执行的；所述异常分类子模型包括至少一个第一采样模块，所述目标定位子模型包括至少一个第二采样模块，且第一采样模块的数量大于第二采样模块的数量；所述处理单元802在对所述待检测图像进行下采样异常分类处理时，执行如下操作：调用所述至少一个第一采样模块对所述待检测图像进行下采样异常分类处理；所述处理单元1002在对所述初始定位图像进行上采样异常定位处理时，执行如下操作：调用所述至少一个第二采样模块对所述初始定位图像进行上采样异常定位处理。
在一个实施例中，目标特征图是根据所述至少一个第一采样模块中最后第一采样模块进行下采样异常分类处理得到的处理结果确定的。
在一个实施例中，异常分类子模型是基于第一样本图像和所述第一样本图像对应的异常类别监督标签训练得到的；所述目标定位子模型是基于第二样本图像对应的异常类别训练标签以及所述第二样本图像对应的第一定位图像训练得到的；其中，所述异常类别训练标签是调用训练完成的异常分类子模型对所述第二样本图像进行下采样异常分类处理得到的，所述第一定位图像是调用所述初始定位模块基于所述异常类别训练标签进行初步异常定位处理得到的。
在一个实施例中，所述获取单元1001，还用于获取所述第二样本图像，并调用训练完成的异常分类子模型对所述第二样本图像进行下采样异常分类处理，得到所述异常类别训练标签和训练特征图像；获取所述异常类别训练标签对应的第一类别标识；所述处理单元1002，还用于调用所述初始定位模块基于所述第一类别标识以及所述训练特征图像进行初步定位处理，得到所述第一定位图像；所述处理单元1002，还用于调用所述异常定位子模型对所述第一定位图像进行上采样异常定位处理，得到第二定位图像；所述处理单元802，还用于基于所述第二定位图像和所述第二样本图像获取关于所述异常定位子模型的目标损失函数的值，并按照减小所述目标损失函数的值的方向对所述异常定位子模型进行优化。其中，所述第一定位图像和所述第二定位图像用于反映与所述异常类别训练标签关联的预测区域的属性信息。
在一个实施例中，所述处理单元1002在基于所述第二定位图像和所述第二样本图像获取关于所述异常定位子模型的损失函数的值时，执行如下操作：基于所述第二定位图像包括的预测异常区域和所述第二样本图像得到第一优化图像和第二优化图像，并调用所述异常分类子模型分别对所述第一优化图像和所述第二优化图像进行异常分类处理，得到第一概率和第二概率；获取所述第二定位图像中所指示的预测异常区域在所述第二定位图像中的所占面积；获取对所述预测异常区域进行优化平滑的平滑函数的值；根据所述第一概率、所述第二概率、所述预测异常区域所占面积以及平滑函数的值确定关于所述异常定位子模型的损失函数。
在一个实施例中，所述处理单元1102还用于：检测所述异常类别预测标签是否指示所述待检测图像中存在异常；如果所述异常类别预测标签指示所述待检测图像中存在异常，则执行所述基于所述异常类别预测标签以及所述目标特征图像进行初步异常定位处理的步骤。
在一个实施例中，所述待检测图像包括医疗图像，所述异常类别预测标签包括疾病类别预测标签。
根据本发明的一个实施例，图2和图6所示的图像处理方法中各个步骤可以由图10所示的图像处理装置中的各个单元来执行。例如，图2中所示的步骤S201可由图10所示的图像处理装置中的获取单元1001来执行，步骤S202-步骤S203可由图10所示的图像处理装置的处理单元1002来执行，步骤S204可由图10所述的图像处理装置的输出单元1003来执行；再如，图6所示的步骤S601-步骤S602，以及步骤S604-步骤S605可由图10所示的图像处理装置中的处理单元1002来执行，图6中所示的步骤S603可由图10所示的图像处理装置中的获取单元601来执行；图6中所示的步骤S606可由图10所示的图像处理装置中的输出单元1003来执行。
根据本发明的一个实施例，图10所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，基于图像处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本发明的一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2以及图6中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图10中所示的图像处理装置设备，以及来实现本发明实施例的图像处理方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
本发明实施例中，当需要进行图像检测时，首先对获取到的待检测图像进行下采样异常分类处理得到异常类别标签和目标特征图；紧接着，基于异常类别预测标签和目标特征图进行初步异常定位处理，得到待检测图像中目标异常区域的初始定位图像；进一步的，对所述初始定位图像进行上采样异常定位处理，得到所述目标异常区域的目标定位图像；最后输出异常类别预测标签和目标定位图像。在上述的图像检测过程中，可以通过对待检测图像进行下采样异常处理得到异常类别预测标签，与现有技术中人为分析得到异常类别的方法相比，节省人力并且更加高效；进一步的，本发明实施例中，基于异常类别预测标签和下采样异常处理过程中获取到的目标特征图像进行初步异常定位处理，紧接着，再对初步异常处理得到的初始定位图像进行上采样定位处理，得到待检测图像中目标异常区域的目标定位图像，经过两次定位处理，可以保证得到的目标定位图像更加准确。
基于上述方法的实施例以及装置的实施例，本发明实施例还提供了一种服务器，参考图11，为本发明实施例提供的一种服务器的结构示意图。图11所示的服务器可包括处理器1101和计算机存储介质1102。
计算机存储介质1102可以存储在终端的存储器中，所述计算机存储介质1102用于存储计算机程序，所述计算机程序包括程序指令，所述处理器1101用于执行所述计算机存储介质1102存储的程序指令。处理器1101或称CPU(Central Processing Unit，中央处理器)是终端的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能；在一个实施例中，处理器1101可以用于执行：获取待检测图像，并对所述待检测图像进行下采样异常分类处理，得到异常类别预测标签和目标特征图像；基于所述异常类别预测标签以及所述目标特征图像进行初步异常定位处理，得到所述待检测图像对应的初始定位图像；对所述初始定位图像进行上采样异常定位处理，得到所述待检测图像对应的目标定位图像；输出所述异常类别预测标签和所述目标定位图像。其中，所述初始定位图像和所述目标定位图像用于反映所述异常类别预测标签关联的目标区域的属性信息。
本发明实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是电子设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括电子设备中的内置存储介质，当然也可以包括电子设备所支持的扩展存储介质。计算机存储介质提供存储空间，在该存储空间中存放了适于被处理器1101加载并执行的一条或多条指令，这些指令可以是一个或多个计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中，处理器1101加载并执行一条或多条指令时，用于执行：获取待检测图像，并对所述待检测图像进行下采样异常分类处理，得到异常类别预测标签和目标特征图像；基于所述异常类别预测标签以及所述目标特征图像进行初步异常定位处理，得到所述待检测图像的初始定位图像；对所述初始定位图像进行上采样异常定位处理，得到所述待检测图像对应的目标定位图像；输出所述异常类别预测标签和所述目标定位图像。其中，所述初始定位图像和所述目标定位图像用于反映所述异常类别预测标签关联的目标区域的属性信息。
在一个实施例中，所述处理器1101在基于所述异常类别预测标签以及所述目标特征图像进行初步异常定位处理，得到所述待检测图像对应的初始定位图像时，执行如下操作：获取与所述异常类别预测标签对应的目标类别标识；调用初始定位模块获取与所述目标类别标识对应的目标特征权重向量，并将所述目标特征权重向量与所述目标特征图进行叠加处理，得到所述初始定位图像。
在一个实施例中，对所述待检测图像进行下采样异常分类处理是调用异常分类子模型执行的，所述对所述初始定位图像进行上采样异常定位处理是调用异常定位子模型执行的；所述异常分类子模型包括至少一个第一采样模块，所述异常定位子模型包括至少一个第二采样模块，且第一采样模块的数量大于第二采样模块的数量；所述处理器1101在对所述待检测图像进行下采样异常分类处理时，执行如下操作：调用所述至少一个第一采样模块对所述待检测图像进行下采样异常分类处理；所述处理器1101在对所述初始定位图像进行上采样异常定位处理时，执行如下操作：调用所述至少一个第二采样模块对所述初始定位图像进行上采样异常定位处理。
在一个实施例中，所述目标特征图是根据所述至少一个第一采样模块中最后第一采样模块进行下采样异常分类处理得到的处理结果确定的。
在一个实施例中，所述异常分类子模型是基于第一样本图像和所述第一样本图像对应的异常类别监督标签训练得到的；所述异常定位子模型是基于第二样本图像对应的异常类别训练标签以及所述第二样本图像对应的第一定位图像训练得到的；其中，所述异常类别训练标签是调用训练完成的异常分类子模型对所述第二样本图像进行下采样异常分类处理得到的，所述第一定位图像是调用所述初始定位模块基于所述异常类别训练标签进行初步异常定位处理得到的。
在一个实施例中，所述处理器1101还用于执行：获取所述第二样本图像，并调用训练完成的异常分类子模型对所述第二样本图像进行下采样异常分类处理，得到所述异常类别训练标签和训练特征图像；获取所述异常类别训练标签对应的第一类别标识；调用所述初始定位模块基于所述第一类别标识以及所述训练特征图像进行初步定位处理，得到所述第一定位图像；调用所述异常定位子模型对所述第一定位图像进行上采样异常定位处理，得到第二定位图像；基于所述第二定位图像和所述第二样本图像获取关于所述异常定位子模型的目标损失函数的值，并按照减小所述目标损失函数的值的方向对所述异常定位子模型进行优化。其中，所述第一定位图像和所述第二定位图像用于反映与所述异常类别训练标签关联的预测区域的属性信息。
在一个实施例中，所述处理器1101在基于所述第二定位图像和所述第二样本图像获取关于所述异常定位子模型的损失函数的值时，执行如下操作：基于所述第二定位图像包括的预测异常区域和所述第二样本图像得到第一优化图像和第二优化图像，并调用所述异常分类子模型分别对所述第一优化图像和所述第二优化图像进行异常分类处理，得到第一概率和第二概率；获取所述第二定位图像中所指示的预测异常区域在所述第二定位图像中的所占的面积；获取对所述预测异常区域进行优化平滑的平滑函数的值；根据所述第一概率、所述第二概率、所述预测异常区域所占面积以及平滑函数的值确定所述异常定位子模型对应的目标损失函数的值。
在一个实施例中，所述处理器1101还用于执行：检测所述异常类别预测标签是否指示所述待检测图像中存在异常；如果所述异常类别预测标签指示所述待检测图像中存在异常，则执行所述基于所述异常类别预测标签以及所述目标特征图像进行初步异常定位处理的步骤。
在一个实施例中，所述待检测图像包括医疗图像，所述异常类别预测标签包括疾病类别预测标签。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (13)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待检测图像，并对所述待检测图像进行下采样异常分类处理，得到异常类别预测标签和目标特征图像；
获取与所述异常类别预测标签对应的目标类别标识；
调用初始定位模块获取与所述目标类别标识对应的目标特征权重向量，并将所述目标特征权重向量与所述目标特征图像进行叠加处理，得到所述初始定位图像；
对所述初始定位图像进行上采样异常定位处理，得到所述待检测图像对应的目标定位图像；
输出所述异常类别预测标签和所述目标定位图像；
其中，所述初始定位图像和所述目标定位图像用于反映所述异常类别预测标签关联的目标区域的属性信息。
2.如权利要求1所述的方法，其特征在于，所述对所述待检测图像进行下采样异常分类处理是调用异常分类子模型执行的，所述对所述初始定位图像进行上采样定位处理是调用异常定位子模型执行的；所述异常分类子模型包括至少一个第一采样模块，所述异常定位子模型包括至少一个第二采样模块，且第一采样模块的数量大于第二采样模块的数量；
所述对所述待检测图像进行下采样异常分类处理，包括：调用所述至少一个第一采样模块对所述待检测图像进行下采样异常分类处理；
所述对所述初始定位图像进行上采样异常定位处理，包括：调用所述至少一个第二采样模块对所述初始定位图像进行上采样异常定位处理。
3.如权利要求2所述的方法，其特征在于，所述目标特征图像是根据所述至少一个第一采样模块中最后一个采样模块进行下采样异常分类处理得到的处理结果确定的。
4.如权利要求2所述的方法，其特征在于，所述异常分类子模型是基于第一样本图像和所述第一样本图像对应的异常监督标签训练得到的；所述异常定位子模型是基于第二样本图像对应的异常类别训练标签以及所述第二样本图像对应的第一定位图像训练得到的；其中，所述异常类别训练标签是调用训练完成的异常分类子模型对所述第二样本图像进行下采样异常分类处理得到的，所述第一定位图像是调用所述初始定位模块基于所述异常类别训练标签进行初步异常定位处理得到的。
5.如权利要求4所述的方法，其特征在于，所述方法还包括：
获取所述第二样本图像，并调用训练完成的异常分类子模型对所述第二样本图像进行下采样异常分类处理，得到所述异常类别训练标签和训练特征图像；
获取所述异常类别训练标签对应的第一类别标识；
调用所述初始定位模块基于所述第一类别标识以及所述训练特征图像进行初步定位处理，得到所述第二样本图像对应的第一定位图像；
调用所述异常定位子模型对所述第一定位图像进行上采样异常定位处理，得到所述第二样本图像对应的第二定位图像；
基于所述第二定位图像和所述第二样本图像获取所述异常定位子模型对应的目标损失函数的值，并按照减小所述目标损失函数的值的方向对所述异常定位子模型进行优化；
其中，所述第一定位图像和所述第二定位图像用于反映与所述异常类别训练标签关联的预测区域的属性信息。
6.如权利要求5所述的方法，其特征在于，所述基于所述第二定位图像和所述第二样本图像获取所述异常定位子模型对应的目标损失函数的值，包括：
基于所述第二定位图像包括的预测区域的属性信息和所述第二样本图像得到第一优化图像和第二优化图像，并调用所述异常分类子模型分别对所述第一优化图像和所述第二优化图像进行异常分类处理，得到第一概率和第二概率；
获取所述预测区域在所述第二定位图像中的所占面积；
获取对所述预测区域进行优化平滑的平滑函数的值；
根据所述第一概率、所述第二概率、所述预测区域在所述第二定位图像中的所占面积以及所述平滑函数的值确定所述异常定位子模型对应的目标损失函数的值。
7.如权利要求1所述的方法，其特征在于，所述方法还包括：
检测所述异常类别预测标签是否指示所述待检测图像中存在异常；
如果所述异常类别预测标签指示所述待检测图像中存在异常，则执行所述获取与所述异常类别预测标签对应的目标类别标识的步骤。
8.如权利要求1所述的方法，其特征在于，所述待检测图像包括医疗图像，所述异常类别预测标签包括疾病类别预测标签。
9.一种图像处理装置，其特征在于，包括：
获取单元，用于获取待检测图像；
处理单元，用于对待检测图像进行下采样异常分类处理，得到异常类别预测标签和目标特征图像；
所述处理单元，还用于基于所述异常类别预测标签和所述目标特征图像进行初步定位处理，得到所述待检测图像对应的初始定位图像，具体用于：获取与所述异常类别预测标签对应的目标类别标识；调用初始定位模块获取与所述目标类别标识对应的目标特征权重向量，并将所述目标特征权重向量与所述目标特征图像进行叠加处理，得到所述初始定位图像；
所述处理单元，还用于对所述初始定位图像进行上采样定位处理，得到所述待检测图像对应的目标定位图像；
输出单元，用于输出所述异常类别预测标签和所述目标定位图像；
其中，所述初始定位图像和所述目标定位图像用于反映所述异常类别预测标签关联的目标区域的属性信息。
10.一种服务器，其特征在于，所述服务器包括：
处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-8任一项所述的图像处理方法。
11.一种医疗图像处理设备，其特征在于，包括：医疗图像采集器、医疗图像分析器以及医疗图像显示器，所述医疗图像采集器与所述医疗图像分析器相连接，所述医疗图像显示器与所述医疗图像分析器相连；
所述医疗图像采集器，用于获取医疗图像；
所述医疗图像分析器，用于对所述医疗图像进行下采样疾病分类处理，得到疾病类别预测标签和目标特征图像；
所述医疗图像分析器，还用于基于所述疾病类别预测标签以及目标特征图像进行初步定位处理，得到所述医疗图像对应的初始定位图像；
所述医疗图像分析器，还用于对所述初始定位图像进行上采样定位处理，得到所述医疗图像对应的目标定位图像；
所述医疗图像分析器，还用于将所述疾病类别预测标签和所述目标定位图像输出至所述医疗图像显示器；
所述医疗图像显示器，用于显示所述疾病类别预测标签和所述目标定位图像；
其中，所述初始定位图像和所述目标定位图像用于反映所述疾病类别预测标签关联的目标区域的属性信息；
其中，所述医疗图像分析器在基于所述疾病类别预测标签以及目标特征图像进行初步定位处理，得到所述医疗图像对应的初始定位图像时，执行如下操作：获取所述疾病类别预测标签对应的目标类别标识；调用初始定位模块获取与所述目标类别标识对应的目标特征权重向量，并将所述目标特征权重向量与所述目标特征图像进行叠加处理，得到所述初始定位图像。
12.如权利要求11所述的医疗图像处理设备，其特征在于，所述医疗图像分析器在对所述医疗图像进行下采样疾病分类处理是调用疾病分类子模型执行的，所述医疗图像分析器在对所述初始定位图像进行上采样定位处理是调用疾病定位子模型执行的；所述疾病分类子模型包括至少一个第一采样模块，所述疾病定位子模型包括至少一个第二采样模块，且第一采样模块的数量大于第二采样模块的数量；
所述医疗图像分析器在对所述医疗图像进行下采样疾病分类处理时，执行如下操作：
调用所述至少一个第一采样模块对所述医疗图像进行下采样疾病分类处理；
所述医疗图像分析器在对所述初始定位图像进行上采样定位处理时，执行如下操作：
调用所述至少一个第二采样模块对所述初始定位图像进行上采样定位处理。
13.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，用于执行如权利要求1-8任一项所述的图像处理方法。
CN201911103557.7A 2019-11-12 2019-11-12 图像处理方法、装置、服务器及存储介质 Active CN110866908B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911103557.7A CN110866908B (zh) 2019-11-12 2019-11-12 图像处理方法、装置、服务器及存储介质
PCT/CN2020/115768 WO2021093448A1 (zh) 2019-11-12 2020-09-17 图像处理方法、装置、服务器、医疗图像处理设备及存储介质
EP20886491.8A EP4006831A4 (en) 2019-11-12 2020-09-17 IMAGE PROCESSING METHOD AND APPARATUS, SERVER, MEDICAL IMAGE PROCESSING DEVICE AND STORAGE MEDIA
US17/515,174 US20220051405A1 (en) 2019-11-12 2021-10-29 Image processing method and apparatus, server, medical image processing device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911103557.7A CN110866908B (zh) 2019-11-12 2019-11-12 图像处理方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN110866908A CN110866908A (zh) 2020-03-06
CN110866908B true CN110866908B (zh) 2021-03-26

Family

ID=69653846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911103557.7A Active CN110866908B (zh) 2019-11-12 2019-11-12 图像处理方法、装置、服务器及存储介质

Country Status (4)

Country Link
US (1) US20220051405A1 (zh)
EP (1) EP4006831A4 (zh)
CN (1) CN110866908B (zh)
WO (1) WO2021093448A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866908B (zh) * 2019-11-12 2021-03-26 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及存储介质
CN111460991A (zh) * 2020-03-31 2020-07-28 科大讯飞股份有限公司 异常检测方法、相关设备及可读存储介质
CN111967538B (zh) * 2020-09-25 2024-03-15 北京康夫子健康技术有限公司 应用于小目标检测的特征融合方法、装置、设备以及存储介质
CN112966777B (zh) * 2021-03-26 2021-11-30 清华大学 一种基于人机交互的半自动标注方法及系统
CN113140292A (zh) * 2021-05-12 2021-07-20 平安国际智慧城市科技股份有限公司 图像异常区域浏览方法、装置、移动端设备及存储介质
CN113420170B (zh) * 2021-07-15 2023-04-14 宜宾中星技术智能系统有限公司 大数据图像的多线程存储方法、装置、设备和介质
CN114387270B (zh) * 2022-03-22 2022-06-10 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN114464316B (zh) * 2022-04-11 2022-07-19 武汉大学 胃部异常风险等级预测方法、装置、终端及可读存储介质
CN114511749B (zh) * 2022-04-19 2022-06-28 武汉大学 图像处理方法、装置、计算机设备及存储介质
CN115190277B (zh) * 2022-09-08 2022-12-13 中达安股份有限公司 施工区域的安全监控方法、装置、设备及存储介质
CN115578370B (zh) * 2022-10-28 2023-05-09 深圳市铱硙医疗科技有限公司 一种基于脑影像的代谢区域异常检测方法及装置
CN116245832B (zh) * 2023-01-30 2023-11-14 浙江医准智能科技有限公司 一种图像处理方法、装置、设备及存储介质
CN116071628B (zh) * 2023-02-06 2024-04-05 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质
CN116958128B (zh) * 2023-09-18 2023-12-26 中南大学 基于深度学习的医学图像自动定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009515A (zh) * 2017-12-14 2018-05-08 杭州远鉴信息科技有限公司 一种基于fcn的无人机航拍图像的输电线定位识别方法
KR20180064863A (ko) * 2016-12-06 2018-06-15 부산대학교 산학협력단 딥러닝을 이용한 수완부 방사선 영상으로부터 골 성숙도(ｓｍｉ) 자동 분석방법
CN108776787A (zh) * 2018-06-04 2018-11-09 北京京东金融科技控股有限公司 图像处理方法及装置、电子设备、存储介质
CN109410194A (zh) * 2018-10-19 2019-03-01 山东省计算中心（国家超级计算济南中心） 一种基于深度学习的食管癌病理图像处理方法
CN110136106A (zh) * 2019-05-06 2019-08-16 腾讯科技（深圳）有限公司 医疗内窥镜图像的识别方法、系统、设备和内窥镜影像系统
CN110363138A (zh) * 2019-07-12 2019-10-22 腾讯科技（深圳）有限公司 模型训练方法、图像处理方法、装置、终端及存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6310967B1 (en) * 1998-04-29 2001-10-30 University Of South Florida Normal and abnormal tissue identification system and method for medical images such as digital mammograms
US8605981B2 (en) * 2010-11-05 2013-12-10 Cytognomix Inc. Centromere detector and method for determining radiation exposure from chromosome abnormalities
JP6076751B2 (ja) * 2013-01-22 2017-02-08 株式会社日立製作所 異常診断方法およびその装置
SG10201405182WA (en) * 2014-08-25 2016-03-30 Univ Singapore Technology & Design Method and system
US10176408B2 (en) * 2015-08-14 2019-01-08 Elucid Bioimaging Inc. Systems and methods for analyzing pathologies utilizing quantitative imaging
US9773196B2 (en) * 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
US11170897B2 (en) * 2017-02-23 2021-11-09 Google Llc Method and system for assisting pathologist identification of tumor cells in magnified tissue images
US20200085382A1 (en) * 2017-05-30 2020-03-19 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
US10679345B2 (en) * 2017-12-20 2020-06-09 International Business Machines Corporation Automatic contour annotation of medical images based on correlations with medical reports
CN110335269A (zh) * 2018-05-16 2019-10-15 腾讯医疗健康(深圳)有限公司 眼底图像的类别识别方法和装置
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109493317B (zh) * 2018-09-25 2020-07-07 哈尔滨理工大学 基于级联卷积神经网络的3d多椎骨分割方法
JP2022513316A (ja) * 2018-10-01 2022-02-07 ヴェンタナ メディカル システムズ， インク． Ｐｄ－１軸指向型治療薬に対する応答を予測するための方法およびシステム
US10803585B2 (en) * 2018-10-09 2020-10-13 General Electric Company System and method for assessing image quality
CN109447960A (zh) * 2018-10-18 2019-03-08 神州数码医疗科技股份有限公司 一种对象识别方法和装置
CN109522807B (zh) * 2018-10-22 2020-11-27 深圳先进技术研究院 基于自生成特征的卫星影像识别系统、方法及电子设备
US10943681B2 (en) * 2018-11-21 2021-03-09 Enlitic, Inc. Global multi-label generating system
CN109598728B (zh) * 2018-11-30 2019-12-27 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统及存储介质
WO2020202680A1 (ja) * 2019-03-29 2020-10-08 キヤノン株式会社 情報処理装置及び情報処理方法
CN110163121B (zh) * 2019-04-30 2023-09-05 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN110110808B (zh) * 2019-05-16 2022-04-15 京东方科技集团股份有限公司 一种对图像进行目标标注的方法、装置及计算机记录介质
CN110390691B (zh) * 2019-06-12 2021-10-08 合肥合工安驰智能科技有限公司 一种基于深度学习的矿石尺度测量方法及应用系统
CN110298831A (zh) * 2019-06-25 2019-10-01 暨南大学 一种基于分块深度学习的医学图像处理系统及其方法
WO2021056046A1 (en) * 2019-09-25 2021-04-01 Presagen Pty Ltd Method and system for performing non-invasive genetic testing using an artificial intelligence (ai) model
CN110866908B (zh) * 2019-11-12 2021-03-26 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180064863A (ko) * 2016-12-06 2018-06-15 부산대학교 산학협력단 딥러닝을 이용한 수완부 방사선 영상으로부터 골 성숙도(ｓｍｉ) 자동 분석방법
CN108009515A (zh) * 2017-12-14 2018-05-08 杭州远鉴信息科技有限公司 一种基于fcn的无人机航拍图像的输电线定位识别方法
CN108776787A (zh) * 2018-06-04 2018-11-09 北京京东金融科技控股有限公司 图像处理方法及装置、电子设备、存储介质
CN109410194A (zh) * 2018-10-19 2019-03-01 山东省计算中心（国家超级计算济南中心） 一种基于深度学习的食管癌病理图像处理方法
CN110136106A (zh) * 2019-05-06 2019-08-16 腾讯科技（深圳）有限公司 医疗内窥镜图像的识别方法、系统、设备和内窥镜影像系统
CN110363138A (zh) * 2019-07-12 2019-10-22 腾讯科技（深圳）有限公司 模型训练方法、图像处理方法、装置、终端及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Embedding Structured Contour and Location Prior in Siamesed Fully Convolutional Networks for Road Detection;Junyu Gao 等;《IEEE》;20170727;第219-224页 *
WHAT AND HOW OTHER DATASETS CAN BE LEVERAGED FOR MEDICAL IMAGING CLASSIFICATION;Hong Shang 等;《IEEE》;20190711;第814-818页 *
基于卷积神经网络的低参数量实时图像分割算法;谭光鸿 等;《激光与光电子学进展》;20190531;第1-9页 *

Also Published As

Publication number Publication date
EP4006831A4 (en) 2022-09-07
US20220051405A1 (en) 2022-02-17
CN110866908A (zh) 2020-03-06
EP4006831A1 (en) 2022-06-01
WO2021093448A1 (zh) 2021-05-20

Similar Documents

Publication Publication Date Title
CN110866908B (zh) 图像处理方法、装置、服务器及存储介质
CN109886273B (zh) 一种cmr图像分割分类系统
CN109086811B (zh) 多标签图像分类方法、装置及电子设备
CN110689025B (zh) 图像识别方法、装置、系统及内窥镜图像识别方法、装置
WO2019157508A1 (en) System and method for diagnosing gastrointestinal neoplasm
CN108230294B (zh) 图像检测方法、装置、电子设备和存储介质
CN111956212B (zh) 基于频域滤波-多模态深度神经网络的组间房颤识别方法
Kundu et al. Disease detection, severity prediction, and crop loss estimation in MaizeCrop using deep learning
CN111814768B (zh) 基于ai复合模型的图像识别方法、装置、介质和设备
CN113205524B (zh) 基于U-Net的血管图像分割方法、装置和设备
CN113052295B (zh) 一种神经网络的训练方法、物体检测方法、装置及设备
Zhang et al. Urine sediment recognition method based on multi-view deep residual learning in microscopic image
Chen et al. AI-PLAX: AI-based placental assessment and examination using photos
CN115526834A (zh) 免疫荧光图像检测方法及装置、设备、存储介质
CN113902945A (zh) 一种多模态乳腺磁共振图像分类方法及系统
CN113705595A (zh) 异常细胞转移程度的预测方法、装置和存储介质
CN111047582A (zh) 基于深度学习的小肠镜下克罗恩病辅助诊断系统
CN116228660A (zh) 胸部正片异常部位检测方法及装置
CN114140879A (zh) 基于多头级联注意网络与时间卷积网络的行为识别方法及装置
CN113222989A (zh) 一种图像分级方法、装置、存储介质及电子设备
Duan et al. Atypical Salient Regions Enhancement Network for visual saliency prediction of individuals with Autism Spectrum Disorder
CN113706449B (zh) 基于病理图像的细胞分析方法、装置、设备及存储介质
CN114332844B (zh) 医学图像的智能分类应用方法、装置、设备和存储介质
CN117975170B (zh) 基于大数据的医疗信息处理方法及系统
CN116612340B (zh) 一种消化性溃疡部位分类方法、装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40021492

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant