CN110930386A - 图像处理方法、装置、设备及存储介质 - Google Patents

图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110930386A
CN110930386A CN201911145848.2A CN201911145848A CN110930386A CN 110930386 A CN110930386 A CN 110930386A CN 201911145848 A CN201911145848 A CN 201911145848A CN 110930386 A CN110930386 A CN 110930386A
Authority
CN
China
Prior art keywords
target
feature map
prediction
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911145848.2A
Other languages
English (en)
Other versions
CN110930386B (zh
Inventor
张�杰
黄访
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jinshan Medical Technology Research Institute Co Ltd
Original Assignee
Chongqing Jinshan Medical Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jinshan Medical Technology Research Institute Co Ltd filed Critical Chongqing Jinshan Medical Technology Research Institute Co Ltd
Priority to CN201911145848.2A priority Critical patent/CN110930386B/zh
Publication of CN110930386A publication Critical patent/CN110930386A/zh
Application granted granted Critical
Publication of CN110930386B publication Critical patent/CN110930386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像处理方法、装置、设备及存储介质，其中方法包括：获取待检测的目标图像；对目标图像进行特征识别，得到至少一个特征图；并对至少一个特征图进行池化处理，得到各特征图的池化值；对至少一个特征图进行类别预测，得到至少一个特征图的预测类别以及各预测类别所对应的权重值；根据各特征图的池化值和各特征图的预测类别所对应的权重值，确定目标图像所对应的热力图；根据热力图确定目标图像中是否存在目标异常对象；若存在，则根据热力图获取目标异常对象的属性信息，并输出目标异常对象的属性信息。本发明实施例可以更好地对图像进行异常对象检测，提高检测结果的准确性。

Description

图像处理方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、一种图像处理装置、一种图像处理设备及一种计算机存储介质。
背景技术
图像处理是一种采用计算机对图像进行分析，以达到所需结果的技术。在图像处理技术领域中，图像的异常对象检测是一个尤其重要的研究课题；此处的异常对象是指因发生异常故障而导致图像中存在异常特征的对象，例如因发生病变而导致医疗图像中存在疾病特征的病灶、因发生故障而导致机器设备图像中存在故障特征的设备组件、因发生故障而导致车辆图像中存在故障特征的车辆组件，等等。
目前，当需要对某图像进行异常对象检测时，通常是由相关专业人员(如医生、车辆维修人员等)对该图像进行人为地分析检测，从而确定图像中是否包含异常对象，进而分析得到异常对象的属性信息。实践表明，现有的异常对象检测方式需要花费大量的人力成本，影响其检测效率，还会导致属性信息的准确性较低。因此，如何更好地对图像进行异常对象检测成为了研究热点。
发明内容
本发明实施例提供了一种图像处理方法、装置、设备及计算机存储介质，可更好地对目标图像进行异常对象检测，提高检测结果的准确性。
一方面，本发明实施例提供了一种图像处理方法，该图像处理方法包括：
获取待检测的目标图像；
对所述目标图像进行特征识别，得到至少一个特征图；并对所述至少一个特征图进行池化处理，得到各特征图的池化值；
对所述至少一个特征图进行类别预测，得到所述至少一个特征图的预测类别以及各预测类别所对应的权重值；
根据所述各特征图的池化值和所述各特征图的预测类别所对应的权重值，确定所述目标图像所对应的热力图；
根据所述热力图确定所述目标图像中是否存在目标异常对象，所述目标异常对象是指因发生异常而导致所述目标图像中存在异常特征的对象；
若存在，则根据所述热力图获取所述目标异常对象的属性信息，并输出所述目标异常对象的属性信息。
另一方面，本发明实施例提供了一种图像处理装置，该图像处理装置包括：
获取单元，用于获取待检测的目标图像；
处理单元，用于对待检测的目标图像进行特征识别，得到至少一个特征图；并对所述至少一个特征图进行池化处理，得到各特征图的池化值；
所述处理单元，还用于对所述至少一个特征图进行类别预测，得到所述至少一个特征图的预测类别以及各预测类别所对应的权重值；
所述处理单元，还用于根据所述各特征图的池化值和所述各特征图的预测类别所对应的权重值，确定所述目标图像所对应的热力图；
所述处理单元，还用于根据所述热力图确定所述目标图像中是否存在目标异常对象，所述目标异常对象是指因发生异常而导致所述目标图像中存在异常特征的对象；
所述获取单元，还用于若存在，则根据所述热力图获取所述目标异常对象的属性信息，并输出所述目标异常对象的属性信息。
再一方面，本发明实施例提供了一种图像处理设备，所述图像处理设备包括输入接口和输出接口，所述图像处理设备还包括：
处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如下步骤：
获取待检测的目标图像；
对所述目标图像进行特征识别，得到至少一个特征图；并对所述至少一个特征图进行池化处理，得到各特征图的池化值；
对所述至少一个特征图进行类别预测，得到所述至少一个特征图的预测类别以及各预测类别所对应的权重值；
根据所述各特征图的池化值和所述各特征图的预测类别所对应的权重值，确定所述目标图像所对应的热力图；
根据所述热力图确定所述目标图像中是否存在目标异常对象，所述目标异常对象是指因发生异常而导致所述目标图像中存在异常特征的对象；
若存在，则根据所述热力图获取所述目标异常对象的属性信息，并输出所述目标异常对象的属性信息。
再一方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如下步骤：
获取待检测的目标图像；
对所述目标图像进行特征识别，得到至少一个特征图；并对所述至少一个特征图进行池化处理，得到各特征图的池化值；
对所述至少一个特征图进行类别预测，得到所述至少一个特征图的预测类别以及各预测类别所对应的权重值；
根据所述各特征图的池化值和所述各特征图的预测类别所对应的权重值，确定所述目标图像所对应的热力图；
根据所述热力图确定所述目标图像中是否存在目标异常对象，所述目标异常对象是指因发生异常而导致所述目标图像中存在异常特征的对象；
若存在，则根据所述热力图获取所述目标异常对象的属性信息，并输出所述目标异常对象的属性信息。
本发明实施例在获取到待检测的目标图像之后，可先对该目标图像进行特征识别，得到至少一个特征图；并对至少一个特征图进行池化处理，得到各特征图的池化值。其次，可对至少一个特征图进行类别预测，得到至少一个特征图的预测类别以及各预测类别所对应的权重值。然后，可根据各特征图的池化值和各特征图的预测类别所对应的权重值，确定目标图像所对应的热力图；使得热力图可融合多个特征图的图像特征，从而可以较为准确地反映出目标图像的图像信息，以便于后续可较为准确地根据该热力图确定目标图像是否存在目标异常对象。若存在，则可根据热力图获取并输出异常对象的属性信息，提高目标异常对象的属性信息的准确性。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像处理系统的架构示意图；
图2是本发明实施例提供的一种图像处理方法的流程示意图；
图3是本发明另一实施例提供的一种图像处理方法的流程示意图；
图4a是本发明实施例提供的一种获取特征图的示意图；
图4b是本发明实施例提供的一种获取热力图的示意图；
图5a是本发明实施例提供的一种图像处理方法的应用场景图；
图5b是本发明实施例提供的另一种图像处理方法的应用场景图；
图6是本发明实施例提供的一种图像处理装置的结构示意图；
图7是本发明实施例提供的一种图像处理设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
图像是客观对象的一种相似性的、生动性的描述或写真，是人类社会活动中最常用的信息载体；广义上讲，图像就是所有具有视觉效果的画面。为了更好地对目标图像进行异常对象检测，本发明实施例提供了一种图像处理系统；如图1所示，该图像处理系统可至少包括：图像采集设备11和图像处理设备12。其中，图像采集设备11是指具有图像采集功能的设备，其具体可包括以下任一项：电子内窥镜、照相机、能够拍照的终端设备，等等；此处的电子内窥镜是一种可插入人体体腔和脏器内腔进行直接观察、诊断、治疗的集光、机、电等高精尖技术于一体的医用电子光学仪器。相应的，图像处理设备12是指具有图像识别处理功能的设备，其具体可包括以下任一项：智能手机、平板电脑、膝上计算机、台式计算机等终端设备，数据服务器、应用服务器等服务设备，或者其他可进行图像处理的仪器设备，如医疗诊断设备、机器维修设备等等。需要说明的是，图1只是示例性地表示图像处理系统的架构图，并不对图像处理系统的具体架构进行限定；例如，虽然图1中的图像采集设备和图像处理设备是两个独立的设备，但在实际应用中，也可将图像采集设备固设于图像处理设备上，或者将图像采集设备集成在图像处理设备中，等等。
基于上述的图像处理系统，本发明实施例提出了一种图像处理方案，该图像处理方案可由上述图像处理系统中的图像处理设备来执行。在具体实现中，可先通过图像采集设备进行图像采集，得到待检测的目标图像；并将采集得到的目标图像传输给图像处理设备。相应的，图像处理设备在得到该目标图像之后，便可执行该图像处理方案对目标图像进行一系列的图像处理。具体的，图像处理设备可先对目标图像进行特征识别，得到至少一个特征图；再根据各特征图的池化值以及各特征图的预测类别的权重值，得到目标图像所对应的热力图；然后，根据热力图确定目标图像中是否存在目标异常对象，此处的目标异常对象是指因发生异常故障而导致图像中存在异常特征的对象，例如因发生病变而导致医疗图像中存在疾病特征的病灶、因发生故障而导致机器设备图像中存在故障特征的设备组件、因发生故障而导致车辆图像中存在故障特征的车辆组件，等等。若存在目标异常对象，则根据热力图获取并输出目标异常对象的属性信息。本发明实施例所提出的图像处理方案具有如下优势：通过至少一个特征图的池化值和相应的预测类别的权重值来确定热力图，可以使得热力图融合多个特征图的图像特征，从而可以较为准确地反映出目标图像的图像信息，以便于在根据热力图确定目标图像存在目标异常对象时，可较为准确地根据该热力图获取并输出目标异常对象的属性信息，提高目标异常对象的属性信息的准确性。
基于上述的描述，本发明实施例提出一种图像处理方法，该图像处理方法可以由上述所提及的图像处理设备执行。请参见图2，该图像处理方法可包括以下步骤S201-S206：
S201，获取待检测的目标图像。
图像处理设备可通过相应的硬件接口从图像采集设备处获取待检测的目标图像。在一种具体实现中，图像处理设备可实时或周期性地主动从图像采集设备处获取目标图像；具体的，图像处理设备可实时或周期性地主动向图像采集设备发送图像获取请求，以请求图像采集设备返回待检测的目标图像；此情况下，图像采集设备可响应该图像获取请求，将存储空间存储的目标图像返回给图像处理设备；相应的，图像处理设备接收图像采集设备返回的目标图像。再一种具体实现中，图像处理设备也可被动地从图像采集设备处获取目标图像；具体的，图像采集设备采集到一个目标图像，便可将该采集到的目标图像实时发送给图像处理设备；此情况下，图像处理设备被动地接收图像采集设备发送的目标图像。
S202，对待检测的目标图像进行特征识别，得到至少一个特征图；并对至少一个特征图进行池化处理，得到各特征图的池化值。
在获取到待检测的目标图像之后，可以对待检测的目标图像进行特征识别，得到至少一个特征图；任一个特征图是根据从目标图像中提取到的不同尺度的图像进行融合得到的。其中，此处的尺度用于表征图像所包含的图像特征的抽象程度：尺度越小表明图像所包含的图像特征越抽象，尺度越大表明图像所包含的图像特征越具体；例如，图像a的图像特征为抽象的纹理特征，而图像b的图像特征为具体的物体的属性特征(如“小狗”的属性特征)，则图像a的尺度小于图像b的尺度。在具体实现中，可以对待检测的目标图像进行特征识别，提取得到多个不同尺度的中间图像；从所述多个不同尺度的中间图像中任意选取尺度不同的中间图像进行融合，得到至少一个特征图。
在得到至少一个特征图之后，还可对至少一个特征图进行池化处理，得到各特征图的池化值。其中，此处的池化处理可包括：全局平均池化处理或者最大值池化处理；此处的全局平均池化处理是指：将特征图中的各个像素的像素值的均值作为池化值的处理，最大值池化处理是指：从特征图中的各像素的像素值中，选取最大的像素值作为池化值的处理。通过对至少一个特征图进行池化处理，可以降低图像维度，并使得各特征图的池化值具有全局的感受野，从而使得可以利用全局信息进行后续的处理，提高准确性。
S203，对至少一个特征图进行类别预测，得到至少一个特征图的预测类别以及各预测类别所对应的权重值。
由前述可知，各特征图均是通过对不同尺度的中间图像进行特征融合得到的；因此，不同的特征图所包含的图像特征可能不同，而不同的图像特征可能会使得特征图的类别也随之不同。基于此，在得到至少一个特征图之后，还可分别对各特征图进行类别预测，从而得到各特征图的预测类别以及各预测类别的预测值。其中，任一特征图的预测类别的预测值可用于表示该特征图包含该预测类别所指示的异常对象的概率；例如，设特征图1的预测类别为肺结核类别，该预测类别的预测值为0.9；那么预测值可表示特征图1包含肺结核病灶的概率为0.9。
在得到各特征图的预测类别以及各预测类别的预测值之后，还可分别确定各预测类别所对应的权重值；其具体可至少包括以下两种实施方式：
在一种实施方式中，可以根据预先设置的类别和权重值的对应关系，分别获取各特征图的预测类别所对应的权重值；例如，设预先设置的和权重值的对应关系如表1所示；若特征图1的预测类别为类别a，则通过表1包括的对应关系可确定特征图1的预测类别的权重值为0.9。
表1
类别 权重值
类别a 0.9
类别b 0.75
类别c 0.95
... ...
再一种实施方式中，可根据各特征图的预测类别的预测值计算得到各特征图的权重值。一种具体实现中，针对任一特征图，可直接将该特征图的预测类别的预测值作为该特征图的权重值。另一种具体实现中，可对各特征图的预测类别的预测值进行归一化处理，将归一化处理后所得到的各个值分别作为各特征图的权重值。例如，设总共有3个特征图，其预测类别的预测值分别是：特征图1的预测类别a的预测值为0.7、特征图2的预测类别b的预测值为0.8、特征图3的预测类别c的预测值为0.5；那么分别对该这三个预测值进行归一化处理，可得到各特征图的权重值分别为：特征图1的权重值为：0.7/(0.7+0.8+0.5)＝0.35、特征图2的权重值为：0.8/(0.7+0.8+0.5)＝0.4、以及特征图3的权重值为：0.5/(0.7+0.8+0.5)＝0.25。再一种具体实现中，针对任一特征图，可将该特征图的预测类别的预测值代入预设的权重值计算公式中，计算得到该特征图的权重值；此处的权重值计算公式是将预测类别的预测值和特征图中的各像素的像素值作为变量构建得到的。
S204，根据各特征图的池化值和各特征图的预测类别所对应的权重值，确定目标图像所对应的热力图。
S205，根据热力图确定医疗图像中是否存在目标异常对象。
S206，若存在，则根据热力图获取目标异常对象的属性信息，并输出目标异常对象的属性信息。
在步骤S204-S206中，可对各特征图的池化值和各特征图的预测类别所对应的权重值进行加权求和，从而得到目标图像所对应的热力图；所谓的热力图是指以预设显示形式显示目标异常对象所对应的异常像素点的图示。此处的预设显示形式可包括特殊高亮的形式、指定显示颜色的形式，等等。由于热力图会以预设显示方式显示目标异常对象的异常像素点，因此在得到热力图之后，可根据热力图确定目标图像中是否存在目标异常对象。具体的，若热力图中包括以预设显示方式进行显示的异常像素点，则确定目标图像存在目标异常对象；否则，则确定目标图像不存在目标异常对象，即目标图像为正常图像。若目标图像存在目标异常对象，则可根据热力图获取目标异常对象的属性信息，并输出目标异常对象的属性信息；目标异常对象的属性信息可包括：目标异常对象的目标中心点的坐标，和/或目标异常对象的目标尺寸，该目标尺寸可包括以下至少一项：目标异常对象的长度、宽度和深度。
本发明实施例在获取到待检测的医疗图像之后，可先对该医疗图像进行特征识别，得到至少一个特征图；并对至少一个特征图进行池化处理，得到各特征图的池化值。其次，可对至少一个特征图进行类别预测，得到至少一个特征图的预测类别以及各预测类别所对应的权重值。然后，可根据各特征图的池化值和各特征图的预测类别所对应的权重值，确定医疗图像所对应的热力图；使得热力图可融合多个特征图的图像特征，从而可以较为准确地反映出医疗图像的图像信息，以便于后续可较为准确地根据该热力图确定医疗图像是否存在目标异常对象。若存在，则可根据热力图获取并输出异常对象的属性信息，提高目标异常对象的属性信息的准确性。
为了可以更好地对图像进行异常对象识别，本发明实施例还可预先采用预设网络构建图像处理模型，并对该图像处理模型进行训练优化，以便于后续可调用优化的图像处理模型对图像进行异常对象检测。此处的预设网络可以是包括多个用于进行特征提取的卷积层，且能够对不同尺度的图像进行融合的任一网络，如深层聚合网络。针对该图像处理模型还可设计如下模型训练算法：(1)生成热力图，具体包括：①输入样本图像，I∈RW*H*3；W和H分别表示样本图像的长度和宽度，3表示样本图像的维度(即三维)；②输出相应的样本热力图，Hc∈[0，1]W/R*H/R*C；R表示下采样尺度，即最终图像缩小的倍率；R的取值可根据经验值设置，例如设置R＝4(即进行两次下采样)；C表示预设类别的数量，此处设置C＝80个类别(COCO数据集)；当Hc＝1表示检测到样本图像中包括预设类别下的样本异常对象，Hc＝0表示未检测到样本图像中包括预设类别下的样本异常对象。(2)找到样本图像的标注信息，标注信息包括样本图像中的样本异常对象的标注中心点及标注尺寸，具体包括：①计算标注中心点在样本图像中的标注坐标，
Figure BDA0002281722810000091
(x1，y1)表示样本异常对象的左上角坐标，(x2，y2)表示样本异常对象的右下角坐标；②计算标注中心点在热力图中的位置坐标：
Figure BDA0002281722810000092
③根据样本异常对象的左上角坐标和右下角坐标计算样本异常对象的尺寸。(3)找到样本图像的预测信息，预测信息包括样本图像中的样本异常对象的预测中心点及预测尺寸。(4)基于预测信息和标注信息之间的差异对图像处理模型进行模型训练。
由于本发明实施例构建图像处理模型，是为了后续能够调用优化的图像处理模型对图像进行异常对象检测，并获取图像中的异常对象的属性信息(如中心点的坐标和异常对象的尺寸)；因此，在基于预设网络构建图像处理模型的过程中，还可为图像处理模型设置一个中心点损失函数和尺寸损失函数，以使得后续通过中心点损失函数和尺寸损失函数对图像处理模型进行训练优化后，可以保障优化的图像处理具有较好的性能，能够较为准确地获取图像中的异常对象的属性信息。可选的，由上述的图像处理模型的训练算法可知，在从输入样本图像到生成热力图的过程中，会进行了2次下采样，最终得到的热力图为原图的1/4大小。而由于在计算标注中心点相对于热力图的位置坐标时，标注中心点在原始的样本图像中的标注坐标是浮点型的，而相对于热力图的位置坐标便会转化为整形；这样会导致标注中心点的标注坐标产生一定的偏置量。基于此，本发明实施例还可为图像处理模型设置一个中心偏置损失函数。也就是说，本发明实施例中的图像处理模型是基于预设网络、中心点损失函数、中心偏置损失函数和尺寸损失函数构建的。其中，中心点损失函数可以参见式1.1所示：
Figure BDA0002281722810000101
在上述式1.1所示的中心点损失函数中，
Figure BDA0002281722810000102
表示第一损失函数；
Figure BDA0002281722810000103
表示第二损失函数；α表示第一超参数、β表示第二超参数；所谓超参数是指在模型训练优化之前所预先设置的参数；超参数α和β的值均可根据经验值设置，例如设置α＝2，β＝4或者β＝6。N是预测中心点的个数，
Figure BDA0002281722810000104
为预测中心点的预测坐标，Yxyc为高斯核函数的函数值。高斯核函数的函数值是根据预测中心点的预测坐标和标注中心点的标注坐标计算得到的，高斯核函数的值可反映预测中心点和标注中心点之间的远近程度(即距离)；若高斯核函数的值等于1，则表明预测中心点和标注中心点为同一个点。其中，高斯核函数的具体计算公式可参见式1.2所示：
Figure BDA0002281722810000105
在上述式1.2中，x和y表示预测中心点的预测坐标，px’和py’表示标注中心点的标注坐标；δp 2表示预测中心点的预测坐标和标注中心点的标注坐标之间的方差。
上述所提及的中心偏置损失函数可以参见式1.3所示：
Figure BDA0002281722810000106
在上述式1.3中，
Figure BDA0002281722810000107
表示将标注中心点映射到热力图上时，预测得到的标注中心点的标注坐标的偏置量；
Figure BDA0002281722810000108
表示采用取整和不取整两种方式所带来的差值。
上述所提及的尺寸损失函数可以包括：L1损失函数(最小化绝对误差)、L2损失函数(最小化平方误差)，等等；由于经实践表明，L1损失函数的收敛效果要优于L2损失函数，因此本发明实施例优选L1损失函数作为尺寸损失函数，其具体函数公式可参见式1.4所示：
Figure BDA0002281722810000109
在上述式1.4中，
Figure BDA00022817228100001010
表示预测得到的中心点的预测尺寸；Sk表示中心点的标注尺寸；此处的尺寸可为三维尺寸，其具体可包括长度、宽度和深度。
基于上述图像处理模型的相关描述，本发明实施例还提出了一件如图3所示的另一种图像处理方法的流程示意图。该图像处理方法可以由上述所提及的图像处理设备执行。请参见图3，该图像处理方法可包括以下步骤S301-S308：
S301，获取用于对图像处理模型进行训练优化的样本图像，以及样本图像的标注信息。
在具体实施过程中，可由图像采集设备对样本异常对象进行图像采集，从而得到样本图像；图像处理设备则可从图像采集设备处获取用于对图像处理模型进行训练优化的样本图像，该样本图像包括样本异常对象。样本图像的标注信息可包括：样本图像的标注类别以及样本异常对象的属性信息，而样本异常对象的属性信息则可包括：样本异常对象的标注中心点的标注坐标及样本异常对象的标注尺寸。在获取样本图像的标注信息的过程中，可由专业的标注人员先标注出样本图像中的样本异常对象；然后，图像处理设备可根据样本图像中已标注出的样本异常对象的左上角坐标和右下角坐标，计算得到样本异常对象的标注中心点的标注坐标，以及样本异常对象的标注尺寸。
在一种实施方式中，该样本异常对象的标注尺寸可为样本异常对象的二维尺寸，其具体可包括样本异常对象的长度和宽度。再一种实施方式中，该样本异常对象的标注尺寸可为样本异常对象的三维尺寸，其具体可包括样本异常对象的长度、宽度和深度；通过对样本异常对象进行三维标注，可以使得在后续的图像训练优化过程中，图像处理模型能够学习到如何识别异常对象的深度，从而使得优化的图像处理模型具有识别异常对象的深度的能力，进而可以更为准确地表示异常对象的实际情况。为便于阐述，后续均以样本异常对象的标注尺寸为三维尺寸为例进行说明。
S302，采用样本图像及样本图像的标注信息，对图像处理模型进行模型训练优化，得到优化的图像处理模型。
在获取到样本图像以及样本图像的标注信息之后，便可采用样本图像及样本图像的标注信息，对图像处理模型进行模型训练优化，得到优化的图像处理模型。其中，模型的训练优化过程可具体包括以下步骤①-⑥：
①调用图像处理模型对样本图像进行特征识别，得到至少一个样本特征图。
具体的，可调用图像处理模型对样本图像进行特征识别，得到不同尺度的样本中间图像；再对不同尺度的样本中间图像进行特征融合，得到至少一个样本特征图；其示意图可参见图4a所示。需要说明的是，图4a只是示例性地说明如何对中间图像(如样本中间图像)进行特征融合从而得到特征图(如样本特征图)的，并不对图像处理模型的具体结构进行限定。
②调用图像处理模型对至少一个样本特征图进行池化处理，得到各样本特征图的池化值。
③调用图像处理模型根据标注类别对至少一个样本特征图进行有监督预测，得到至少一个样本特征图的类别为标注类别时所对应的权重值。
具体实现中，可采用式1.5所示的公式计算得到各样本特征图的类别为标注类别时所对应的权重值。
Figure BDA0002281722810000121
在上述式1.5中，c表示标注类别，
Figure BDA0002281722810000122
表示第k个样本特征图的类别为标注类别时所对应的权重值；Z表示样本特征图中的像素的个数，yc是第k个样本特征图的类别为标注类别时所对应的预测值(即预测概率)，
Figure BDA0002281722810000123
表示第k个样本特征图中，(i，j)位置处的像素值，
Figure BDA0002281722810000124
表示偏导运算。
④调用图像处理模型根据各样本特征图的池化值和各样本特征图所对应的权重值，确定样本图像所对应的样本热力图。
具体的，可采用式1.6所示的公式对各样本特征图的池化值和各样本特征图所对应的权重值进行加权求和，从而得到样本图像所对应的样本热力图。
Figure BDA0002281722810000125
在上述式1.6中，Hc表示样本热力图；
Figure BDA0002281722810000126
为第k个样本特征图的类别为标注类别时所对应的权重值，fk为第k个样本特征图的池化值。
⑤调用图像处理模型通过高斯核函数将样本图像的标注信息以高斯分布的形式分布在样本热力图上，得到高斯核函数的函数值；并结合高斯核函数的函数值和中心点损失函数对图像处理模型进行训练优化。
具体的，在调用图像处理模型通过高斯核函数将样本图像的标注信息以高斯分布的形式分布在样本热力图上，得到高斯核函数的函数值时，可先调用图像处理模型根据样本热力图预测样本异常对象的中心点，得到样本异常对象的预测中心点以及预测中心点的预测坐标；其次，可将预测中心点的预测坐标和标注信息中的标注中心点的标注坐标，代入式1.2所示的高斯核函数的计算公式中，计算得到高斯核函数的函数值。
在得到高斯核函数的函数值之后，可根据该高斯核函数的函数值选取中心点损失函数。由上述式1.1可知，中心点损失函数可包括第一损失函数(如式1.1中的第一行函数)或者第二损失函数(如式1.1中的第二行函数)，中心点损失函数的选取与高斯核函数的函数值相关。具体的，中心点损失函数的选取可包括：若高斯核函数的函数值等于预设值(预设值可根据实际需求或经验值设置，例如设置预设值为1)，则选取第一损失函数作为中心点损失函数；第一损失函数的函数参数包括第一超参数，第一损失函数的函数变量包括预测中心点的预测坐标；若高斯核函数的函数值不等于预设值，则选取第二损失函数作为中心点损失函数；第二损失函数的函数参数可包括：第一超参数和第二超参数，第二损失函数的函数变量包括高斯核函数的函数值及预测中心点的预测坐标。在选取了中心点损失函数之后，可将预测中心点的预测坐标，或者预测中心点的预测坐标以及高斯核函数的函数值代入中心点损失函数中，得到中心点损失函数的损失值。然后，可沿着减少中心点损失函数的损失值的方向，调整图像处理模型的模型参数，以对图像处理模型进行训练优化。
由前述可知，样本图像的标注信息包括样本图像的标注中心点的标注坐标；而由于在调用图像处理模型通过高斯核函数将样本图像的标注信息以高斯分布的形式分布在样本热力图上，得到高斯核函数的函数值的过程中，可能会导致样本图像中的标注中心点的标注坐标产生偏置问题。因此，本发明实施例还可预测标注中心点的标注坐标所产生的偏置量，并将该偏置量代入式1.3所示的中心偏置损失函数中，得到中心偏置损失函数的损失值。然后，可沿着减少中心偏置损失函数的损失值的方向，调整图像处理模型的模型参数，以对图像处理模型进行训练优化。
⑥调用图像处理模型基于预测中心点对样本异常对象进行尺寸估计，得到样本异常对象的预测尺寸；并结合样本异常对象的预测尺寸、标注信息中的标注尺寸和尺寸损失函数对图像处理模型进行训练优化。
在具体实施过程中，可将样本异常对象的预测尺寸和标注尺寸代入尺寸损失函数中，得到尺寸损失函数(如上述式1.4所示)的损失值。然后，可沿着减少尺寸损失函数的损失值的方向，调整图像处理模型的模型参数，以对图像处理模型进行训练优化。
重复迭代执行上述步骤①-⑥，直至模型收敛，从而可得到优化的图像处理模型。需要说明的是，在上述模型的训练优化过程中，可设置图像处理模型的下采样率为4，从而提高优化的图像处理模型的图像处理精度，从而提高后续的属性信息的准确性。
S303，获取待检测的目标图像。
S304，对待检测的目标图像进行特征识别，得到至少一个特征图；并对至少一个特征图进行池化处理，得到各特征图的池化值。
S305，对至少一个特征图进行类别预测，得到至少一个特征图的预测类别以及各预测类别所对应的权重值。
在步骤S304-S305的具体实施过程中，可先获取优化的图像处理模型；该优化的图像处理模型是采用样本图像及样本图像的标注信息，对图像处理模型进行模型训练优化得到的。再调用优化的图像处理模型对目标图像进行特征识别，得到包含目标异常对象的至少一个特征图；以及对至少一个特征图进行池化处理，得到各特征图的池化值。然后，还可调用优化的图像处理模型对至少一个特征图进行类别预测，得到至少一个特征图的预测类别以及各预测类别所对应的权重值。下面以目标特征图为例，对步骤S305的具体实施方式进行阐述，其具体可包括以下步骤s11-s13：
s11，对目标特征图进行类别预测，得到至少一个候选类别以及各候选类别的预测值。
在具体实施过程中，可调用优化的图像处理模型对目标特征图进行类别预测，得到至少一个候选类别以及各候选类别的预测值。其中，任一候选类别的预测值用于表示目标异常对象的异常特征属于候选类别的概率，目标特征图为至少一个特征图中的任一特征图。
s12，根据各候选类别的预测值，从至少一个候选类别中选取一个候选类别作为目标特征图的预测类别。
在一种实施方式中，可根据各候选类别的预测值，从至少一个候选类别中选取预测值最大的候选类别作为目标特征图的预测类别。再一种实施方式中，可以分别比较各候选类别的预测值和预设阈值的大小，任意选取一个预测值大于预设阈值的候选类别作为目标特征图的预测类别。再一种实施方式中，可以分别比较各候选类别的预测值和预设阈值的大小，将预测值大于预设阈值的候选类别均作为目标特征图的预测类别。
s13，根据预测类别的预测值，计算目标特征图的预测类别所对应的权重值；预测类别的预测值为被选取的候选类别的预测值。
在具体实现中，目标特征图包括至少一个像素的像素值；步骤s13的具体实施方式与上述步骤S302中所提及的第③点的具体实施方式类似。具体的，可以先对目标特征图像中的各像素的像素值进行偏导运算，得到各像素的偏导后的像素值；以及对预测类别的预测值进行偏导运算，得到偏导后的预测值。然后，分别计算偏导后的预测值和各像素的偏导后的像素值之间的比值，并将计算得到的各比值的均值作为目标特征图的预测类别所对应的权重值。
S306，根据各特征图的池化值和各特征图的预测类别所对应的权重值，确定目标图像所对应的热力图。
在具体实施过程中，至少一个特征图可包括第一特征图和第二特征图，第一特征图和第二特征图不相同；步骤S306的具体实施方式与上述步骤S302中所提及的第④点的具体实施方式类似。具体的，可先加权第一特征图的池化值和第一特征图的预测类别所对应的权重值，得到第一特征图的加权值；以及加权第二特征图的池化值和第二特征图的预测类别所对应的权重值，得到第二特征图的加权值。然后，对第一特征图的加权值和第二特征图的加权值进行求和，得到目标图像所对应的热力图。需要说明的是，当特征图的数量为3个及以上时，可分别加权各特征图的池化值和对应的权重值，然后再进行求和计算，得到热力图；其具体计算示意图可参见图4b所示；其具体计算公式可参见下述式1.7所示：
Figure BDA0002281722810000151
在上述式1.7中，Hr表示目标图像所对应的热力图；
Figure BDA0002281722810000152
为第k个特征图的预测类别所对应的权重值，fk为第k个特征图的池化值。
S307，根据热力图确定目标图像中是否存在目标异常对象。
S308，若存在，则根据热力图获取目标异常对象的属性信息，并输出目标异常对象的属性信息。
在具体实施过程中，可调用优化的图像处理模型根据热力图预测目标异常对象的中心点，得到目标异常对象的目标中心点以及目标中心点的坐标。由前述可知，热力图会以预设显示方式(如特殊高亮的形式、指定显示颜色的形式)显示目标异常对象的异常像素点，因此可调用优化的图像处理模型对热力图进行识别，在热力图中查找最高亮或者颜色最深的异常像素点；并将查找到的异常像素点作为目标异常对象的目标中心点。其次，可调用优化的图像处理模型基于目标中心点对目标异常对象进行尺寸估计，得到目标异常对象的目标尺寸；然后，可将目标中心点的坐标和目标异常对象的目标尺寸添加至目标异常对象的属性信息中。由此可见，本发明实施例在根据热力图获取目标异常对象的属性信息时，无需对目标图像进行前景和背景的区分；通过先查找目标异常对象的中心点，再估计尺寸的方式，能够较大地提升信息获取速度以及属性信息的准确度。
在得到目标异常对象的属性信息之后，可输出该目标异常对象的属性信息。在一种实施方式中，可直接输出该目标异常对象的属性信息。在一种实施方式中，可基于目标异常对象的属性信息在目标图像中标注出目标异常对象，并输出标注后的目标图像。
本发明实施例在获取到待检测的医疗图像之后，可先对该医疗图像进行特征识别，得到至少一个特征图；并对至少一个特征图进行池化处理，得到各特征图的池化值。其次，可对至少一个特征图进行类别预测，得到至少一个特征图的预测类别以及各预测类别所对应的权重值。然后，可根据各特征图的池化值和各特征图的预测类别所对应的权重值，确定医疗图像所对应的热力图；使得热力图可融合多个特征图的图像特征，从而可以较为准确地反映出医疗图像的图像信息，以便于后续可较为准确地根据该热力图确定医疗图像是否存在目标异常对象。若存在，则可根据热力图获取并输出异常对象的属性信息，提高目标异常对象的属性信息的准确性。
在实际应用中，图像处理设备可以将上述所提及的该图像处理方法运用在不同的应用场景中，例如医疗图像的病灶检测场景、车辆图像的故障组件检测场景、机器设备图像的故障组件检测场景，等等。下面以将图像处理方案应用在医疗图像的病灶检测场景，即以目标异常对象为目标病灶为例，对该图像处理方法的具体应用场景进行阐述：
当某用户在做胃镜检查时，医生可使用图像采集设备(如电子内窥镜)对该用户的胃部进行图像采集，得到原始图像；相应的，图像处理设备可通过相应的硬件接口从图像采集设备处获取该原始图像，如图5a所示。由于电子内窥镜所采集到的原始图像通常是YUV颜色空间下的图像，因此为了便于可更好地进行病灶检测，可将原始图像从YUV颜色空间转换至RGB颜色空间，得到待检测的医疗图像。
图像处理设备在获取到医疗图像之后，可调用优化的图像处理模型来对医疗图像进行处理，如图5b所示。具体的，图像处理设备可先对医疗图像进行特征识别，得到至少一个特征图；并对至少一个特征图进行池化处理，得到各特征图的池化值。其次，可对至少一个特征图进行类别预测，得到至少一个特征图的预测类别以及各预测类别所对应的权重值。然后，可根据各特征图的池化值和所述各特征图的预测类别所对应的权重值，确定医疗图像所对应的热力图。接着，可根据热力图确定医疗图像中是否存在目标病灶；若存在，则可根据热力图获取目标病灶的属性信息。在得到属性信息之后，还可在医疗图像中标注属性信息并输出。
由此可见，本发明实施例在获取到待检测的医疗图像之后，可先对医疗图像进行特征识别，得到至少一个特征图；并对至少一个特征图进行池化处理，得到各特征图的池化值。其次，可对至少一个特征图进行类别预测，得到至少一个特征图的预测类别以及各预测类别所对应的权重值。然后，可根据各特征图的池化值和各特征图的预测类别所对应的权重值，确定医疗图像所对应的热力图；使得热力图可融合多个特征图的图像特征，从而可以较为准确地反映出医疗图像的图像信息，以便于后续可较为准确地根据该热力图确定医疗图像是否存在目标病灶。若存在，则可根据热力图获取并输出目标病灶的属性信息，提高目标病灶的属性信息的准确性。
基于上述图像处理方法实施例的描述，本发明实施例还公开了一种图像处理装置，所述图像处理装置可以是运行于图像处理设备中的一个计算机程序(包括程序代码)。该图像处理装置可以执行图2至图3所示的方法。请参见图6，所述图像处理装置可以运行如下单元：
获取单元101，用于获取待检测的目标图像；
处理单元102，用于对所述目标图像进行特征识别，得到至少一个特征图；并对所述至少一个特征图进行池化处理，得到各特征图的池化值；
所述处理单元102，还用于对所述至少一个特征图进行类别预测，得到所述至少一个特征图的预测类别以及各预测类别所对应的权重值；
所述处理单元102，还用于根据所述各特征图的池化值和所述各特征图的预测类别所对应的权重值，确定所述目标图像所对应的热力图；
所述处理单元102，还用于根据所述热力图确定所述目标图像中是否存在目标异常对象，所述目标异常对象是指因发生异常而导致所述目标图像中存在异常特征的对象；
所述获取单元101，还用于若存在，则根据所述热力图获取所述目标异常对象的属性信息，并输出所述目标异常对象的属性信息。
在一种实施方式中，处理单元102在用于对所述至少一个特征图进行类别预测，得到所述至少一个特征图的预测类别以及各预测类别所对应的权重值时，具体用于：
对所述目标特征图进行类别预测，得到至少一个候选类别以及各候选类别的预测值，任一候选类别的预测值用于表示所述目标特征图包含所述候选类别所指示的异常对象的概率，所述目标特征图为所述至少一个特征图中的任一特征图；
根据所述各候选类别的预测值，从所述至少一个候选类别中选取一个候选类别作为所述目标特征图的预测类别；
根据所述预测类别的预测值，计算所述目标特征图的预测类别所对应的权重值；所述预测类别的预测值为被选取的候选类别的预测值。
再一种实施方式中，所述目标特征图包括至少一个像素的像素值；相应的，处理单元102在用于根据所述预测类别的预测值，计算所述目标特征图的预测类别所对应的权重值时，具体用于：
对所述目标特征图像中的各像素的像素值进行偏导运算，得到所述各像素的偏导后的像素值；以及对所述预测类别的预测值进行偏导运算，得到偏导后的预测值；
分别计算所述偏导后的预测值和所述各像素的偏导后的像素值之间的比值，并将计算得到的各比值的均值作为所述目标特征图的预测类别所对应的权重值。
再一种实施方式中，所述至少一个特征图包括第一特征图和第二特征图；相应的，处理单元102在用于根据所述各特征图的池化值和所述各特征图的预测类别所对应的权重值，确定所述目标图像所对应的热力图时，具体用于：
加权所述第一特征图的池化值和所述第一特征图的预测类别所对应的权重值，得到所述第一特征图的加权值；
加权所述第二特征图的池化值和所述第二特征图的预测类别所对应的权重值，得到所述第二特征图的加权值；
对所述第一特征图的加权值和所述第二特征图的加权值进行求和，得到所述目标图像所对应的热力图。
再一种实施方式中，获取单元101在用于根据所述热力图获取所述目标异常对象的属性信息时，具体用于：
调用优化的图像处理模型根据所述热力图预测所述目标异常对象的中心点，得到所述目标异常对象的目标中心点以及所述目标中心点的坐标；
调用所述优化的图像处理模型基于所述目标中心点对所述目标异常对象进行尺寸估计，得到所述目标异常对象的目标尺寸；
将所述目标中心点的坐标和所述目标异常对象的目标尺寸添加至所述目标异常对象的属性信息中。
再一种实施方式中，所述优化的图像处理模型是采用样本图像及所述样本图像的标注信息，对图像处理模型进行模型优化得到的；
其中，所述样本图像包括样本异常对象，所述标注信息包括所述样本异常对象的属性信息，所述样本异常对象的属性信息包括：所述样本异常对象的标注中心点的标注坐标及所述样本异常对象的标注尺寸；
所述图像处理模型是基于预设网络、中心点损失函数和尺寸损失函数构建的；所述中心点损失函数包括第一损失函数或者第二损失函数，所述中心点损失函数的选取与高斯核函数的函数值相关；所述高斯核函数的函数值是根据所述预测中心点的预测坐标和所述标注中心点的标注坐标计算得到的。
再一种实施方式中，所述中心点损失函数的选取包括：
若所述高斯核函数的函数值等于预设值，则选取所述第一损失函数作为中心点损失函数；所述第一损失函数的函数参数包括第一超参数，所述第一损失函数的函数变量包括所述预测中心点的预测坐标；
若所述高斯核函数的函数值不等于所述预设值，则选取所述第二损失函数作为中心点损失函数；所述第二损失函数的函数参数包括：第一超参数和第二超参数，所述第二损失函数的函数变量包括高斯核函数的函数值及所述预测中心点的预测坐标。
根据本发明的一个实施例，图2至图3所示的方法所涉及的各个步骤均可以是由图6所示的图像处理装置中的各个单元来执行的。例如，图2中所示的步骤S201和S206可由图6中所示的获取单元101来执行，步骤S202-S205可由图6中所示的处理单元102来执行；又如，图3中所示的步骤S301、S303和S308可由图6中所示的获取单元101来执行，步骤S302、S304-S307可由图6中所示的处理单元102来执行。根据本发明的另一个实施例，图6所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，基于装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本发明的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2至图3中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图6中所示的图像处理装置设备，以及来实现本发明实施例的图像处理方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
本发明实施例在获取到待检测的医疗图像之后，可先对该医疗图像进行特征识别，得到至少一个特征图；并对至少一个特征图进行池化处理，得到各特征图的池化值。其次，可对至少一个特征图进行类别预测，得到至少一个特征图的预测类别以及各预测类别所对应的权重值。然后，可根据各特征图的池化值和各特征图的预测类别所对应的权重值，确定医疗图像所对应的热力图；使得热力图可融合多个特征图的图像特征，从而可以较为准确地反映出医疗图像的图像信息，以便于后续可较为准确地根据该热力图确定医疗图像是否存在目标异常对象。若存在，则可根据热力图获取并输出异常对象的属性信息，提高目标异常对象的属性信息的准确性。
基于上述方法实施例以及装置实施例的描述，本发明实施例还提供一种图像处理设备。请参见图7，该图像处理设备至少包括处理器201、输入接口202、输出接口203以及计算机存储介质204。其中，图像处理设备内的处理器201、输入接口202、输出接口203以及计算机存储介质204可以通过总线或其他方式连接。
计算机存储介质204可以存储在图像处理设备的存储器中，所述计算机存储介质204用于存储计算机程序，所述计算机程序包括程序指令，所述处理器201用于执行所述计算机存储介质204存储的程序指令。处理器201(或称CPU(Central Processing Unit，中央处理器))是图像处理设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能；在一个实施例中，本发明实施例所述的处理器201可以用于对目标图像进行一系列的异常对象识别处理，包括：获取待检测的目标图像；对所述目标图像进行特征识别，得到至少一个特征图；并对所述至少一个特征图进行池化处理，得到各特征图的池化值；对所述至少一个特征图进行类别预测，得到所述至少一个特征图的预测类别以及各预测类别所对应的权重值；根据所述各特征图的池化值和所述各特征图的预测类别所对应的权重值，确定所述目标图像所对应的热力图；根据所述热力图确定所述目标图像中是否存在目标异常对象，所述目标异常对象是指因发生异常而导致所述目标图像中存在异常特征的对象；若存在，则根据所述热力图获取所述目标异常对象的属性信息，并输出所述目标异常对象的属性信息，等等。
本发明实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是图像处理设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括图像处理设备中的内置存储介质，当然也可以包括图像处理设备所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了图像处理设备的操作系统。并且，在该存储空间中还存放了适于被处理器201加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中，可由处理器201加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关图像处理实施例中的方法的相应步骤；具体实现中，计算机存储介质中的一条或多条指令由处理器201加载并执行如下步骤：
获取待检测的目标图像；
对所述目标图像进行特征识别，得到至少一个特征图；并对所述至少一个特征图进行池化处理，得到各特征图的池化值；
对所述至少一个特征图进行类别预测，得到所述至少一个特征图的预测类别以及各预测类别所对应的权重值；
根据所述各特征图的池化值和所述各特征图的预测类别所对应的权重值，确定所述目标图像所对应的热力图；
根据所述热力图确定所述目标图像中是否存在目标异常对象，所述目标异常对象是指因发生异常而导致所述目标图像中存在异常特征的对象；
若存在，则根据所述热力图获取所述目标异常对象的属性信息，并输出所述目标异常对象的属性信息
在一种实施方式中，在对所述至少一个特征图进行类别预测，得到所述至少一个特征图的预测类别以及各预测类别所对应的权重值时，所述一条或多条指令还可由处理器201加载并具体执行：
对所述目标特征图进行类别预测，得到至少一个候选类别以及各候选类别的预测值，任一候选类别的预测值用于表示所述目标特征图包含所述候选类别所指示的异常对象的概率，所述目标特征图为所述至少一个特征图中的任一特征图；
根据所述各候选类别的预测值，从所述至少一个候选类别中选取一个候选类别作为所述目标特征图的预测类别；
根据所述预测类别的预测值，计算所述目标特征图的预测类别所对应的权重值；所述预测类别的预测值为被选取的候选类别的预测值。
再一种实施方式中，所述目标特征图包括至少一个像素的像素值；相应的，在根据所述预测类别的预测值，计算所述目标特征图的预测类别所对应的权重值时，所述一条或多条指令由处理器201加载并具体执行：
对所述目标特征图像中的各像素的像素值进行偏导运算，得到所述各像素的偏导后的像素值；以及对所述预测类别的预测值进行偏导运算，得到偏导后的预测值；
分别计算所述偏导后的预测值和所述各像素的偏导后的像素值之间的比值，并将计算得到的各比值的均值作为所述目标特征图的预测类别所对应的权重值。
再一种实施方式中，所述至少一个特征图包括第一特征图和第二特征图；相应的，在根据所述各特征图的池化值和所述各特征图的预测类别所对应的权重值，确定所述目标图像所对应的热力图时，所述一条或多条指令由处理器201加载并具体执行：
加权所述第一特征图的池化值和所述第一特征图的预测类别所对应的权重值，得到所述第一特征图的加权值；
加权所述第二特征图的池化值和所述第二特征图的预测类别所对应的权重值，得到所述第二特征图的加权值；
对所述第一特征图的加权值和所述第二特征图的加权值进行求和，得到所述目标图像所对应的热力图。
再一种实施方式中，在根据所述热力图获取所述目标异常对象的属性信息时，所述一条或多条指令由处理器201加载并具体执行：
调用优化的图像处理模型根据所述热力图预测所述目标异常对象的中心点，得到所述目标异常对象的目标中心点以及所述目标中心点的坐标；
调用所述优化的图像处理模型基于所述目标中心点对所述目标异常对象进行尺寸估计，得到所述目标异常对象的目标尺寸；
将所述目标中心点的坐标和所述目标异常对象的目标尺寸添加至所述目标异常对象的属性信息中。
再一种实施方式中，所述优化的图像处理模型是采用样本图像及所述样本图像的标注信息，对图像处理模型进行模型优化得到的；
其中，所述样本图像包括样本异常对象，所述标注信息包括所述样本异常对象的属性信息，所述样本异常对象的属性信息包括：所述样本异常对象的标注中心点的标注坐标及所述样本异常对象的标注尺寸；
所述图像处理模型是基于预设网络、中心点损失函数和尺寸损失函数构建的；所述中心点损失函数包括第一损失函数或者第二损失函数，所述中心点损失函数的选取与高斯核函数的函数值相关；所述高斯核函数的函数值是根据所述预测中心点的预测坐标和所述标注中心点的标注坐标计算得到的。
再一种实施方式中，所述中心点损失函数的选取包括：
若所述高斯核函数的函数值等于预设值，则选取所述第一损失函数作为中心点损失函数；所述第一损失函数的函数参数包括第一超参数，所述第一损失函数的函数变量包括所述预测中心点的预测坐标；
若所述高斯核函数的函数值不等于所述预设值，则选取所述第二损失函数作为中心点损失函数；所述第二损失函数的函数参数包括：第一超参数和第二超参数，所述第二损失函数的函数变量包括高斯核函数的函数值及所述预测中心点的预测坐标。
本发明实施例在获取到待检测的医疗图像之后，可先对该医疗图像进行特征识别，得到至少一个特征图；并对至少一个特征图进行池化处理，得到各特征图的池化值。其次，可对至少一个特征图进行类别预测，得到至少一个特征图的预测类别以及各预测类别所对应的权重值。然后，可根据各特征图的池化值和各特征图的预测类别所对应的权重值，确定医疗图像所对应的热力图；使得热力图可融合多个特征图的图像特征，从而可以较为准确地反映出医疗图像的图像信息，以便于后续可较为准确地根据该热力图确定医疗图像是否存在目标异常对象。若存在，则可根据热力图获取并输出异常对象的属性信息，提高目标异常对象的属性信息的准确性。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取待检测的目标图像；
对所述目标图像进行特征识别，得到至少一个特征图；并对所述至少一个特征图进行池化处理，得到各特征图的池化值；
对所述至少一个特征图进行类别预测，得到所述至少一个特征图的预测类别以及各预测类别所对应的权重值；
根据所述各特征图的池化值和所述各特征图的预测类别所对应的权重值，确定所述目标图像所对应的热力图；
根据所述热力图确定所述目标图像中是否存在目标异常对象，所述目标异常对象是指因发生异常而导致所述目标图像中存在异常特征的对象；
若存在，则根据所述热力图获取所述目标异常对象的属性信息，并输出所述目标异常对象的属性信息。
2.如权利要求1所述的方法，其特征在于，所述对所述至少一个特征图进行类别预测，得到所述至少一个特征图的预测类别以及各预测类别所对应的权重值，包括：
对所述目标特征图进行类别预测，得到至少一个候选类别以及各候选类别的预测值，任一候选类别的预测值用于表示所述目标特征图包含所述候选类别所指示的异常对象的概率，所述目标特征图为所述至少一个特征图中的任一特征图；
根据所述各候选类别的预测值，从所述至少一个候选类别中选取一个候选类别作为所述目标特征图的预测类别；
根据所述预测类别的预测值，计算所述目标特征图的预测类别所对应的权重值；所述预测类别的预测值为被选取的候选类别的预测值。
3.如权利要求2所述的方法，其特征在于，所述目标特征图包括至少一个像素的像素值；所述根据所述预测类别的预测值，计算所述目标特征图的预测类别所对应的权重值，包括：
对所述目标特征图像中的各像素的像素值进行偏导运算，得到所述各像素的偏导后的像素值；以及对所述预测类别的预测值进行偏导运算，得到偏导后的预测值；
分别计算所述偏导后的预测值和所述各像素的偏导后的像素值之间的比值，并将计算得到的各比值的均值作为所述目标特征图的预测类别所对应的权重值。
4.如权利要求1所述的方法，其特征在于，所述至少一个特征图包括第一特征图和第二特征图；所述根据所述各特征图的池化值和所述各特征图的预测类别所对应的权重值，确定所述目标图像所对应的热力图，包括：
加权所述第一特征图的池化值和所述第一特征图的预测类别所对应的权重值，得到所述第一特征图的加权值；
加权所述第二特征图的池化值和所述第二特征图的预测类别所对应的权重值，得到所述第二特征图的加权值；
对所述第一特征图的加权值和所述第二特征图的加权值进行求和，得到所述目标图像所对应的热力图。
5.如权利要求1-4任一项所述的方法，其特征在于，所述根据所述热力图获取所述目标异常对象的属性信息，包括：
调用优化的图像处理模型根据所述热力图预测所述目标异常对象的中心点，得到所述目标异常对象的目标中心点以及所述目标中心点的坐标；
调用所述优化的图像处理模型基于所述目标中心点对所述目标异常对象进行尺寸估计，得到所述目标异常对象的目标尺寸；
将所述目标中心点的坐标和所述目标异常对象的目标尺寸添加至所述目标异常对象的属性信息中。
6.如权利要求5所述的方法，其特征在于，所述优化的图像处理模型是采用样本图像及所述样本图像的标注信息，对图像处理模型进行模型优化得到的；
其中，所述样本图像包括样本异常对象，所述标注信息包括所述样本异常对象的属性信息，所述样本异常对象的属性信息包括：所述样本异常对象的标注中心点的标注坐标及所述样本异常对象的标注尺寸；
所述图像处理模型是基于预设网络、中心点损失函数、中心偏置损失函数和尺寸损失函数构建的；所述中心点损失函数包括第一损失函数或者第二损失函数，所述中心点损失函数的选取与高斯核函数的函数值相关；所述高斯核函数的函数值是根据样本图像的预测中心点的预测坐标和所述标注中心点的标注坐标计算得到的。
7.如权利要求6所述的方法，其特征在于，所述中心点损失函数的选取包括：
若所述高斯核函数的函数值等于预设值，则选取所述第一损失函数作为中心点损失函数；所述第一损失函数的函数参数包括第一超参数，所述第一损失函数的函数变量包括所述预测中心点的预测坐标；
若所述高斯核函数的函数值不等于所述预设值，则选取所述第二损失函数作为中心点损失函数；所述第二损失函数的函数参数包括：第一超参数和第二超参数，所述第二损失函数的函数变量包括高斯核函数的函数值及所述预测中心点的预测坐标。
8.一种图像处理装置，其特征在于，包括：
获取单元，用于获取待检测的目标图像；
处理单元，用于对待检测的目标图像进行特征识别，得到至少一个特征图；并对所述至少一个特征图进行池化处理，得到各特征图的池化值；
所述处理单元，还用于对所述至少一个特征图进行类别预测，得到所述至少一个特征图的预测类别以及各预测类别所对应的权重值；
所述处理单元，还用于根据所述各特征图的池化值和所述各特征图的预测类别所对应的权重值，确定所述目标图像所对应的热力图；
所述处理单元，还用于根据所述热力图确定所述目标图像中是否存在目标异常对象，所述目标异常对象是指因发生异常而导致所述目标图像中存在异常特征的对象；
获取单元，用于若存在，则根据所述热力图获取所述目标异常对象的属性信息，并输出所述目标异常对象的属性信息。
9.一种图像处理设备，包括输入接口和输出接口，其特征在于，还包括：
处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-7任一项所述的图像处理方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如权利要求1-7任一项所述的图像处理方法。
CN201911145848.2A 2019-11-20 2019-11-20 图像处理方法、装置、设备及存储介质 Active CN110930386B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911145848.2A CN110930386B (zh) 2019-11-20 2019-11-20 图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911145848.2A CN110930386B (zh) 2019-11-20 2019-11-20 图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110930386A true CN110930386A (zh) 2020-03-27
CN110930386B CN110930386B (zh) 2024-02-20

Family

ID=69851491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911145848.2A Active CN110930386B (zh) 2019-11-20 2019-11-20 图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110930386B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611947A (zh) * 2020-05-25 2020-09-01 济南博观智能科技有限公司 一种车牌检测方法、装置、设备及介质
CN113673332A (zh) * 2021-07-15 2021-11-19 浙江大华技术股份有限公司 对象识别方法、装置以及计算机可读存储介质
CN115597799A (zh) * 2022-11-25 2023-01-13 广东采日能源科技有限公司（Cn） 液冷储能集装箱的漏液检测方法、装置及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803071A (zh) * 2016-12-29 2017-06-06 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
US20180144815A1 (en) * 2016-11-23 2018-05-24 Sas Institute Inc. Computer system to identify anomalies based on computer generated results
CN108447074A (zh) * 2018-02-02 2018-08-24 中国科学院西安光学精密机械研究所 基于双向自适应语义融合的水下目标识别方法
CN109117831A (zh) * 2018-09-30 2019-01-01 北京字节跳动网络技术有限公司 物体检测网络的训练方法和装置
CN109493954A (zh) * 2018-12-20 2019-03-19 广东工业大学 一种基于类别判别定位的sd-oct图像视网膜病变检测系统
CN109523526A (zh) * 2018-11-08 2019-03-26 腾讯科技（深圳）有限公司 组织结节检测及其模型训练方法、装置、设备和系统
CN109544522A (zh) * 2018-11-12 2019-03-29 北京科技大学 一种钢板表面缺陷检测方法及系统
CN110263732A (zh) * 2019-06-24 2019-09-20 京东方科技集团股份有限公司 多尺度目标检测方法及装置
CN110390691A (zh) * 2019-06-12 2019-10-29 合肥合工安驰智能科技有限公司 一种基于深度学习的矿石尺度测量方法及应用系统
WO2019210737A1 (zh) * 2018-05-04 2019-11-07 上海商汤智能科技有限公司 对象预测方法及装置、电子设备和存储介质
CN110428421A (zh) * 2019-04-02 2019-11-08 上海鹰瞳医疗科技有限公司 黄斑图像区域分割方法和设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180144815A1 (en) * 2016-11-23 2018-05-24 Sas Institute Inc. Computer system to identify anomalies based on computer generated results
CN106803071A (zh) * 2016-12-29 2017-06-06 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
CN108447074A (zh) * 2018-02-02 2018-08-24 中国科学院西安光学精密机械研究所 基于双向自适应语义融合的水下目标识别方法
WO2019210737A1 (zh) * 2018-05-04 2019-11-07 上海商汤智能科技有限公司 对象预测方法及装置、电子设备和存储介质
CN109117831A (zh) * 2018-09-30 2019-01-01 北京字节跳动网络技术有限公司 物体检测网络的训练方法和装置
CN109523526A (zh) * 2018-11-08 2019-03-26 腾讯科技（深圳）有限公司 组织结节检测及其模型训练方法、装置、设备和系统
CN109544522A (zh) * 2018-11-12 2019-03-29 北京科技大学 一种钢板表面缺陷检测方法及系统
CN109493954A (zh) * 2018-12-20 2019-03-19 广东工业大学 一种基于类别判别定位的sd-oct图像视网膜病变检测系统
CN110428421A (zh) * 2019-04-02 2019-11-08 上海鹰瞳医疗科技有限公司 黄斑图像区域分割方法和设备
CN110390691A (zh) * 2019-06-12 2019-10-29 合肥合工安驰智能科技有限公司 一种基于深度学习的矿石尺度测量方法及应用系统
CN110263732A (zh) * 2019-06-24 2019-09-20 京东方科技集团股份有限公司 多尺度目标检测方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611947A (zh) * 2020-05-25 2020-09-01 济南博观智能科技有限公司 一种车牌检测方法、装置、设备及介质
CN111611947B (zh) * 2020-05-25 2024-04-09 济南博观智能科技有限公司 一种车牌检测方法、装置、设备及介质
CN113673332A (zh) * 2021-07-15 2021-11-19 浙江大华技术股份有限公司 对象识别方法、装置以及计算机可读存储介质
CN115597799A (zh) * 2022-11-25 2023-01-13 广东采日能源科技有限公司（Cn） 液冷储能集装箱的漏液检测方法、装置及系统

Also Published As

Publication number Publication date
CN110930386B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN109508681B (zh) 生成人体关键点检测模型的方法和装置
WO2022213879A1 (zh) 目标对象检测方法、装置、计算机设备和存储介质
CN110503074B (zh) 视频帧的信息标注方法、装置、设备及存储介质
JP2022532460A (ja) モデル訓練方法、装置、端末及びプログラム
CN110930386A (zh) 图像处理方法、装置、设备及存储介质
CN111695622A (zh) 变电作业场景的标识模型训练方法、标识方法及装置
CN111814741A (zh) 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法
CN109285105A (zh) 水印检测方法、装置、计算机设备和存储介质
CN113724128B (zh) 一种训练样本的扩充方法
CN108830185B (zh) 基于多任务联合学习的行为识别及定位方法
CN113538441A (zh) 图像分割模型的处理方法、图像处理方法及装置
CN111881804B (zh) 基于联合训练的姿态估计模型训练方法、系统、介质及终端
CN110598715A (zh) 图像识别方法、装置、计算机设备及可读存储介质
WO2016038647A1 (en) Image processing device, image processing method and storage medium storing program thereof
CN110910375A (zh) 基于半监督学习的检测模型训练方法、装置、设备及介质
CN112668608B (zh) 一种图像识别方法、装置、电子设备及存储介质
CN112151179A (zh) 影像数据评估方法、装置、设备及存储介质
US20220207266A1 (en) Methods, devices, electronic apparatuses and storage media of image processing
CN114898357B (zh) 缺陷识别方法、装置、电子设备及计算机可读存储介质
CN112801047A (zh) 缺陷检测方法、装置、电子设备及可读存储介质
CN113557546B (zh) 图像中关联对象的检测方法、装置、设备和存储介质
CN113256622A (zh) 基于三维图像的目标检测方法、装置及电子设备
JP2018120402A (ja) イベント検出装置、イベント検出方法、プログラム
CN116597246A (zh) 模型训练方法、目标检测方法、电子设备及存储介质
CN113610856B (zh) 训练图像分割模型和图像分割的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant