CN110752028A - 一种图像处理方法、装置、设备以及存储介质 - Google Patents

一种图像处理方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN110752028A
CN110752028A CN201911002156.2A CN201911002156A CN110752028A CN 110752028 A CN110752028 A CN 110752028A CN 201911002156 A CN201911002156 A CN 201911002156A CN 110752028 A CN110752028 A CN 110752028A
Authority
CN
China
Prior art keywords
feature
image
layer
target
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911002156.2A
Other languages
English (en)
Inventor
李悦翔
陈嘉伟
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911002156.2A priority Critical patent/CN110752028A/zh
Publication of CN110752028A publication Critical patent/CN110752028A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Public Health (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、设备及存储介质，其中，该方法包括：获取待处理的目标图像；对所述目标图像进行多层级特征提取并对每个层级提取的特征图进行尺度标准化处理得到多个特征图；对所述多个特征图进行特征融合得到融合特征，根据所述融合特征确定多层级各自的权重，根据所述多个层级各自的权重对所述多个特征图加权得到目标特征图；根据所述目标特征图确定所述目标图像对应的检测结果。该方法能够实现高低层级间全局性跨层级的信息流动，提高图像检测性能。

Description

一种图像处理方法、装置、设备以及存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
随着人工智能技术的快速发展，深度学习技术在图像处理领域得到广泛应用。如今通过深度学习技术训练模型，基于模型进行图像检测，以检测图像中特定区域，例如，基于模型对病理图像进行病灶检测，为医生提供参考数据，方便医护人员作出决策。
目前通过深度学习技术训练的模型，一般只在网络的特定位置进行注意力激活或者多尺度特征提取，这就导致高低层级的特征之间信息流动性较差，如此就极大限制了模型的网络性能。
基于此，需要提供一种新型模型能够实现高低层级间全局性跨层级的信息流动，提高模型的网络性能，如此提高图像处理性能。
发明内容
本申请实施例提供了一种图像处理方法、装置以及存储介质，能够实现高低层级间全局性跨层级的信息流动，提高模型的网络性能，以此提高图像处理性能。
有鉴于此，本申请第一方面提供了一种图像处理方法，所述方法包括：
获取待处理的目标图像；
对所述目标图像进行多层级特征提取并对每个层级提取的特征图进行尺度标准化处理得到多个特征图；
对所述多个特征图进行特征融合得到融合特征，根据所述融合特征确定多个层级各自的权重，根据所述多个层级各自的权重对所述多个特征图加权得到目标特征图；
根据所述目标特征图确定所述目标图像对应的检测结果。
本申请第二方面提供了一种图像处理装置，所述装置包括：
目标图像获取模块，用于获取待处理的目标图像；
预测模块，用于对所述目标图像进行多层级特征提取并对每个层级提取的特征图进行尺度标准化处理得到多个特征图；
所述预测模块，还用于对所述多个特征图进行特征融合得到融合特征，根据所述融合特征确定多个层级各自的权重，根据所述多个层级各自的权重对所述多个特征图加权得到目标特征图；
所述预测模块，还用于根据所述目标特征图确定所述目标图像对应的检测结果。
本申请第三方面提供了一种图像处理设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令，执行如上述第一方面所述的图像处理方法的步骤。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的图像处理方法的步骤。
本申请第五方面提供了一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行上述第一方面所述的图像处理方法的步骤。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例提供了一种图像处理的方法，先获取到待处理的目标图像，对该目标图像进行多层级特征提取，并对每个层级提取的特征图进行尺度标准化处理得到多个特征图，然后对所述多个特征图进行特征融合得到融合特征，根据所述融合特征确定多个层级各自的权重，根据所述多个层级各自的权重对所述多个特征图加权得到目标特征图，正是因为在筛选目标特征图时是针对每个层级提取的特征图进行全局性筛选，综合性考虑所有层级提取的所有不同信息维度的图像特征，以使得筛选出的目标特征图所包含的信息量是对检测任务最有价值的，基于此，根据该目标特征图确定该目标图像对应的检测结果，就能够提高检测结果的准确性。
附图说明
图1为现有的深度学习网络的结构示意图；
图2为本申请实施例提供的用于图像处理的服务器的结构示意图；
图3为本申请实施例提供的用于图像处理的终端设备的结构示意图；
图4为本申请实施例提供的一种图像处理方法的应用场景示意图；
图5为本申请实施例提供的图像处理方法的流程示意图；
图6为本申请实施例提供的图像检测模型的处理架构示意图；
图7为本申请实施例提供的图像检测模型的训练方法的流程示意图；
图8为本申请实施例提供的特征提取模块的处理过程示意图；
图9为本申请实施例提供的特征图挑选模块的处理流程示意图；
图10为本申请实施例提供的检测结果预测模块的网络结构示意图；
图11为本申请实施例提供的另一种图像处理方法的应用场景示意图；
图12为本申请实施例提供的图像处理方法对应的一种图像处理装置的结构示意图；
图13为本申请实施例提供的另一种图像质控装置的结构示意图；
图14为本申请实施例提供的另一种图像质控装置的结构示意图；
图15为本申请实施例提供的另一种图像质控装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在现有的深度学习网络模型中，注意力机制模块或者多尺度特征提取模块通常被添加在网络的中部或者后端；经发明人研究发现，这种设计不利于网络捕捉不同层级特征图之间的关联信息，对于网络的处理性能会造成一定的影响。
为了便于理解现有的深度学习网络模型难以捕捉不同层级特征图之间关联关系的原因，下面先结合图1对现有的深度学习网络进行简单介绍。参见图1，图1为一种示例性的现有的深度学习网络的结构示意图。如图1所示，网络的左半部分101表征特征提取层，网络的右半部分102表征非特征提取层。现有的深度学习网络通常针对位置1、位置2和位置3中任意一个位置，进行注意力激活或多尺度特征提取处理。
如图1所示，现有技术仅在网络中某一特定位置(如位置1、位置2或位置3)进行注意力激活或多尺度特征提取，且一个特征提取层的输出为下一个特征提取层的输入，只有直接相连的两个特征提取层才能实现信息流动，没有直接相连的两个特征提取层的信息无法跨层级相互流动。这种情况下，仅针对网络特定位置加入注意力机制模块或多尺度特征提取模块，会导致在确定检测结果的过程中无法参考网络中各个层级提取出的特征，如此可能影响所确定的检测结果的准确性，对网络的处理性能造成限制。
为了实现模型中高低层级间全局性跨层级的信息流动，提升模型的处理性能，本申请实施例提供了一种图像处理的方法，该方法对目标图像进行多层级、多尺度特征提取，然后对不同层级、不同尺度的特征进行融合处理，挑选出对于检测目标图像最有价值的特征图组合后，基于挑选出来的特征图组合融合得到目标特征图，最终根据目标特征图确定该目标图像的检测结果。
在上述图像处理方法中，图像检测模型可以基于特征图挑选模块自发地从特征提取模块提取出的不同层级、不同尺度的特征图中，挑选出对于处理图像检测任务最有价值的特征图组合，以融合得到目标特征图，由此实现图像检测模型中不同层级间的信息流动，提高图像检测模型的处理性能。
需要说明的是，本申请实施例还提供了用于对图像进行处理的设备，如服务器和终端设备。其中，服务器可以为应用服务器或Web服务器，实际部署时，可以为独立服务器，也可以为集群服务器；终端设备具体可以为计算机、智能手机、个人数字助理(PersonalDigital Assitant，PDA)、平板电脑等等。
下面从硬件实体化的角度，对本申请实施例提供的用于对图像进行处理的服务器和终端设备分别进行介绍。
参见图2，图2为本申请实施例提供的一种用于对图像进行处理的服务器的结构示意图，该服务器200包括中央处理器222、图形处理器231、存储器232和存储介质230。服务器200中的中央处理器222或者图形处理器231或者中央处理器222和图形处理器231相互配合，可以调用存储介质230中存储的计算机程序，从而执行本申请实施例提供的图像处理方法。
存储介质230可以存储应用程序242、数据244和操作系统241(如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等)；存储器232和存储介质230可以是短暂存储或持久存储。此外，服务器200还可以包括电源226、有线或无线网络接口250和输入输出接口258。
参见图3，图3为本申请实施例提供的一种用于对图像进行处理的终端设备的结构示意图。为了便于说明，图3仅示出了与本申请实施例相关的部分。下面以终端设备为计算机为例进行介绍。
如图3所示，计算机包括：射频(Radio Frequency，RF)电路310、存储器320、输入单元330、显示单元340、传感器350、音频电路360、无线保真(wireless fidelity，WiFi)模块370、处理器380以及电源390。其中，存储器320可用于存储软件程序以及模块；处理器380是计算机的控制中心，其可以利用接口和线路连接计算机的各个部分，该处理器380具体包括中央处理器381和图形处理器382，中央处理器381或者图形处理器382或者中央处理器381和图形处理器382相互配合，可以通过运行存储在存储器320的软件程序以及模块，执行本申请实施例提供的图像处理方法。
应理解，图2所示的服务器结构和图3所示的终端设备结构均为示例，在实际应用中，本申请实施例提供的图像处理方法还可以应用于其他结构的服务器或终端设备。
为了便于理解本申请实施例提供的技术方案，下面以本申请实施例提供的图像处理方法应用于服务器为例，对本申请实施例提供的图像处理方法适用的应用场景进行示例性介绍。
参见图4，图4为本申请实施例提供的图像处理方法的应用场景示意图。如图4所示，该应用场景包括：图像获取设备401和图像处理服务器402；其中，图像获取设备401可以在操作者的操作下，获取需要处理的图像作为目标图像，并将该目标图像发送至图像处理服务器402；该图像处理服务器402中部署有图像检测模型，图像处理服务器402用于执行本申请实施例提供的图像处理方法，以得到该目标图像的检测结果。
具体应用时，图像获取设备401可以响应于用户的相关操作采集图像，用户可以根据需求指定需要处理的目标图像，并将该目标图像发送至图像处理服务器402。图像处理服务器402接收到该目标图像后，可以利用预先部署的图像检测模型对该目标图像进行检测得到检测结果。
需要说明的是，部署在图像处理服务器402中的图像检测模型包括特征提取模块、特征图挑选模块以及检测结果预测模块；具体实现时，特征提取模块对输入的目标图像进行多层级特征提取，并对每个层级提取的特征图进行尺度标准化处理得到多个不同尺度的特征图；然后，特征图挑选模块对所述多个特征图进行特征融合得到融合特征，根据所述融合特征确定多个层级各自的权重，根据所述多个层级各自的权重对所述多个特征图加权得到目标特征图；最终，检测结果预测模块根据特征图挑选模块挑选出的目标特征图确定目标图像对应的检测结果。
如此，基于包括特征提取模块、特征图挑选模块以及检测结果预测模块的图像检测模型，从待处理的目标图像中学习到不同层级、不同尺度的特征图，并从不同层级、不同尺度的特征图中挑选出对于处理图像检测任务最有价值的特征图组合，融合得到目标特征图，再基于该目标特征图确定目标图像对应的检测结果。该方法实现了模型中的高低层级之间的信息流动，以此提高了目标图像的检测准确性。
需要说明的是，本申请实施例提供的图像处理方法可以应用于任意场景，对任意类型的图像进行处理，实现对图像中的目标进行检测、识别、分割等。例如，用于人脸识别，医疗领域中对病理图像进行目标区域分割等等，在此不对本申请实施例提供的图像处理方法所适用的应用场景做任何限定。
下面通过实施例对本申请提供的图像处理方法进行介绍。
参见图5，图5为本申请实施例提供的一种图像处理方法的流程示意图。为了便于描述，下述实施例以服务器作为执行主体为例，对该图像处理方法进行介绍。如图5所示，该图像处理方法包括以下步骤：
步骤501：获取待处理的目标图像。
在实际应用中，可以利用具有拍摄功能终端设备获取图像，并选择需要处理的图像作为目标图像，将该目标图像上传到服务器，以便服务器获取到该目标图像后，通过其部署的图像检测模型对该目标图像进行处理，得到对应的检测结果。在实际应用中，可以在不同应用场景下获取不同类型的图像作为待处理的目标图像。
以本申请实施例提供的方法应用于人脸识别场景为例，待处理的目标图像可以为终端设备实时采集的图像，也可以存储在终端设备中的图像；此处的终端设备具体可以为手机、相机等设备；以目标图像为终端设备实时采集的图像为例，终端设备采集到图像后，可以直接将其采集到的图像作为目标图像上传到服务器，以便服务器后续利用其中部署的图像检测模型对该目标图像进行检测，识别该目标图像中的人脸区域。
在实际应用中，终端设备每次可以仅向服务器传输一张目标图像，也可以一次性向服务器传输多张目标图像，在此不对服务器一次所获取的目标图像的数目做任何限定。
应理解，当本申请实施例提供的图像处理方法的执行主体为终端设备时，终端设备可以直接将其采集的图像或者其存储的图像，作为待处理的目标图像，进而直接针对该目标图像进行后续处理。
此外，本申请实施例提供的图像处理方法还可以应用于医疗图像检测领域，以辅助医生基于病理图像获得相关参考信息。在对病理图像进行检测的场景下，待处理的病理图像可以由医护人员或患者提供。
在一种可能的实现方式中，当用于检测病理图像的设备为服务器时，服务器可以接收第一用户端发送的第一用户的病理图像，将该病理图像作为待处理的目标图像。
上述第一用户端具体可以为面向相关医护人员的客户端，也可以为面向患者的客户端；当第一用户端为面向相关医护人员的客户端时，支持第一用户端运行的设备可以为医院内部的终端设备，通过该第一用户端可以相应地获取相关图像采集设备采集的病理图像作为目标图像，或者从病理图像数据库存储的病理图像中选择特定的病理图像作为目标图像，进而将目标图像上传至用于检测病理图像的服务器；当第一用户端为面向患者的客户端时，支持第一用户端运行的设备可以为医院内部的图像上传设备或患者个人使用的终端设备，患者通过该第一用户端可以指定一张或多张病理图像作为目标图像，进而将目标图像上传至用于检测病理图像的服务器。
在另一种可能的实现方式中，当用于检测病理图像的设备为终端设备时，终端设备可以直接将用户指定的病理图像作为目标图像；具体的，用户可以指定终端设备实时采集的病理图像作为目标图像，或者用户也可以从终端设备中存储的病理图像中选择一张或多张图像作为目标图像，终端设备确定用户完成目标图像的确定后，针对用户确定的目标图像进行相关检测处理。
应理解，在实际应用中，可以根据不同的需求，利用不同的图像获取设备获取不同类型的图像作为待处理的目标图像，本申请在此不对用于获取图像的设备做任何限定，也不对所获取的目标图像的类型做任何限定。
步骤502：对所述目标图像进行多层级特征提取并对每个层级提取的特征图进行尺度标准化处理得到多个特征图；
通过对多层级多尺度的特征提取层对目标图像进行特征提取，每个层级所提取的特征维度不同，例如有的特征提取层用于提取目标图像中的边缘特征，有的特征提取层用于提取目标图像中的核心特征，等等，不同层级对应的特征提取目标不同，同时，不同层级所提取的特征图的尺度不同，所谓多层级特征提取，也可以理解为多层级多尺寸地特征提取，每个层级所提取到的特征图的尺寸不同，为了方便后续处理，此时还需要将每个层级提取到的特征图进行尺度标准化处理，如此将每个层级提取到的特征图统一规范为相同尺度的特征图。
步骤503：对所述多个特征图进行特征融合得到融合特征，根据所述融合特征确定多个层级各自的权重，根据所述多个层级各自的权重对所述多个特征图加权得到目标特征图；
经过上述多层级特征提取和尺度统一化处理后，为了挑选出对后续检测最有价值的特征图，还需要通过注意力机制确定各个层级的权重，如此基于权重以确定出对此次检测有价值的特征图，将这些特征图融合成目标特征图。
步骤504：根据所述目标特征图确定所述目标图像对应的检测结果。
在挑选出目标特征图之后，基于目标特征图进行图像检测以确定出对应的检测结果，也即检测出目标图像中的特定区域。
在具体实现时，服务器获取到目标图像后，可以将该目标图像输入部署在服务器中的图像检测模型，利用该图像检测模型对该目标图像进行上述步骤502至504的相关处理，以获得该目标图像对应的检测结果。
需要说明的是，上述图像检测模型包括特征提取模块、特征图挑选模块以及检测结果预测模块；其中，特征提取模块用于对输入的目标图像进行多层级特征提取，并对每个层级提取的特征图进行尺度标准化处理得到多个相同尺度的特征图；特征图挑选模块用于对经特征提取模块处理得到的多个特征图进行特征挑选，以得到目标特征图；检测结果预测模块用于根据目标特征图确定目标图像对应的检测结果。
具体的，上述特征图挑选模块用于对所述多个特征图进行特征融合得到融合特征，根据所述融合特征确定多个层级各自的权重，根据所述多个层级各自的权重对所述多个特征图加权得到目标特征图。
在具体实现时，特征图挑选模块通过以下方式挑选出目标特征图：
首先，将所述多个特征图输入所述特征图数据融入层，通过所述特征图数据融合层将所述多个特征图进行加和得到特征融入图，向所述全局池化层输出所述特征融入图；
然后，通过所述全局池化层将所述特征融入图压缩成1x1的向量，并向所述全连接层输出所述1x1的向量；
接着，通过所述全连接层将所述1x1的向量映射到特征空间，在所述特征空间中通过所述激活层激活得到各个层级特征在各个位置的权重值；
最后，根据所述各个层级特征在各个位置的权重值对各个层级的所述多个特征图进行注意力激活(也即加权激活)，并通过所述融合层对激活后特征图进行特征融合得到目标特征图。
为了便于理解上述图像检测模型的工作原理，下面结合图6所示的一种示例性的图像检测模型的处理架构进行介绍。如图6所示。该图像检测模型包括：特征提取模块601、特征图挑选模块602以及检测结果预测模块603。
将待处理的目标图像输入图像检测模型中后，特征提取模块601中的多个特征提取层将对该目标图像逐层进行特征提取，获取各特征提取层各自提取出的不同尺度的特征图，进而对不同尺度的特征图分别进行尺度标准化处理，将各个特征图均统一为相同的尺度。然后，将标准化处理后的多个特征图输入到特征图挑选模块602，特征图挑选模块602基于输入的各个特征图进行融合处理，得到最有价值的目标特征图。进而，将该目标特征图输入检测结果预测模块603，检测结果预测模块603对输入的目标特征图进行检测，确定对应的检测结果。
可以理解的是，上述检测结果为根据实际图像处理需求确定的检测结果，在不同的应用场景下，对于目标图像的处理需求可能不同，相应地，图像检测模型针对不同的处理需求确定出的检测结果也不同。
以本申请实施例提供的方法应用于人脸识别场景为例，服务器获取到终端设备上传的目标图像后，基于图像检测模型识别目标图像中的人脸区域，进而将目标图像中识别出的人脸区域作为检测结果；再以本申请实施例提供的方法应用于病理图像检测场景为例，服务器获取到医生或患者通过相关设备上传的目标图像后，该目标图像可以是医疗影像图像，医疗影像图像是指通过医疗影像设备生成的图像，基于图像检测模型识别目标图像中的特定区域，该特定区域具体可以为细胞形态异常的区域，进而将目标图像中识别出的特定区域作为检测结果，以为医生提供相关参考信息。
需要说明的是，本申请实施例中的图像检测模型还可以应用于其他各种不同的应用场景。针对不同的应用场景，利用本申请实施例中的图像检测模型可以相应地获得不同的检测结果，本申请在此不对图像检测模型确定的检测结果做具体限定。
需要说明的是，当本申请实施例提供的方法应用于人脸识别的场景时，若该方法的执行主体为服务器，则服务器在基于图像检测模型确定出目标图像中的人脸区域后，可以将检测结果返回至终端设备，以使终端设备基于该检测结果在目标图像中标注出人脸区域。若该方法的执行主体为终端设备，则终端设备可以直接根据图像检测模型确定出的人脸区域，在目标图像中标注出该人脸区域。
需要说明的是，当本申请实施例提供的方法应用于病理图像检测的场景时，若该方法的执行主体为服务器，则服务器在基于图像检测模型确定出目标图像对应的检测结果后，可以向第一用户端返回目标图像对应的检测结果，即向发送该目标图像的第一用户端返回目标图像对应的检测结果，以使第一用户端基于其接收的检测结果，在目标图像中标识出特定区域；和/或，服务器在基于图像检测模型确定出目标图像对应的检测结果后，可以向与第一用户对应的第二用户的第二用户端发送目标图像对应的检测结果，以使第二用户端基于其接收的检测结果，在目标图像中标识出特定区域。
应理解，当第一用户端面向的第一用户为医护人员时，上述第二用户端面向的第二用户可以为目标图像对应的患者；当第一用户端面向的第一用户为患者时，上述第二用户端面向的第二用户可以为该患者的医护人员。
当本申请实施例提供的方法应用于病理图像检测的场景时，若该方法的执行主体为终端设备，则终端设备基于图像检测模型确定出目标图像对应的检测结果后，可以直接根据该检测结果在目标图像的基础上突出显示特定区域；即终端设备可以直接基于自身确定的检测结果，在目标图像中标识出特定区域，如用高亮线条圈出检测出的特定区域。
需要说明的是，当本申请实施例提供的方法应用于其他应用场景时，可以相应地采用其他方式对图像检测模型生成的检测结果做后续处理，本申请在此不对针对检测结果采用的后续处理方式做任何限定。
在上述图像处理的方法中，在对目标图像进行多层级特征提取后，针对每个层级提取的特征图进行全局性筛选，综合性考虑所有层级提取的所有不同信息维度的图像特征，以筛选出对检测任务最有价值的目标特征图，该目标特征图所包含的信息量是从各个特征提取维度考虑的，是全局性筛选所得的，因此，其信息量最有效，如此就能够提高最终检测结果的精确度。
进一步地，在具体实现时，可以基于预先训练的图像检测模型，通过该图像检测模型可以自发地从其学习到的不同层级、不同尺度的特征图中，挑选出对于处理目标任务最有价值的特征图组合，以融合得到目标特征图，从而实现图像检测模型中不同层级间的信息流动，提高图像检测模型的处理性能。具体的，图像检测模型中的特征图挑选模块可以从特征提取模块提取的不同层级、不同尺度的特征图中挑选出的特征图组合，并基于所挑选的特征图组合融合得到目标特征图，从而实现模型中高低层级间的信息流动；相应地，检测结果预测模块基于由多层级多尺度特征提取的特征图融合得到的目标特征图确定检测结果，可以有效地保证所确定的检测结果的准确性。
应理解，在实际应用中，本申请实施例提供的图像处理方法能否对待处理的目标图像准确地进行检测，主要取决于图像检测模型的工作性能，而图像检测模型的工作性能与该图像检测模型的训练过程密切相关。下面通过实施例对本申请实施例提供的图像质检测模型的训练方法进行介绍。
参见图7，图7为本申请实施例提供的图像检测模型的训练方法的流程示意图。为了便于描述，下述实施例以服务器作为执行主体为例，对该图像检测模型的训练方法进行介绍。如图7所示，该图像检测模型的训练方法包括以下步骤：
步骤701：获取训练样本集，所述训练样本集中的每个训练样本包括样本图像以及样本图像对应的标注标签。
对图像检测模型进行训练之前，通常需要获取大量的图像训练样本，以组成图像训练样本集，每个图像训练样本包括样本图像以及该样本图像对应的标注标签，其中，标注标签用于标识样本图像在图像检测模型所要处理的检测任务中对应的标准检测结果，例如，假设图像检测模型所要处理的检测任务为识别图像中的目标区域，则样本图像对应的标注标签即为该样本图像中目标区域对应的位置。
在实际应用中，可以针对不同的需求获取对应的图像训练样本集。例如在人脸识别的应用场景下，服务器可以从数据库中采集足够数量的用于人脸识别的样本图像，并基于所采集的样本图像生成相应的训练样本，该训练样本中包括样本图像以及该样本图像对应的人脸标注标签，该人脸标注标签能够标识样本图像中人脸区域的位置。在对病理图像进行检测的应用场景中，服务器可以从医院的病理图像数据库中获取病理图像作为样本图像，并基于所采集的病理图像生成相应的训练样本，该训练样本中包括病理图像以及该病理图像对应的标注标签，该标注标签能够标识对应的病理图像中特定区域的位置和/或特定区域对应的异常类型，该标注标签可以由医生标注后提供。
其中，在对病理图像进行检测的应用场景中，服务器可以针对特定类型的病理图像进行检测。以检测宫颈内镜图像为例，服务器可以从医院的病理图像数据库中获取宫颈内镜图像，然后确定所获取的宫颈内镜图像对应的标注标签，该标注标签可以用于标注该宫颈内镜图像中病灶区域对应的病变类型，该病灶类型具体可以包括低级别病变、高级别病变和宫颈癌病变；进而，利用宫颈内镜图像及其对应的标注标签组成训练样本，并基于如此获得的多个训练样本组成训练样本集。应理解，基于该如此获得的训练样本集训练得到的图像检测模型，可以针对宫颈内镜图像进行病灶分割，即识别宫颈内镜图像中的病灶区域及病灶区域对应的病变类型。
可以理解的是，本申请实施例提供的图像检测模型的训练方法不仅可以适用于上述应用场景，还可以根据实际需求应用于其他场景中；当本申请实施例提供的图像检测模型的训练方法应用于其他场景中时，根据不同的需求获取对应的训练样本集，对图像检测模型进行训练。
步骤702：通过梯度下降算法根据所述训练样本集对预构建的图像检测模型的参数进行迭代更新直到图像检测模型处于收敛状态。
服务器预先构建好图像检测模型，在获取到图像训练样本集后，将该训练样本集中的训练样本输入到预先构建的图像检测模型，并结合梯度下降算法对模型中的参数进行迭代更新，直到该图像检测模型处于收敛状态。
具体训练时，服务器可以将图像训练样本集中的样本图像输入到预构建的图像检测模型，图像检测模型中的特征提取模块对输入的样本图像进行多层特征提取得到多个尺度不同的特征图，并对多个尺度不同的特征图进行尺度标准化处理，得到多个尺度相同的特征图；图像检测模型中的特征图挑选模型进而对所述多个特征图进行特征融合得到融合特征，根据所述融合特征确定多个层级各自的权重，根据所述多个层级各自的权重对所述多个特征图加权得到目标特征图；图像检测模型中的检测结果预测模型基于该目标特征图确定该样本图像对应的检测结果。进而，服务器根据图像检测模型输出的检测结果与训练样本中该样本图像对应的标注标签之间的偏差计算损失函数值，然后利用梯度下降算法对模型中的参数进行更新；反复执行上述过程，以对图像检测模型中的模型参数不断地进行迭代更新，直至该图像检测模型满足收敛状态为止。
下面以所训练的图像检测模型用于对人物图像进行人脸识别为例，对步骤702的具体实现过程进行介绍。
服务器预先构建好图像检测模型，在获取到相应的训练样本集(训练样本集中每个训练样本包括样本人物图像及其对应的标注标签，标注标签用于标注样本人物图像中人脸区域的位置)后，将训练样本中的样本人物图像输入到图像检测模型中，经图像检测模型中各模块的处理后，获得该样本病理图像对应的预测结果；在每次迭代过程中，根据图像检测模型输出的样本病理图像对应的预测结果以及训练样本中样本人物图像对应的标注标签确定二者之间的预测结果误差，然后根据该预测结果误差反向传播至图像检测模型，基于梯度下降算法计算梯度并相应地更新图像检测模型的参数，如此反复迭代更新直到图像检测模型处于收敛态为止，即直至训练得到的图像检测模型对图像的检测精度满足预设条件为止。
可以理解的是，在实际应用中，服务器可以利用不同类型的训练样本，对预构建的图像检测模型进行训练，以训练得到可以处理不同检测任务的图像检测模型，本申请在此不对图像检测模型所处理的检测任务做任何限定。
需要说明的是，上述图像检测模型包括特征提取模块、特征图挑选模块以及检测结果预测模块，其中，所述特征提取模块可以包括用于提取不同尺度的特征图的特征提取层以及尺寸标准化处理层；所述特征图挑选模块可以包括特征图数据融入层、全局池化层、全连接层以及激活层和融合层；所述检测结果预测模块可以包括卷积层和上采样层以及分类层。
下面分别对本申请实施例提供的图像检测模型中的特征提取模块、特征图挑选模块以及检测结果预测模块进行介绍。
首先，对图像检测模型中的特征提取模块进行介绍。特征提取模块用于将输入的目标图像经多个特征提取层的处理，提取得到不同尺度的特征图像，并对得到的不同尺度的特征图像进行标准化处理，统一为相同尺度的特征图像。在实际应用中，可以根据实际需求设置特征提取模块(特征提取模块又可被称为特征图书馆)的网络结构，例如，可以使用ResCNN-101网络、VGG网络等作为特征提取模块。
具体的，以ResNet-101网络作为特征提取模块为例，对图像检测模型中的特征提取模块进行说明。参见图8，图8为本申请实施例提供的以ResCNN-101网络作为特征提取模块的网络结构图。在该特征提取模块800中，包括：特征提取层801和尺度标准化层802；其中，特征提取层801以ResNet-101作为网络基础。
其中，ResNet-101包括五个卷积层Conv1,Conv2_x,Conv3_x,Conv4_x,Conv5_x，每个卷积层之后都接有激活层(例如，ReLU)和批量归一化(BatchNormalization,BN)层；其中，卷积层Conv1为特征提取模块的输入层，卷积层Conv2_x,Conv3_x,Conv4_x,Conv5_x为特征提取模块的四个级联的特征提取层，这四个不同层级的特征提取层对目标图像逐层进行特征提取，得到不同尺度的特征图；四个特征提取层后面分别连接尺度标准化层，以对各特征提取层输出的不同尺度的特征图进行尺度标准化处理，得到相同尺度的多个特征图。ResNet-101网络模型的具体结构参数如表1所示。
表1 ResNet-101结构参数
Figure BDA0002241659120000151
Figure BDA0002241659120000161
结合上述表1所示的参数，ResNet-101网络模型中每一个层的参数包括卷积核的大小，卷积核的个数，步长；以输入层Conv1为例，该层对应的卷积核的大小为7x7，卷积核的个数为64，步长为2；特征提取层Conv2_x包括一个最大池化层和三个区块卷积，最大池化层中的卷积核的大小为3x3，步长为2，一个区块卷积中包括三个卷积层，这三个卷积层的卷积核大小以及卷积核的个数分别为1x1,64、3x3,64和1x1,64；同样的，特征提取层Conv3_x,Conv4_x,Conv5_x的具体结构参数如表所示，在此不再赘述。
可以理解的是，待处理的目标图像从特征提取模块的Conv1输入，经过卷积层、ReLU层以及BN层后，将Conv1的输出作为特征提取层Conv2_x的输入，然后经过一个最大池化层和三个区块卷积后分别输入到下一个特征提取层Conv3_x和与其相连的尺度标准化层；特征提取层Conv3_x将Conv2_x的输出经过4个区块卷积后分别输入到下一个特征提取层Conv4_x和与其相连的尺度标准化层；同样的，特征提取层Conv4_x将Conv3_x的输出经过23个区块卷积后分别输入到下一个特征提取层Conv5_x和与其相连的尺度标准化层；特征提取层Conv5_x将Conv4_x的输出经过3个区块卷积后输入到与其相连的尺度标准化层；其中，与每个特征提取层相连的尺度标准化层都对输入的特征图进行尺度标准化处理，将每个特征图都统一为相同的尺度与通道数(例如，2048个通道数)，并作为特征图挑选模块的输入。
需要说明的是，在实际应用中，特征提取模块的具体网络结构不仅仅局限于上述ResCNN-101网络，其他可以对目标图像实现多层级特征提取的网络都可以作为特征提取模块的基础模型。
接下来，对图像检测模型中的特征图挑选模块进行介绍。参见图9，图9为特征图挑选模块的处理流程示意图。图9以特征图提取模块向特征图挑选模块输入两个特征图为例，对特征图挑选模型的处理流程进行介绍。所示的特征图挑选模块包括：特征图数据融入层、全局池化层、全连接层、激活层和融合层。
特征提取模块将其处理得到的两个特征图
Figure BDA0002241659120000171
和输入到特征图挑选模块；其中特征图
Figure BDA0002241659120000173
和
Figure BDA0002241659120000174
分别与特征提取模块中的两个特征提取层对应，两个特征图
Figure BDA0002241659120000175
和
Figure BDA0002241659120000176
包含有不同尺度的特征信息。特征图挑选模块获取到特征图和
Figure BDA0002241659120000178
后，其中的特征图数据融入层先将输入的两个特征图
Figure BDA0002241659120000179
和
Figure BDA00022416591200001710
在通道方向上相加，得到一个融合了不同层级特征的特征融合张量U，然后全局池化层和全连接层通过全局池Fgp化及全连接Ffc操作，将压缩成一个一维向量z；其中，全局池化和全连接操作可以分别表示为式(1)和式(2)：
Figure BDA00022416591200001711
z＝Ffc(s)＝δ(B(Ws)) (2)
在式(1)中，s为图9中的s，其为经全局池化层处理得到的特征；Fgp表示全局池化层函数；Uc为图9中的U，其为特征图
Figure BDA00022416591200001712
和
Figure BDA00022416591200001713
在通道方向上相加得到的特征图；H、W分别为特征图的长和宽，C为特征张量的通道数(例如，C＝2048)，(i,j)表示特征图中的像素坐标。
在式(2)中，z为图9中的z，其为经全连接层处理得到的特征；Ffc表示全连接层函数；s即为式(1)中的s；δ和B分别表示ReLU层和BN层的处理函数；Ws中的W为非线性变换，s即为式(1)中的s，Ws表示经非线性变换W将s从2048长度压缩至一个指定长度的特征向量中。
获取到一维向量z后，对一维向量z做两次卷积，卷积核的大小为1x1，生成两个长度为C的一维向量，并对卷积生成的一维向量用分类器softmax激活，计算每个一维向量对应不同层级特征的权重a和b，权重a和b的定义表达式分别为式(3)和式(4)：
Figure BDA00022416591200001714
Figure BDA00022416591200001715
其中，a和b分别表示两个特征层级各自的权重；Ac和Bc均为非线性变换操作，分别为两个1x1的卷积操作，用于将一维向量z变换成长度为C的一维向量，具体的，Acz表示经非线性变换Ac将z(即为式(2)中z)转换为2048长度的向量，Bcz表示经非线性变换Bc将z(即为式(2)中z)转换为2048长度的向量；将Acz和Bcz作为欧拉数e的指数在式(3)和式(4)中参与权重计算。
最后，激活层和融合层根据计算得到的权重信息a和b对不同层级的特征图
Figure BDA0002241659120000181
和
Figure BDA0002241659120000182
进行激活与融合，得到融合了不同层级特征的目标特征图V，并输入到检测结果预测模块；其中，对权重对特征图的激活过程与SE-Net网络模型的激活过程类似，融合过程具体可以为对激活后的特征图进行加和操作。
可以理解的是，在有多个层级的特征图时，特征图挑选模块可采用与上述对两个层级的特征图进行操作的过程相似的操作过程处理，例如，当特征提取模块处理得到三个特征图时，特征图挑选模块可以针对这三个特征图采用上述处理方式挑选出目标特征图；本申请在此不对特征图挑选模块所处理的特征图的数量做任何限定。
紧接着，对图像检测模型中的检测结果预测模块进行介绍。参见图10，图10为检测结果预测模块的结构示意图。图10所示的检测结果预测模块包括：卷积层1001、上采样层1002以及分类预测层1003。
特征图挑选模块将目标特征图V输入检测结果预测模块中后，卷积层1001和上采样层1002对该目标特征图V做卷积和上采样处理，得到与目标图像尺度相同的图像，然后，分类预测层1003利用分类器softmax对该图像进行检测，得到该目标图像对应的检测结果，该检测结果可以是目标图像中包含的目标区域的位置，例如，目标图像中所包含的人脸区域的位置，或者病理图像中包含的特定区域的位置，也可以是其他区域的位置，在此不作限定。
在上述图像检测模型的训练方法中，服务器先获取训练样本集，该训练样本集中每个样本包括样本图像及其对应的标注标签，然后通过梯度下降算法根据训练样本集对预先构建的图像检测模型的参数进行迭代更新，直至图像检测模型满足收敛条件为止。基于该方法训练得到的图像检测模型，可以基于其中的特征提取模块学习到不同层级、不同尺度的特征图，并基于特征图挑选模块从不同层级、不同尺度的特征图中挑选出对于处理图像检测任务最有价值的特征图组合，以融合得到目标特征图，由此实现模型中不同层级间信息的流动，有助于提升模型的处理性能；模型中的检测结果预测模块基于上述目标特征图进一步确定对应的检测结果，能够有效地保证所确定的检测结果的准确性。
为了便于进一步理解本申请实施例提供的图像处理方法，下面对本申请实施例提供的图像处理方法用于对宫颈内镜图像中的特定区域进行检测作为示例，对本申请实施例提供的图像处理方法做整体性介绍。
参考图11，图11为本申请实施例提供的图像处理方法的实现架构示意图。在对宫颈内镜图像进行病灶区域检测的场景中，包括病理图像数据库1101、终端1102和服务器1103；
其中，病理图像数据库1101中用于存储不同患者的宫颈内镜图像，对用于检测宫颈内镜图像的图像检测模型进行训练时，服务器1103可以从病理图像数据库1101中获取大量宫颈内镜图像，并交由相关专家针对所获取的宫颈内镜图像标注对应的标注标签，该标注标签用于标识宫颈内镜图像中特定区域以及特定区域对应的异常类型，利用宫颈内镜图像及其对应的标注标签组成训练样本，进而利用如此组成的多个训练样本组成训练样本集。服务器1103利用上述训练样本集对预先构建的图像检测模型中的模型参数进行迭代训练，直至该图像检测模型处于收敛状态，确认完成对于该图像检测模型的训练，可以将该图像检测模型应用于实际检测任务中。
应用图像处理模型对宫颈内镜图像进行检测时，用户可以通过终端1102将所要检测的宫颈内镜图像发送至服务器1103，服务器1103接收到该宫颈内镜图像后，将其作为待处理的目标图像，并将该目标图像输入预先训练好的图像检测模型中；图像检测模型中特征提取模块内的多个特征提取层逐层地对该目标图像进行特征提取，进而获取每个特征提取层提取出的特征图，并对各特征图进行尺度标准化处理得到尺度统一的多个特征图，将这多个特征图输入至特征图挑选模块；特征图挑选模块对这多个特征图进行特征挑选得到目标特征图，并将目标特征图输入检测结果预测模块；检测结果预测模块根据该目标特征图确定目标图像对应的检测结果，即确定输入的宫颈内镜图像对应的特定区域以及特定区域中存在的异常类型。
服务器1103基于图像检测模型确定出宫颈内镜图像对应的检测结果后，将该检测结果返回给终端1102，以使通过终端1102在其发送的宫颈内镜图像的基础上，突出显示特定区域。
针对上文描述的图像处理方法，本申请还提供了对应的图像处理装置，以使上述基于图像处理方法在实际中的应用以及实现。
参见图12，图12为上文图5所示的图像处理方法对应的一种图像处理装置1200的结构示意图，该装置包括：
目标图像获取模块1201，用于获取待处理的目标图像；
预测模块1202，用于对所述目标图像进行多层级特征提取并对每个层级提取的特征图进行尺度标准化处理得到多个特征图；
所述预测模块1202，还用于对所述多个特征图进行特征融合得到融合特征，根据所述融合特征确定多个层级各自的权重，根据所述多个层级各自的权重对所述多个特征图加权得到目标特征图；
所述预测模块1202，还用于根据所述目标特征图确定所述目标图像对应的检测结果。
可选的，所述预测模块，具体用于通过预训练的图像检测模型中的特征提取模块对所述目标图像进行多层级特征提取并对每个层级提取的特征图进行尺度标准化处理得到多个特征图；以及，通过所述图像检测模型中的特征图挑选模块对所述多个特征图进行特征融合得到融合特征，根据所述融合特征确定多个层级各自的权重，根据所述多个层级各自的权重对所述多个特征图加权得到目标特征图，通过图像检测模型中的检测结果预测模块根据所述目标特征图确定所述目标图像对应的检测结果。
所述预测模块，在基于特征图挑选模块挑选出目标特征图时，具体用于：将所述多个特征图输入所述特征图数据融入层，通过所述特征图数据融合层将所述多个特征图进行加和得到特征融入图，向所述全局池化层输出所述特征融入图；通过所述全局池化层将所述特征融入图压缩成1x1的向量，并向所述全连接层输出所述1x1的向量；通过所述全连接层将所述1x1的向量映射到特征空间，在所述特征空间中通过所述激活层激活得到各个层级特征在各个位置的权重值；根据所述各个层级特征在各个位置的权重值对各个层级的所述多个特征图进行注意力激活(也即加权激活)，并通过所述融合层对激活后特征图进行特征融合得到目标特征图。
可选的，在图12所示的图像处理装置的基础上，参见图13，图13为本申请实施例提供的另一种图像质控装置1300的结构示意图。在装置1300中，目标图像获取模块1201具体用于：接收第一用户端发送的第一用户的图像，作为待处理的目标图像；
该装置1300还包括：
反馈模块1301，用于向所述第一用户端返回所述目标图像对应的检测结果；和/或，向与所述第一用户对应的第二用户的第二用户端发送所述目标图像对应的检测结果。
可选的，在图12所示的图像处理装置的基础上，参见图14，图14为本申请实施例提供的另一种图像质控装置1400的结构示意图，在装置1400中，目标图像获取模块1201具体用于：确定用户指定的图像，作为待处理的目标图像；
该装置1400还包括：
显示模块1401，用于根据所述目标图像对应的检测结果，在所述目标图像的基础上突出显示所述目标图像对应的检测结果。
可选的，在图12所示的图像处理装置的基础上，参见图15，图15为本申请实施例提供的另一种图像质控装置1500的结构示意图，该装置1500还包括：
训练数据获取模块1501，用于获取训练样本集，所述训练样本集中的每个训练样本包括样本图像以及样本图像对应的标注标签；
模型训练模块1502，用于根据所述训练样本集，通过梯度下降算法对预构建的图像检测模型的参数进行迭代更新直到图像检测模型处于收敛状态；其中，所述图像检测模型包括特征提取模块、特征图挑选模块以及检测结果预测模块；其中，所述特征提取模块包括用于提取不同尺度的特征图的卷积层以及尺寸标准化处理层；所述特征图挑选模块包括特征图数据融入层、全局池化层、全连接层以及激活层和融合层；所述检测结果预测模块包括卷积层和上采样层以及分类层。
可选的，在图15所示的图像处理装置的基础上，所述训练样本集中每个训练样本包括样本人物图像以及对应的标注标签，所述标注标签用于标注所述人物图像中人脸区域对应的位置；则所述模型训练模块1502具体用于：
将所述样本人物图像输入预构建的图像检测模型，获得图像检测模型输出所述样本人物图像对应的预测结果；
在每次迭代过程中，根据所述样本人物图像对应的预测结果和标注标签确定预测结果误差，根据所述预测结果误差反向传播到图像检测模型，计算梯度并更新图像检测模型的参数，迭代更新直到图像检测模型处于收敛态。
可选的，在图12所示的图像处理装置的基础上，所述特征提取模块包括四个级联的特征提取层以及与每个特征提取层连接的尺度标准化层，不同特征提取层对应的卷积尺度不同，其中，所述特征提取层将提取到的特征图输入相连接的尺度标准化层，所述尺度标准化层用于将接收到的特征图进行尺度标准化处理。
在上述图像处理的装置中，图像检测模型可以自发地从其学习到的不同层级、不同尺度的特征图中，挑选出对于处理目标任务最有价值的特征图组合，以融合得到目标特征图，从而实现图像检测模型中不同层级间的信息流动，提高图像检测模型的处理性能。具体的，图像检测模型中的特征图挑选模块可以从特征提取模块提取的不同层级、不同尺度的特征图中挑选出的特征图组合，并基于所挑选的特征图组合融合得到目标特征图，从而实现模型中高低层级间的信息流动；相应地，检测结果预测模块基于由不同层级、不同尺度的特征图融合得到的目标特征图确定检测结果，可以有效地保证所确定的检测结果的准确性。
本申请实施例还提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例所述的一种图像处理方法中的任意一种实施方式。
本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的一种图像处理方法中的任意一种实施方式。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理的目标图像；
对所述目标图像进行多层级特征提取并对每个层级提取的特征图进行尺度标准化处理得到多个特征图；
对所述多个特征图进行特征融合得到融合特征，根据所述融合特征确定多层级各自的权重，根据所述多个层级各自的权重对所述多个特征图加权得到目标特征图；
根据所述目标特征图确定所述目标图像对应的检测结果。
2.根据权利要求1所述的图像处理方法，其特征在于，
通过预训练的图像检测模型中的特征提取模块对所述目标图像进行多层级特征提取并对每个层级提取的特征图进行尺度标准化处理得到多个特征图；以及，
通过所述图像检测模型中的特征图挑选模块对所述多个特征图进行特征融合得到融合特征，根据所述融合特征确定多个层级各自的权重，根据所述多个层级各自的权重对所述多个特征图加权得到目标特征图；
通过图像检测模型中的检测结果预测模块根据所述目标特征图确定所述目标图像对应的检测结果。
3.根据权利要求2所述的图像处理方法，其特征在于，所述方法还包括：
获取训练样本集，所述训练样本集中的每个训练样本包括样本图像以及样本图像对应的标注标签；
通过梯度下降算法根据所述训练样本集对预构建的图像检测模型的参数进行迭代更新直到图像检测模型处于收敛状态；
其中，所述图像检测模型包括特征提取模块、特征图挑选模块以及检测结果预测模块；其中，所述特征提取模块包括用于提取不同尺度的特征图的特征提取层以及尺寸标准化处理层；所述特征图挑选模块包括级联的特征图数据融入层、全局池化层、全连接层以及激活层和融合层，用于对所述多个特征图进行特征融合得到融合特征，根据所述融合特征确定多个层级各自的权重，根据所述多个层级各自的权重对所述多个特征图加权得到目标特征图；所述检测结果预测模块包括卷积层和上采样层以及分类层。
4.根据权利要求3所述的图像处理方法，其特征在于，所述通过所述图像检测模型中的特征图挑选模块对所述多个特征图进行特征融合得到融合特征，根据所述融合特征确定多个层级各自的权重，根据所述多个层级各自的权重对所述多个特征图加权得到目标特征图，包括：
将所述多个特征图输入所述特征图数据融入层，通过所述特征图数据融合层将所述多个特征图进行加和得到特征融入图，向所述全局池化层输出所述特征融入图；
通过所述全局池化层将所述特征融入图压缩成1x1的向量，并向所述全连接层输出所述1x1的向量；
通过所述全连接层将所述1x1的向量映射到特征空间，在所述特征空间中通过所述激活层激活得到各个层级特征在各个位置的权重值；
根据所述各个层级特征在各个位置的权重值对各个层级的所述多个特征图进行注意力激活，并通过所述融合层对激活后特征图进行特征融合得到目标特征图。
5.根据权利要求3所述的图像处理方法，其特征在于，所述训练样本集中每个训练样本包括样本人物图像以及对应的标注标签，所述标注标签用于标注所述人物图像中人脸区域对应的位置；
所述通过梯度下降算法根据所述训练样本集对预构建的图像检测模型的参数进行迭代更新直到图像检测模型处于收敛状态，包括：
将所述样本人物图像输入预构建的图像检测模型，获得图像检测模型输出所述样本人物图像对应的预测结果；
在每次迭代过程中，根据所述样本人物图像对应的预测结果和标注标签确定预测结果误差，根据所述预测结果误差反向传播到图像检测模型，计算梯度并更新图像检测模型的参数，迭代更新直到图像检测模型处于收敛态。
6.根据权利要求2至5任一项所述的图像处理方法，其特征在于，所述特征提取模块包括四个级联的特征提取层以及与每个特征提取层连接的尺度标准化层，不同特征提取层对应的卷积尺度不同，其中，所述特征提取层将提取到的特征图输入相连接的尺度标准化层，所述尺度标准化层用于将接收到的特征图进行尺度标准化处理。
7.根据权利要求1所述的图像处理方法，其特征在于，所述获取待处理的目标图像，包括：
接收第一用户端发送的图像，作为待处理的目标图像；
所述方法还包括：
向所述第一用户端返回所述目标图像对应的检测结果；和/或，
向与所述第一用户对应的第二用户的第二用户端发送所述目标图像对应的检测结果。
8.根据权利要求1所述的图像处理方法，其特征在于，所述获取待处理的目标图像，包括：
确定用户指定的图像，作为待处理的目标图像；
所述方法还包括：
根据所述目标图像对应的检测结果，在所述目标图像的基础上突出显示目标区域。
9.根据权利要求1至5和7至8中任一项所述的图像处理方法，其特征在于，所述目标图像为医疗影像图像。
10.一种图像处理装置，其特征在于，所述装置包括：
目标图像获取模块，用于获取待处理的目标图像；
预测模块，用于对所述目标图像进行多层级特征提取并对每个层级提取的特征图进行尺度标准化处理得到多个特征图；
所述预测模块，还用于对所述多个特征图进行特征融合得到融合特征，根据所述融合特征确定多个层级各自的权重，根据所述多个层级各自的权重对所述多个特征图加权得到目标特征图；
所述预测模块，还用于根据所述目标特征图确定所述目标图像对应的检测结果。
11.根据权利要求10所述的图像处理装置，其特征在于，所述预测模块，具体用于通过预训练的图像检测模型中的特征提取模块对所述目标图像进行多层级特征提取并对每个层级提取的特征图进行尺度标准化处理得到多个特征图；以及，通过所述图像检测模型中的特征图挑选模块对所述多个特征图进行特征融合得到融合特征，根据所述融合特征确定多个层级各自的权重，根据所述多个层级各自的权重对所述多个特征图加权得到目标特征图，通过图像检测模型中的检测结果预测模块根据所述目标特征图确定所述目标图像对应的检测结果。
12.根据权利要求10所述的图像处理装置，其特征在于，所述装置还包括：
训练数据获取模块，用于获取训练样本集，所述训练样本集中的每个训练样本包括样本图像以及样本图像对应的标注标签；
模型训练模块，用于根据所述训练样本集，通过梯度下降算法对预构建的图像检测模型的参数进行迭代更新直到图像检测模型处于收敛状态；其中，所述图像检测模型包括特征提取模块、特征图挑选模块以及检测结果预测模块；其中，所述特征提取模块包括用于提取不同尺度的特征图的卷积层以及尺寸标准化处理层；所述特征图挑选模块包括特征图数据融入层、全局池化层、全连接层以及激活层和融合层；所述检测结果预测模块包括卷积层和上采样层以及分类层。
13.根据权利要求12所述的图像处理装置，其特征在于，所述预测模块，具体用于：将所述多个特征图输入所述特征图数据融入层，通过所述特征图数据融合层将所述多个特征图进行加和得到特征融入图，向所述全局池化层输出所述特征融入图；
通过所述全局池化层将所述特征融入图压缩成1x1的向量，并向所述全连接层输出所述1x1的向量；
通过所述全连接层将所述1x1的向量映射到特征空间，在所述特征空间中通过所述激活层激活得到各个层级特征在各个位置的权重值；
根据所述各个层级特征在各个位置的权重值对各个层级的所述多个特征图进行注意力激活，并通过所述融合层对激活后特征图进行特征融合得到目标特征图。
14.一种设备，其特征在于，包括：
处理器以及存储器，其中，
所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序执行权利要求1至9任一项所述的图像处理方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1至9任一项所述的方法。
CN201911002156.2A 2019-10-21 2019-10-21 一种图像处理方法、装置、设备以及存储介质 Pending CN110752028A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911002156.2A CN110752028A (zh) 2019-10-21 2019-10-21 一种图像处理方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911002156.2A CN110752028A (zh) 2019-10-21 2019-10-21 一种图像处理方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN110752028A true CN110752028A (zh) 2020-02-04

Family

ID=69279147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911002156.2A Pending CN110752028A (zh) 2019-10-21 2019-10-21 一种图像处理方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN110752028A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709458A (zh) * 2020-05-25 2020-09-25 中国自然资源航空物探遥感中心 一种用于高分五号影像的自动质检方法
CN111709415A (zh) * 2020-04-29 2020-09-25 北京迈格威科技有限公司 目标检测方法、装置、计算机设备和存储介质
CN111739004A (zh) * 2020-06-22 2020-10-02 联想(北京)有限公司 图像处理方法、设备及存储介质
CN111881912A (zh) * 2020-08-19 2020-11-03 Oppo广东移动通信有限公司 数据处理方法、装置以及电子设备
CN112215840A (zh) * 2020-10-30 2021-01-12 上海商汤临港智能科技有限公司 图像检测、行驶控制方法、装置、电子设备及存储介质
CN112232258A (zh) * 2020-10-27 2021-01-15 腾讯科技（深圳）有限公司 一种信息处理方法、装置及计算机可读存储介质
WO2021196955A1 (zh) * 2020-03-31 2021-10-07 上海商汤智能科技有限公司 图像识别方法及相关装置、设备
CN113642595A (zh) * 2020-05-11 2021-11-12 北京金山数字娱乐科技有限公司 一种基于图片的信息提取方法及装置
CN113673578A (zh) * 2021-07-27 2021-11-19 浙江大华技术股份有限公司 图像检测方法、图像检测设备及计算机可读存储介质
CN113792661A (zh) * 2021-09-15 2021-12-14 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备以及存储介质
CN113989579A (zh) * 2021-10-27 2022-01-28 腾讯科技（深圳）有限公司 图像检测方法、装置、设备以及存储介质
CN114926480A (zh) * 2022-05-30 2022-08-19 腾讯科技（深圳）有限公司 一种训练图像分割模型的方法、装置、设备及存储介质
CN115953588A (zh) * 2023-03-16 2023-04-11 深圳市华汉伟业科技有限公司 一种图像的重要样本挖掘方法及特征图像检测方法
WO2024021134A1 (zh) * 2022-07-25 2024-02-01 首都师范大学 一种图像处理方法、装置、计算机设备及存储介质
CN117853490A (zh) * 2024-03-06 2024-04-09 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、图像处理模型的训练方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215669A1 (zh) * 2016-06-17 2017-12-21 北京市商汤科技开发有限公司 物体识别方法和装置、数据处理装置和计算设备
CN108805188A (zh) * 2018-05-29 2018-11-13 徐州工程学院 一种基于特征重标定生成对抗网络的图像分类方法
CN108846355A (zh) * 2018-06-11 2018-11-20 腾讯科技（深圳）有限公司 图像处理方法、人脸识别方法、装置和计算机设备
CN109101914A (zh) * 2018-08-01 2018-12-28 北京飞搜科技有限公司 一种基于多尺度的行人检测方法和装置
CN109190752A (zh) * 2018-07-27 2019-01-11 国家新闻出版广电总局广播科学研究院 基于深度学习的全局特征和局部特征的图像语义分割方法
CN109635939A (zh) * 2019-01-07 2019-04-16 北京邮电大学 一种基于裁剪的卷积神经网络的确定方法及装置
CN109872364A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 图像区域定位方法、装置、存储介质和医学影像处理设备
CN109948671A (zh) * 2019-03-04 2019-06-28 腾讯科技（深圳）有限公司 图像分类方法、装置、存储介质以及内窥镜成像设备
CN109978002A (zh) * 2019-02-25 2019-07-05 华中科技大学 基于深度学习的内窥镜图像胃肠道出血检测方法和系统
CN110009679A (zh) * 2019-02-28 2019-07-12 江南大学 一种基于多尺度特征卷积神经网络的目标定位方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215669A1 (zh) * 2016-06-17 2017-12-21 北京市商汤科技开发有限公司 物体识别方法和装置、数据处理装置和计算设备
CN108805188A (zh) * 2018-05-29 2018-11-13 徐州工程学院 一种基于特征重标定生成对抗网络的图像分类方法
CN108846355A (zh) * 2018-06-11 2018-11-20 腾讯科技（深圳）有限公司 图像处理方法、人脸识别方法、装置和计算机设备
CN109190752A (zh) * 2018-07-27 2019-01-11 国家新闻出版广电总局广播科学研究院 基于深度学习的全局特征和局部特征的图像语义分割方法
CN109101914A (zh) * 2018-08-01 2018-12-28 北京飞搜科技有限公司 一种基于多尺度的行人检测方法和装置
CN109635939A (zh) * 2019-01-07 2019-04-16 北京邮电大学 一种基于裁剪的卷积神经网络的确定方法及装置
CN109872364A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 图像区域定位方法、装置、存储介质和医学影像处理设备
CN109978002A (zh) * 2019-02-25 2019-07-05 华中科技大学 基于深度学习的内窥镜图像胃肠道出血检测方法和系统
CN110009679A (zh) * 2019-02-28 2019-07-12 江南大学 一种基于多尺度特征卷积神经网络的目标定位方法
CN109948671A (zh) * 2019-03-04 2019-06-28 腾讯科技（深圳）有限公司 图像分类方法、装置、存储介质以及内窥镜成像设备

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021196955A1 (zh) * 2020-03-31 2021-10-07 上海商汤智能科技有限公司 图像识别方法及相关装置、设备
CN111709415B (zh) * 2020-04-29 2023-10-27 北京迈格威科技有限公司 目标检测方法、装置、计算机设备和存储介质
CN111709415A (zh) * 2020-04-29 2020-09-25 北京迈格威科技有限公司 目标检测方法、装置、计算机设备和存储介质
CN113642595A (zh) * 2020-05-11 2021-11-12 北京金山数字娱乐科技有限公司 一种基于图片的信息提取方法及装置
CN111709458A (zh) * 2020-05-25 2020-09-25 中国自然资源航空物探遥感中心 一种用于高分五号影像的自动质检方法
CN111709458B (zh) * 2020-05-25 2021-04-13 中国自然资源航空物探遥感中心 一种用于高分五号影像的自动质检方法
CN111739004A (zh) * 2020-06-22 2020-10-02 联想(北京)有限公司 图像处理方法、设备及存储介质
CN111739004B (zh) * 2020-06-22 2024-01-23 联想(北京)有限公司 图像处理方法、设备及存储介质
CN111881912A (zh) * 2020-08-19 2020-11-03 Oppo广东移动通信有限公司 数据处理方法、装置以及电子设备
CN112232258A (zh) * 2020-10-27 2021-01-15 腾讯科技（深圳）有限公司 一种信息处理方法、装置及计算机可读存储介质
CN112232258B (zh) * 2020-10-27 2024-07-09 腾讯科技（深圳）有限公司 一种信息处理方法、装置及计算机可读存储介质
CN112215840A (zh) * 2020-10-30 2021-01-12 上海商汤临港智能科技有限公司 图像检测、行驶控制方法、装置、电子设备及存储介质
CN113673578A (zh) * 2021-07-27 2021-11-19 浙江大华技术股份有限公司 图像检测方法、图像检测设备及计算机可读存储介质
CN113792661A (zh) * 2021-09-15 2021-12-14 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备以及存储介质
CN113792661B (zh) * 2021-09-15 2024-06-11 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备以及存储介质
CN113989579A (zh) * 2021-10-27 2022-01-28 腾讯科技（深圳）有限公司 图像检测方法、装置、设备以及存储介质
CN113989579B (zh) * 2021-10-27 2024-07-12 腾讯科技（深圳）有限公司 图像检测方法、装置、设备以及存储介质
CN114926480A (zh) * 2022-05-30 2022-08-19 腾讯科技（深圳）有限公司 一种训练图像分割模型的方法、装置、设备及存储介质
WO2024021134A1 (zh) * 2022-07-25 2024-02-01 首都师范大学 一种图像处理方法、装置、计算机设备及存储介质
CN115953588A (zh) * 2023-03-16 2023-04-11 深圳市华汉伟业科技有限公司 一种图像的重要样本挖掘方法及特征图像检测方法
CN117853490A (zh) * 2024-03-06 2024-04-09 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、图像处理模型的训练方法
CN117853490B (zh) * 2024-03-06 2024-05-24 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、图像处理模型的训练方法

Similar Documents

Publication Publication Date Title
CN110752028A (zh) 一种图像处理方法、装置、设备以及存储介质
JP7185039B2 (ja) 画像分類モデルの訓練方法、画像処理方法及びその装置、並びにコンピュータプログラム
CN110807495B (zh) 多标签分类方法、装置、电子设备及存储介质
CN109447149B (zh) 一种检测模型的训练方法、装置及终端设备
CN108062780A (zh) 图像压缩方法和装置
CN112767329B (zh) 图像处理方法及装置、电子设备
JP2016168046A (ja) 植物病診断システム、植物病診断方法、及びプログラム
CN110033019B (zh) 人体部位的异常检测方法、装置和存储介质
CN110598714B (zh) 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN107529098A (zh) 实时视频摘要
CN105453132B (zh) 实施图像处理的信息处理设备和图像处理方法
CN111091536B (zh) 医学图像处理方法、装置、设备、介质以及内窥镜
US11501431B2 (en) Image processing method and apparatus and neural network model training method
CN113256529B (zh) 图像处理方法、装置、计算机设备及存储介质
CN112348125B (zh) 基于深度学习的胶囊内窥镜影像识别方法、设备及介质
CN114241478A (zh) 宫颈细胞图像中异常细胞图像识别方法、装置
CN114820584B (zh) 肺部病灶定位装置
CN112200041A (zh) 视频动作识别方法、装置、存储介质与电子设备
CN110738235A (zh) 肺结核判定方法、装置、计算机设备及存储介质
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN114549556A (zh) 一种图像分割的方法、相关装置、设备以及存储介质
CN112906517A (zh) 一种自监督的幂律分布人群计数方法、装置和电子设备
CN115761371A (zh) 医学影像分类方法、装置、存储介质及电子设备
CN116310308A (zh) 图像分割方法、装置、计算机设备和存储介质
CN115130543A (zh) 图像识别方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20211008

Address after: 518052 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Applicant after: Tencent Medical Health (Shenzhen) Co.,Ltd.

Address before: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Applicant before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination