CN111753854A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111753854A
CN111753854A CN202010740234.5A CN202010740234A CN111753854A CN 111753854 A CN111753854 A CN 111753854A CN 202010740234 A CN202010740234 A CN 202010740234A CN 111753854 A CN111753854 A CN 111753854A
Authority
CN
China
Prior art keywords
target
recognized
image
description information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010740234.5A
Other languages
English (en)
Other versions
CN111753854B (zh
Inventor
李悦翔
陈嘉伟
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010740234.5A priority Critical patent/CN111753854B/zh
Publication of CN111753854A publication Critical patent/CN111753854A/zh
Application granted granted Critical
Publication of CN111753854B publication Critical patent/CN111753854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像处理方法、装置、电子设备及计算机可读存储介质；方法包括：对待识别图像进行局部特征提取处理，得到待识别图像中待识别目标的局部特征信息；基于待识别目标的局部特征信息进行预测处理，得到待识别目标的目标描述信息；对待识别图像进行全局特征提取处理，得到待识别目标的全局特征信息；将待识别图像中待识别目标的目标描述信息与待识别目标的全局特征信息进行融合处理，得到待识别目标的融合信息；基于待识别目标的融合信息进行分类处理，得到待识别目标的演变状态级别。通过本发明，能够结合目标描述信息，准确地进行目标识别。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本发明涉及人工智能技术，尤其涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
人工智能(Artificial Intelligence，AI)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理技术以及机器学习/深度学习等几大方向，随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
图像目标识别是人工智能领域的重要应用之一，图像目标识别系统是指利用计算机对图像进行处理、分析和理解，以识别出各种不同模式的目标和对象的系统。
在相关技术中，当目标具有相似的表征时，将无法准确地在图像中进行目标识别。
发明内容
本发明实施例提供一种图像处理方法、装置、电子设备及计算机可读存储介质，能够结合目标描述信息，准确地进行目标识别。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种图像处理方法，包括：
对待识别图像进行局部特征提取处理，得到所述待识别图像中待识别目标的局部特征信息；
基于所述待识别目标的局部特征信息进行预测处理，得到所述待识别目标的目标描述信息；
对所述待识别图像进行全局特征提取处理，得到所述待识别目标的全局特征信息；
将所述待识别图像中待识别目标的目标描述信息与所述待识别目标的全局特征信息进行融合处理，得到所述待识别目标的融合信息；
基于所述待识别目标的融合信息进行分类处理，得到所述待识别目标的演变状态级别。
本发明实施例提供一种图像处理装置，包括：
处理模块，用于对待识别图像进行局部特征提取处理，得到所述待识别图像中待识别目标的局部特征信息；基于所述待识别目标的局部特征信息进行预测处理，得到所述待识别目标的目标描述信息；
提取模块，用于对所述待识别图像进行全局特征提取处理，得到所述待识别目标的全局特征信息；
融合模块，用于将所述待识别图像中待识别目标的目标描述信息与所述待识别目标的全局特征信息进行融合处理，得到所述待识别目标的融合信息；
分类模块，用于基于所述待识别目标的融合信息进行分类处理，得到所述待识别目标的演变状态级别。
上述技术方案中，用于图像预测的预测网络包括多个级别预测网络，且所述多个级别预测网络分别对应不同的演变状态级别；所述处理模块还用于针对所述多个演变状态级别中的任一演变状态级别执行以下处理：
通过对应所述演变状态级别的级别预测网络，对所述待识别图像进行所述演变状态级别的特征提取处理，得到所述待识别目标对应所述演变状态级别的特征信息，以作为所述待识别目标的局部特征信息；
通过对应所述演变状态级别的级别预测网络，并结合所述待识别目标对应所述演变状态级别的特征信息进行局部预测处理，得到所述待识别目标对应所述演变状态级别的目标描述信息；
将所述待识别目标对应多个所述演变状态级别的目标描述信息进行融合处理，得到所述待识别目标的目标描述信息。
上述技术方案中，所述处理模块还用于对所述待识别目标对应所述演变状态级别的特征信息进行特征过滤处理，得到过滤后的特征信息；
对所述过滤后的特征信息进行非线性映射处理，得到所述待识别目标对应所述演变状态级别的目标描述信息。
上述技术方案中，所述处理模块还用于当存在对应两个不同演变状态级别的目标描述信息时，将所述两个不同演变状态级别的目标描述信息之间的差异，确定为所述待识别目标的目标描述信息；
当存在对应至少三个不同演变状态级别的目标描述信息时，对所述至少三个不同演变状态级别的目标描述信息进行拼接处理，以得到所述待识别目标的目标描述信息。
上述技术方案中，每个所述级别预测网络包括多个子预测网络，且所述多个子预测网络对应所述待识别目标的不同的属性；所述处理模块还用于针对所述待识别目标的每个属性，执行以下处理：
通过对应所述属性的子预测网络，对所述待识别图像进行特征提取处理，得到所述待识别目标对应所述属性的特征信息；
针对所述待识别目标的每个属性，执行以下处理：
通过对应所述属性的子预测网络，并结合所述待识别目标对应所述属性的特征信息进行局部预测处理，得到所述待识别目标对应所述属性的目标描述信息；
将所述待识别目标对应多个属性的目标描述信息进行拼接处理，得到所述待识别目标对应所述演变状态级别的目标描述信息。
上述技术方案中，所述处理模块还用于对所述待识别目标对应所述属性的特征信息进行特征过滤处理，得到过滤后的特征信息；
对所述过滤后的特征信息进行非线性映射处理，得到所述待识别目标对应所述属性的目标描述信息。
上述技术方案中，所述处理模块还用于将所述过滤后的特征信息非线性映射至所述目标描述信息所服从的概率分布中；
将所述概率分布中最大概率所对应的目标描述信息，确定为所述待识别目标对应所述属性的目标描述信息。
上述技术方案中，所述装置还包括：
划分模块，用于对所述待识别图像进行划分处理，得到所述待识别图像的多个区域图像；
所述处理模块还用于对每个所述区域图像进行局部特征提取处理，得到所述待识别目标在所述区域图像的局部特征信息；
通过预测网络、并结合所述待识别目标在每个所述区域图像中的局部特征信息进行预测处理，得到所述待识别目标对应每个所述区域图像的目标描述信息；
将所述待识别目标对应多个所述区域的目标描述信息进行聚合处理，得到所述待识别目标的目标描述信息。
上述技术方案中，所述处理模块还用于对所述待识别目标对应多个所述区域的目标描述信息进行组合处理，得到组合的目标描述信息；
对所述组合的目标描述信息进行去重处理，得到所述待识别目标的目标描述信息。
上述技术方案中，所述处理模块还用于根据所述目标描述信息所表征的所述待识别对象的演变程度，从待识别目标对应多个所述区域图像的目标描述信息中确定演变程度最高的目标描述信息，并
将所述表征演变程度最高的目标描述信息确定为所述待识别目标的目标描述信息。
上述技术方案中，所述分类模块还用于将所述待识别目标的融合信息映射至所述待识别目标的演变状态级别的概率分布；
将所述概率分布中最大概率所对应的演变状态级别，确定为所述待识别目标的演变状态级别。
上述技术方案中，所述装置还包括：
预处理模块，用于响应于针对待识别图像的分类请求，获取原始图像；
针对所述原始图像执行以下处理至少之一：
对所述原始图像中的各个像素点进行亮度归一化处理，将亮度归一化后的原始图像作为所述待识别图像；
对所述原始图像中的噪声进行平滑处理，将平滑后的原始图像作为所述待识别图像；
对所述原始图像中的待识别目标进行增强处理，将增强后的原始图像作为所述待识别图像。
本发明实施例提供一种用于图像处理的电子设备，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的图像处理方法。
本发明实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的图像处理方法。
本发明实施例具有以下有益效果：
通过融合待识别目标的目标描述信息与待识别目标的全局特征信息，以综合待识别目标的局部特征信息与待识别目标的全局特征信息，提取到丰富的待识别目标的特征信息，为精准的目标识别奠定基础；另外，通过待识别目标的目标描述信息，对待识别目标进行分类，得到待识别目标的演变状态级别，以实现精准的目标识别过程。
附图说明
图1是本发明实施例提供的图像处理系统的应用场景示意图；
图2是本发明实施例提供的用于图像处理的电子设备的结构示意图；
图3-图5是本发明实施例提供的图像处理方法的流程示意图；
图6是本发明实施例提供的农作物示意图；
图7是本发明实施例提供的病灶图像示意图；
图8是本发明实施例提供的建筑示意图；
图9是本发明实施例提供的级别预测网络的结构示意图；
图10-图11是相关技术提供的基于图像的病变级别分类；
图12是本发明实施例提供的利用病灶描述信息提高病变级别自动分类准确率的方法的示意图；
图13是本发明实施例提供的病灶描述的示意图；
图14是本发明实施例提供的图像处理装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)深度学习(Deep Learning，DL)：机器学习(Machine Learning，ML)领域中一个新的研究方向，被引入机器学习使其更接近于最初的目标—人工智能(ArtificialIntelligence，AI)。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息，对诸如文字、图像和声音等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
2)卷积神经网络(CNN，Convolutional Neural Networks)：一类包含卷积计算且具有深度结构的前馈神经网络(FNN，Feedforward Neural Networks)，是深度学习(deeplearning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入图像进行平移不变分类(shift-invariantclassification)。
3)演变状态级别：当目标的状态随着时间发生演变时，演变状态级别则用于表征当前目标的状态所处的级别，例如，当农作物在正常生长时，农作物的生长状态会随着时间发生改变，则农作物的演变状态级别包括生长初期、生长中期以及生长末期；当施工人员在正常施工时，建筑的施工状态会随着时间发生改变，则建筑的演变状态级别包括施工初期、施工中期以及施工末期。
本发明实施例提供了一种图像处理方法、装置、电子设备及计算机可读存储介质，能够结合目标描述信息，准确地进行目标识别。
本发明实施例所提供的图像处理方法，可以由终端/服务器独自实现；也可以由终端和服务器协同实现，例如终端独自承担下文所述的图像处理方法，或者，终端向服务器发送待识别图像，服务器根据接收的待识别图像执行图像处理方法。
本发明实施例提供的用于图像处理的电子设备可以是各种类型的终端设备或服务器，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器；终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本发明在此不做限制。
以服务器为例，例如可以是部署在云端的服务器集群，向用户开放人工智能云服务(AI as a Service，AIaaS)，AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务，这种服务模式类似于一个AI主题商城，所有的用户都可以通过应用程序编程接口的方式来接入使用AIaaS平台提供的一种或者多种人工智能服务。
例如，其中的一种人工智能云服务可以为图像处理服务，即云端的服务器封装有本发明实施例提供的图像处理的程序。用户通过终端(运行有客户端，例如地图定位客户端、医疗客户端等)调用云服务中的图像处理服务，以使部署在云端的服务器调用封装的图像处理的程序，根据待识别图像中待识别目标的目标描述信息，对待识别目标进行准确的目标识别，得到待识别目标的演变状态级别，后续基于待识别目标的演变状态级别响应图像目标识别请求，例如，对于地图定位应用，对采集到的地图图像进行预测，得到待识别目标的目标描述信息(例如，建筑的高度，农作物的覆盖面积等)，根据待识别图像中待识别目标的目标描述信息，对待识别目标进行准确的目标识别，得到待识别目标的演变状态级别(例如，建筑的施工状态，农作物的成长阶段)；对于医疗应用，对采集到的待识别图像进行预测，得到待识别目标的目标描述信息(例如，皮肤的病变状态，血管的表现等)，根据待识别图像中待识别目标的目标描述信息，对待识别目标进行准确的目标识别，得到待识别目标的演变状态级别，例如，病灶的病变级别，其中，本发明实施例提供的图像处理方法不是以有生命或动物体为对象的，且不是以获得疾病诊断结果或者健康状况为直接目的，不能根据待识别目标的演变状态级别直接获得疾病的诊断结果或健康状况，仅用于辅助医生、研究人员进行疾病的诊断、复诊和治疗方法的研究。
参见图1，图1是本发明实施例提供的图像处理系统10的应用场景示意图，终端200通过网络300连接服务器100，网络300可以是广域网或者局域网，又或者是二者的组合。
终端200(运行有客户端，例如地图定位客户端、医疗客户端等)可以被用来获取待识别图像，例如，通过终端200的图像采集装置，采集待识别图像，或者通过其他的图像采集设备将采集到的待识别图像发送至终端200，终端200接收到待识别图像。
在一些实施例中，终端中运行的客户端中可以植入有图像处理插件，用以在客户端本地实现图像处理方法。例如，终端200获取图像目标识别请求(包括待识别图像)后，调用图像处理插件，以实现图像处理方法，根据待识别图像中待识别目标的目标描述信息，对待识别目标进行准确的目标识别，得到待识别目标的演变状态级别，以响应图像目标识别请求，例如，对于地图定位应用(支持用户对采集到的地图图像进行地面目标的标记)，对采集到的地图图像进行预测，得到待识别目标的目标描述信息(例如，建筑的高度，农作物的覆盖面积，水域面积等)，根据待识别图像中待识别目标的目标描述信息，对待识别目标进行准确的目标识别，得到待识别目标的演变状态级别(例如，建筑的施工状态，农作物的成长阶段，水灾的严重程度)，以响应地图图像目标识别请求，例如，当确定建筑的施工状态后，辅助开发商快速地对工程进度进行调整，避免开发商不能按期交房；当确定农作物的成长阶段后，辅助农民在到达相应生长阶段后，积极进行病虫防治，避免农作物受到病虫的侵害；当确定水灾的严重程度后，帮助政府准确判定洪水灾害程度和损失，以进行相应地防御工作。
在一些实施例中，终端200获取图像目标识别请求后，调用服务器100的图像处理接口(可以提供为云服务的形式，即图像处理服务)，服务器100根据待识别图像中待识别目标的目标描述信息，对待识别目标进行准确的目标识别，得到待识别目标的演变状态级别，以响应图像目标识别请求，例如，对于医疗应用，患者、医生、研究人员将病灶图像输入至医疗应用后，医疗应用自动获取图像目标识别请求(包括待识别图像)，并调用服务器100的图像处理接口，对待识别图像进行预测，得到待识别目标的目标描述信息(例如，皮肤的病变状态，血管的表现等)，并待识别图像中待识别目标的目标描述信息，对待识别目标进行准确的目标识别，得到待识别目标的演变状态级别，例如，病灶的病变级别，以响应图像目标识别请求，其中，本发明实施例提供的图像处理方法不是以有生命或动物体为对象的，且不是以获得疾病诊断结果或者健康状况为直接目的，不能根据病灶的病变级别直接获得疾病的诊断结果或健康状况，即病灶的病变级别不直接用于疾病诊断，仅作为中间数据，以辅助患者进行疾病的预测，辅助医生、研究人员进行疾病的诊断、复诊和治疗方法的研究。
下面说明本发明实施例提供的用于图像处理的电子设备的结构，参见图2，图2是本发明实施例提供的用于图像处理的电子设备500的结构示意图，以电子设备500是服务器为例说明，图2所示的用于图像处理的电子设备500包括：至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。电子设备500中的各个组件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统540。
处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本发明实施例描述的存储器550旨在包括任意适合类型的存储器。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
在一些实施例中，存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统551，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块552，用于经由一个或多个(有线或无线)网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
在一些实施例中，本发明实施例提供的图像处理装置可以采用软件方式实现，例如，可以是上文所述的终端中的图像处理插件，可以是上文所述的服务器中图像处理服务。当然，不局限于此，本发明实施例提供的图像处理装置可以提供为各种软件实施例，包括应用程序、软件、软件模块、脚本或代码在内的各种形式。
图2示出了存储在存储器550中的图像处理装置555，其可以是程序和插件等形式的软件，例如图像处理插件，并包括一系列的模块，包括处理模块5551、提取模块5552、融合模块5553、分类模块5554、划分模块5555以及预处理模块5556；其中，处理模块5551、提取模块5552、融合模块5553、分类模块5554、划分模块5555以及预处理模块5556用于实现本发明实施例提供的图像处理功能。
如前所述，本发明实施例提供的图像处理方法可以由各种类型的电子设备实施。参见图3，图3是本发明实施例提供的图像处理方法的流程示意图，结合图3示出的步骤进行说明。
在步骤101中，对待识别图像进行局部特征提取处理，得到待识别图像中待识别目标的局部特征信息。
作为获取待识别图像的示例，通过终端自带的图像采集装置，采集待识别图像，或者通过其他独立于终端的图像采集设备(摄像机，相机，卫星等)采集待识别图像，并将采集到的待识别图像发送至终端，终端将待识别图像转发至服务器，以使服务器对待识别图像进行局部特征提取，得到待识别图像中待识别目标的局部特征信息，后续可以根据待识别目标的局部特征信息进行后续的识别处理，例如，该待识别图像为地图图像，待识别目标为农作物，则针对农作物的生长状态，提取针对农作物的面积以及高度等局部特征信息，以便后续根据农作物的局部特征信息进行后续的识别处理，确定农作物的生长速度。
在一些实施例中，对待识别图像进行局部特征提取处理之前，还包括：响应于针对待识别图像的分类请求，获取原始图像；针对原始图像执行以下处理至少之一：对原始图像中的各个像素点进行亮度归一化处理，将亮度归一化后的原始图像作为待识别图像；对原始图像中的噪声进行平滑处理，将平滑后的原始图像作为待识别图像；对原始图像中的待识别目标进行增强处理，将增强后的原始图像作为待识别图像。
例如，通过终端自带的图像采集装置，采集原始图像，终端将原始图像转发至服务器，服务器接收到原始图像后，对原始图像进行预处理，经过预处理后的图像更适用于进行后续图像识别，例如，对原始图像中的各个像素点进行亮度归一化，将亮度归一化后的原始图像作为待识别图像，归一化使图像的某些特征在给定变换下具有不变性质，例如物体的亮度，某些因素或变换对图像一些性质的影响可通过归一化处理得到消除或减弱，其中，灰度归一化(亮度归一化)、几何归一化和变换归一化是获取图像不变性质的三种归一化方法；对原始图像中的噪声进行平滑，将平滑后的原始图像作为待识别图像，平滑可以消除图像中随机噪声，其中，平滑技术可以在消去噪声的同时不使图像轮廓或线条变得模糊不清；对原始图像中的待识别目标进行增强，将增强后的原始图像作为待识别图像，增强可以对图像中的信息有选择地加强和抑制，以改善图像的视觉效果，或将图像转变为更适合于机器处理的形式，以便于数据抽取或识别，例如通过反差展宽、对数变换、密度分层和直方图均衡等都可以改变图像灰调和突出细节。
在步骤102中，基于待识别目标的局部特征信息进行预测处理，得到待识别目标的目标描述信息。
例如，在服务器得到待识别目标的局部特征信息后，可以基于待识别目标的局部特征信息进行预测处理，得到待识别目标的目标描述信息，以便后续根据待识别目标的目标描述信息进行后续图像分类操作。
参见图4，图4是本发明实施例提供的图像处理方法的一个可选的流程示意图，图4示出图3中的步骤101包括步骤1011A：在步骤1011A中，针对多个演变状态级别中的任一演变状态级别执行以下处理：通过对应演变状态级别的级别预测网络，对待识别图像进行演变状态级别的特征提取处理，得到待识别目标对应演变状态级别的特征信息，以作为待识别目标的局部特征信息；
对应地，图4示出图3中的步骤102包括步骤1021A-步骤1022A：在步骤1021A中，通过对应演变状态级别的级别预测网络，并结合待识别目标对应演变状态级别的特征信息进行局部预测处理，得到待识别目标对应演变状态级别的目标描述信息；在步骤1022A中，将待识别目标对应多个演变状态级别的目标描述信息进行融合处理，得到待识别目标的目标描述信息。
其中，用于图像预测的预测网络包括多个级别预测网络，且多个级别预测网络分别对应不同的演变状态级别。针对多个演变状态级别中的任一演变状态级别，通过对应该演变状态级别的级别预测网络中的卷积层，提取待识别图像中针对该演变状态级别的特征信息，并结合待识别目标对应演变状态级别的特征信息，通过对应该演变状态级别的级别预测网络对该待识别目标进行局部预测，以得到待识别目标对应演变状态级别的目标描述信息，即得到有针对性的目标描述信息，并将有针对性的目标描述信息进行融合，得到针对所有演变状态级别的目标描述信息，以便后续根据针对所有演变状态级别的目标描述信息，进行精准的目标分类。
例如，如图6所示，该待识别图像为地图图像，待识别目标为农作物601，演变状态级别为生长状态(生长初期、生长中期以及生长末期)，则针对生长初期，提取地图图像中针对生长初期的特征信息，并结合农作物对应生长初期的特征信息，通过对应该生长初期的级别预测网络对该地图图像中的农作物进行局部预测，以得到农作物对应生长初期的目标描述信息；针对生长中期，提取地图图像中针对生长中期的特征信息，并结合农作物对应生长中期的特征信息，通过对应该生长中期的级别预测网络对该地图图像中的农作物进行局部预测，以得到农作物对应生长中期的目标描述信息；针对生长末期，提取地图图像中针对生长末期的特征信息，并结合农作物对应生长末期的特征信息，通过对应该生长末期的级别预测网络对该地图图像中的农作物进行局部预测，以得到农作物对应生长末期的目标描述信息，最后，融合农作物对应生长初期的目标描述信息、农作物对应生长中期的目标描述信息以及农作物对应生长末期的目标描述信息，得到农作物的目标描述信息，以便后续根据针对所有生长状态的目标描述信息，从地图图像中精准地识别出农作物的生长状态。
例如，如图7所示，该待识别图像为病灶图像，待识别目标为病灶部位701，演变状态级别为病变级别(1级病变以及2+级病变)，则针对1级病变，提取病灶图像中针对1级病变的特征信息，并结合病灶部位对应1级病变的特征信息，通过对应该1级病变的级别预测网络对该病灶图像中的病灶部位进行局部预测，以得到病灶部位对应1级病变的目标描述信息；针对2+级病变，提取病灶图像中针对2+级病变的特征信息，并结合病灶部位对应2+级病变的特征信息，通过对应该2+级病变的级别预测网络对该病灶图像中的病灶部位进行局部预测，以得到病灶部位对应2+级病变的目标描述信息，最后，融合病灶部位对应1级病变的目标描述信息以及病灶部位对应2+级病变的目标描述信息，得到病灶部位的目标描述信息，以便后续根据针对所有病变级别的目标描述信息，从病灶图像中精准地识别出病灶部位的病变级别。
在一些实施例中，结合待识别目标对应演变状态级别的特征信息进行局部预测处理，得到待识别目标对应演变状态级别的目标描述信息，包括：对待识别目标对应演变状态级别的特征信息进行特征过滤处理，得到过滤后的特征信息；对过滤后的特征信息进行非线性映射处理，得到待识别目标对应演变状态级别的目标描述信息。
承接上述示例，通过对应该演变状态级别的级别预测网络中的池化层，对待识别目标对应演变状态级别的特征信息进行特征过滤，得到过滤后的特征信息，以剔除不重要的特征信息，并通过对应该演变状态级别的级别预测网络中的全连接层，对过滤后的特征信息进行非线性映射处理，从而得到待识别目标对应演变状态级别的目标描述信息。
例如，如图9所示，通过对应该病变级别的级别预测网络中的卷积层，提取病灶图像中病灶部位对应病变级别的特征信息，并将病灶部位对应病变级别的特征信息输出至池化层，通过池化层对病灶部位对应病变级别的特征信息进行特征过滤，得到过滤后的特征信息，以剔除不重要的病变特征信息，并通过对应该病变级别的级别预测网络中的全连接层，对过滤后的特征信息进行非线性映射处理，从而得到病变部位对应该病变级别的目标描述信息。
在一些实施例中，将待识别目标对应多个演变状态级别的目标描述信息进行融合处理，得到待识别目标的目标描述信息，包括：当存在对应两个不同演变状态级别的目标描述信息时，将两个不同演变状态级别的目标描述信息之间的差异，确定为待识别目标的目标描述信息；当存在对应至少三个不同演变状态级别的目标描述信息时，对至少三个不同演变状态级别的目标描述信息进行拼接处理，以得到待识别目标的目标描述信息。
承接上述示例，当存在两个不同演变状态级别时，则会生成对应两个不同演变状态级别的目标描述信息，将两个不同演变状态级别的目标描述信息之间的差异，确定为待识别目标的目标描述信息，以通过对比学习，进行特征提取与学习，更好的提取域内共性与域间差异性；当存在至少三个不同演变状态级别时，则会生成对应至少三个不同演变状态级别的目标描述信息，拼接该至少三个不同演变状态级别的目标描述信息，将拼接结果确定为待识别目标的目标描述信息，使得待识别目标的目标描述信息包括针对所有演变状态级别的目标描述信息，以便后续根据待识别目标的目标描述信息进行精准的图像分类。
在一些实施例中，对演变状态级别进行进一步的细分，通过对应演变状态级别的级别预测网络，对待识别图像进行演变状态级别的特征提取处理，得到待识别目标对应演变状态级别的特征信息，包括：针对待识别目标的每个属性，执行以下处理：通过对应属性的子预测网络，对待识别图像进行特征提取处理，得到待识别目标对应属性的特征信息；
对应地，通过对应演变状态级别的级别预测网络，并结合待识别目标对应演变状态级别的特征信息进行局部预测处理，得到待识别目标在演变状态级别的目标描述信息，包括：针对待识别目标的每个属性，执行以下处理：通过对应属性的子预测网络，并结合待识别目标对应属性的特征信息进行局部预测处理，得到待识别目标对应属性的目标描述信息；将待识别目标对应多个属性的目标描述信息进行拼接处理，得到待识别目标对应演变状态级别的目标描述信息。
承接上述示例，每个级别预测网络包括多个子预测网络，且多个子预测网络对应待识别目标的不同的属性；针对某一演变状态级别下的多个属性的任一属性，通过对应属性的子预测网络中的卷积层，提取待识别图像中针对该属性的特征信息，并结合待识别目标对应该属性的特征信息，通过对应该属性的级别预测网络对该待识别目标进行局部预测，以得到待识别目标对应属性的目标描述信息，即得到有针对性的目标描述信息，并将有针对性的目标描述信息进行融合，得到针对所有属性的目标描述信息，并将待识别目标对应多个属性的目标描述信息进行拼接，得到待识别目标对应演变状态级别的目标描述信息，以便后续根据针对所有属性的目标描述信息，进行精准的目标分类。
例如，该待识别图像为地图图像，待识别目标为农作物，属性为高度、面积等，则针对高度属性，提取地图图像中针对某演变状态级别下的高度属性的特征信息，并结合农作物对应该高度的特征信息，通过对应该高度的子预测网络对该地图图像中的农作物进行局部预测，以得到农作物对应高度属性的目标描述信息；针对面积属性，提取地图图像中针对某演变状态级别下的面积属性的特征信息，并结合农作物对应该面积的特征信息，通过对应该面积的子预测网络对该地图图像中的农作物进行局部预测，以得到农作物对应面积属性的目标描述信息，最后，融合农作物对应高度属性的目标描述信息以及农作物对应面积属性的目标描述信息，得到待识别目标对应该演变状态级别的目标描述信息，以便后续根据针对所有生长状态的目标描述信息，从地图图像中精准地识别出农作物的生长状态。
例如，如图8所示，该待识别图像为地图图像，待识别目标为建筑801，属性为建筑高度、占地面积等，则针对建筑高度属性，提取地图图像中针对某演变状态级别下的建筑高度属性的特征信息，并结合建筑对应该建筑高度的特征信息，通过对应该建筑高度的子预测网络对该地图图像中的建筑进行局部预测，以得到建筑对应高度属性的目标描述信息；针对占地面积属性，提取地图图像中针对某演变状态级别下的占地面积属性的特征信息，并结合建筑对应该占地面积的特征信息，通过对应该占地面积的子预测网络对该地图图像中的建筑进行局部预测，以得到建筑对应占地面积属性的目标描述信息，最后，融合建筑对应建筑高度属性的目标描述信息以及建筑对应占地面积属性的目标描述信息，得到待识别目标对应该演变状态级别的目标描述信息，以便后续根据针对所有施工状态的目标描述信息，从地图图像中精准地识别出施工状态。
例如，该待识别图像为病灶图像，待识别目标为病灶部位，属性为醋白上皮、血管等，则针对醋白上皮属性，提取病灶图像中针对某病变级别下的醋白上皮属性的特征信息，并结合病灶部位对应该醋白上皮属性的特征信息，通过对应该醋白上皮属性的子预测网络对该病灶图像中的病灶部位进行局部预测，以得到病灶部位对应醋白上皮属性的目标描述信息；针对血管属性，提取病灶图像中针对某病变级别下的血管属性的特征信息，并结合病灶部位对应该血管属性的特征信息，通过对应该血管属性的子预测网络对该病灶图像中的血管属性进行局部预测，以得到病灶部位对应血管属性的目标描述信息，最后，融合病灶部位对应醋白上皮属性的目标描述信息以及病灶部位对应血管属性的目标描述信息，得到病灶部位对应该病变级别的目标描述信息，以便后续根据针对所有病变级别的目标描述信息，从病变图像中精准地识别出病灶部位的病变级别。其中，本发明实施例提供的图像处理方法不是以有生命或动物体为对象的，且不是以获得疾病诊断结果或者健康状况为直接目的，不能根据病灶的病变级别直接获得疾病的诊断结果或健康状况，即病灶的病变级别不直接用于疾病诊断，仅作为中间数据，以辅助医生、研究人员进行疾病的诊断、复诊和治疗方法的研究。
在一些实施例中，结合待识别目标对应属性的特征信息进行局部预测处理，得到待识别目标对应属性的目标描述信息，包括：对待识别目标对应属性的特征信息进行特征过滤处理，得到过滤后的特征信息；对过滤后的特征信息进行非线性映射处理，得到待识别目标对应属性的目标描述信息。
承接上述示例，通过对应该属性的子预测网络中的池化层，对待识别目标对应属性的特征信息进行特征过滤，得到过滤后的特征信息，以剔除不重要的特征信息，并通过对应该属性的子预测网络中的全连接层，对过滤后的特征信息进行非线性映射处理，从而得到待识别目标对应属性的目标描述信息。
例如，通过对应血管属性的子预测网络中的池化层，对病灶部位对应血管属性的特征信息进行特征过滤，得到过滤后的特征信息，以剔除不重要的血管特征信息，并通过对应该血管属性的子预测网络中的全连接层，对过滤后的特征信息进行非线性映射处理，从而得到病灶部位对应血管属性的目标描述信息。
在一些实施例中，对过滤后的特征信息进行非线性映射处理，得到待识别目标对应属性的目标描述信息，包括：将过滤后的特征信息非线性映射至目标描述信息所服从的概率分布中；将概率分布中最大概率所对应的目标描述信息，确定为待识别目标对应属性的目标描述信息。
承接上述示例，将过滤后的特征信息非线性映射至目标描述信息所服从的概率分布中，该概率分布中对应该属性存在多个不同的目标描述信息的概率，例如针对高度属性，存在多个不同的目标描述信息，即该概率分布为(“矮”：0.2，“高”：0.8)，则该农作物对应高度属性的目标描述信息为“高”；针对粗白上皮属性，存在多个不同的目标描述信息，即该概率分布为(“厚/致密”：0.7，“薄/稀疏”：0.3)，则该病灶部位对应粗白上皮属性的目标描述信息为“厚/致密”。
参见图5，图5是本发明实施例提供的图像处理方法的一个可选的流程示意图，为了准确地获取待识别目标的目标描述信息，图5示出图3还包括步骤106：在步骤106中，对待识别图像进行划分处理，得到待识别图像的多个区域图像；则图3中的步骤101包括步骤1011B：在步骤1011B中，对每个区域图像进行局部特征提取处理，得到待识别目标在区域图像的局部特征信息；
对应地，图5示出图3中的步骤102包括步骤1021B-步骤1022B：在步骤1021B中，通过预测网络、并结合待识别目标在每个区域图像中的局部特征信息进行预测处理，得到待识别目标对应每个区域图像的目标描述信息；在步骤1022B中，将待识别目标对应多个区域的目标描述信息进行聚合处理，得到待识别目标的目标描述信息。
例如，首先对待识别图像进行划分，得到待识别图像的多个区域图像，然后通过用于图像预测的预测网络，结合待识别目标在每个区域图像中的局部特征信息进行预测，得到待识别目标对应每个区域图像的目标描述信息，最后，综合待识别目标对应多个区域的目标描述信息，以得到待识别目标的目标描述信息。通过获取对应每个区域图像的局部的目标描述信息，以准确地获取待识别图像中所有的待识别目标的目标描述信息，避免遗漏待识别图像中局部的目标描述信息。
在一些实施例中，将待识别目标对应多个区域的目标描述信息进行聚合处理，得到待识别目标的目标描述信息，包括：对待识别目标对应多个区域的目标描述信息进行组合处理，得到组合的目标描述信息；对组合的目标描述信息进行去重处理，得到待识别目标的目标描述信息。
承接上述示例，在服务器得到待识别目标对应每个区域的目标描述信息后，可以先组合待识别目标对应多个区域(该多个区域可以是所有区域中的部分区域，也可以是所有区域)的目标描述信息，由于多个区域的目标描述信息可能存在重复，则对组合的目标描述信息进行去重，以去除重复的目标描述信息，得到无重复的待识别目标的目标描述信息。
例如，将病灶图像进行划分，得到2个区域图像，然后通过用于图像预测的预测网络，结合病灶部位在每个区域图像中的局部特征信息进行预测，得到病灶图像对应每个区域图像的目标描述信息，其中，病灶图像对应第一个区域图像的目标描述信息为“存在致密粗白上皮、无血管异常”、病灶图像对应第二个区域图像的目标描述信息为“无血管异常”，则病灶部位的目标描述信息为“存在致密粗白上皮、无血管异常”。
在一些实施例中，将待识别目标对应多个区域的目标描述信息进行聚合处理，得到待识别目标的目标描述信息，包括：根据目标描述信息所表征的待识别对象的演变程度，从待识别目标对应多个区域图像的目标描述信息中确定演变程度最高的目标描述信息，并将表征演变程度最高的目标描述信息确定为待识别目标的目标描述信息。
承接上述示例，由于目标描述信息可以表征待识别对象的演变程度，例如农作物的生长状态，建筑的施工进度、患病处的严重程度等，则根据目标描述信息所表征的待识别对象的演变程度，从待识别目标对应多个区域图像的目标描述信息中确定演变程度最高的目标描述信息，并将表征演变程度最高的目标描述信息确定为待识别目标的目标描述信息。例如，待识别图像包括两个区域图像(第一区域图像和第二区域图像)，对应第一区域图像的目标描述信息表征农作物处于生长初期，对应第二区域图像的目标描述信息表征农作物处于生长中期，则将第二区域图像的目标描述信息确定为农作物的目标描述信息；待识别图像包括两个区域图像(第一区域图像和第二区域图像)，对应第一区域图像的目标描述信息表征病灶部位处于1级病变，对应第二区域图像的目标描述信息表征农作物处于病灶部位处于2+级病变，则将第二区域图像的目标描述信息确定为病灶部位的目标描述信息。
在步骤103中，对待识别图像进行全局特征提取处理，得到待识别目标的全局特征信息。
其中，步骤103与步骤101、步骤102并没有明显的先后顺序，步骤103可以在步骤101之前，也可以在步骤101之后。为了能够准确地得到待识别目标的演变状态级别，因此，对待识别图像进行全局特征提取，以得到全面的待识别目标的特征信息。
在步骤104中，将待识别图像中待识别目标的目标描述信息与待识别目标的全局特征信息进行融合处理，得到待识别目标的融合信息。
例如，在服务器得到待识别目标的目标描述信息与待识别目标的全局特征信息后，拼接待识别目标的目标描述信息与待识别目标的全局特征信息，以得到待识别目标的融合信息，以便后续基于待识别目标的融合信息进行图像分类处理。
在步骤105中，基于待识别目标的融合信息进行分类处理，得到待识别目标的演变状态级别。
例如，在服务器得到待识别目标的融合信息后，基于待识别目标的融合信息，对待识别目标进行分类，以得到待识别目标的演变状态级别。
在一些实施例中，基于待识别目标的融合信息进行分类处理，得到待识别目标的演变状态级别，包括：将待识别目标的融合信息映射至待识别目标的演变状态级别的概率分布；将概率分布中最大概率所对应的演变状态级别，确定为待识别目标的演变状态级别。
例如，将待识别目标的融合信息非线性映射至待识别目标的演变状态级别所服从的概率分布中，该概率分布中存在多个不同的演变状态级别的概率，例如该概率分布为(“生长初期”：0.2，“生长中期”：0.1，“生长末期”：0.7)，则该农作物的演变状态级别为“生长末期”，当确定农作物到达生长末期后，告知农民需要进行及时收割农作物；该概率分布为(“1级病变”：0.7，“2+级病变”：0.3)，则病灶部位的病变级别为“1级病变”，其中，本发明实施例提供的图像处理方法不是以有生命或动物体为对象的，且不是以获得疾病诊断结果或者健康状况为直接目的，不能根据“1级病变”直接获得疾病的诊断结果或健康状况，将该“1级病变”不直接用于疾病诊断，仅作为参考，以辅助医生进行疾病诊断。
在一些实施例中，为了通过图像处理模型可以识别目标的演变状态级别，需要对图像处理模型进行训练，其训练过程包括：通过图像处理模型对图像样本进行预测处理，得到待识别目标的目标描述信息；将图像样本中待识别目标的目标描述信息与待识别目标的全局特征信息进行融合处理，得到待识别目标的融合信息；基于待识别目标的融合信息进行分类处理，得到待识别目标的演变状态级别；根据待识别目标的演变状态级别与演变状态级别标签，构建图像处理模型的损失函数；更新图像处理模型的参数直至损失函数收敛，将损失函数收敛时图像处理模型的更新的参数，作为训练后的图像处理模型的参数。
例如，通过图像处理模型对图像样本进行局部特征提取处理，得到图像样本中待识别目标的局部特征信息，基于待识别目标的局部特征信息进行预测处理，得到待识别目标的目标描述信息，对图像样本进行全局特征提取处理，得到待识别目标的全局特征信息，将图像样本中待识别目标的目标描述信息与待识别目标的全局特征信息进行融合处理，得到待识别目标的融合信息，基于待识别目标的融合信息进行分类处理，得到待识别目标的演变状态级别，根据待识别目标的演变状态级别与演变状态级别标签，确定图像处理模型的损失函数的值后，可以判断图像处理模型的损失函数的值是否超出预设阈值，当图像处理模型的损失函数的值超出预设阈值时，基于图像处理模型的损失函数确定图像处理模型的误差信号，将误差信息在图像处理模型中反向传播，并在传播的过程中更新各个层的模型参数。
例如，通过图像处理模型对病灶图像样本进行局部特征提取处理，得到病灶图像样本中病灶部位的局部特征信息，基于病灶部位的局部特征信息进行预测处理，得到病灶部位的目标描述信息，对病灶图像样本进行全局特征提取处理，得到病灶部位的全局特征信息，将病灶图像样本中病灶部位的目标描述信息与病灶部位的全局特征信息进行融合处理，得到病灶部位的融合信息，基于病灶部位的融合信息进行分类处理，得到病灶部位的病变级别，根据病灶部位的病变级别与病变级别标签，对图像处理模型进行训练，得到训练后的图像处理模型，并将训练后的图像处理模型投入医疗应用，从而通过训练后的图像处理模型，对输入的病灶图像进行预测，以得到预测结果，即病灶图像的病变级别。其中，本发明实施例提供的图像处理方法不是以有生命或动物体为对象的，且不是以获得疾病诊断结果或者健康状况为直接目的，不能根据病灶的病变级别直接获得疾病的诊断结果或健康状况，该预测结果不直接作为诊断结果，仅作为中间数据，以辅助医生、研究人员进行疾病的诊断、复诊和治疗方法的研究。
这里，对反向传播进行说明，将训练样本数据输入到神经网络模型的输入层，经过隐藏层，最后达到输出层并输出结果，这是神经网络模型的前向传播过程，由于神经网络模型的输出结果与实际结果有误差，则计算输出结果与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层，在反向传播的过程中，根据误差调整模型参数的值；不断迭代上述过程，直至收敛。其中，图像处理模型属于神经网络模型。
下面，将说明本发明实施例在一个实际的应用场景中的示例性应用。
本发明实施例可以应用于医疗的应用场景中，如图1所示，终端200通过网络300连接部署在云端的服务器100，在终端200上安装医疗应用，患者、医生、研究人员将病灶图像输入至医疗应用后，医疗应用自动获取图像目标识别请求，并将图像目标识别请求发送至服务器100，服务器100接收到图像目标识别请求后，根据待识别图像中待识别目标的目标描述信息，对待识别目标进行准确的目标识别，得到待识别目标的演变状态级别，例如，病灶的病变级别，以响应图像目标识别请求，供患者进行疾病的预测，供医生、研究人员进行疾病的诊断、复诊和治疗方法的研究。
相关技术中，基于图像的病变级别分类有两种方法，分别为：方法1)如图10所示，利用不同病变级别的图像直接训练机器学习算法，使其获得识别病变级别的能力，其中CIN1表示宫颈上皮已经发生了轻度的癌性病变，CIN2+表示宫颈上皮内流变2+级；方法2)如图11所示，要求医生对图像中的病灶进行像素级别的勾画，并打上病变级别标签，利用带有病灶勾画信息的图像训练病灶分类网络，并输出病灶分类结果，参考病灶分类结果判断患者的病变级别，其中，区域1101表示低级别病变部位，区域1102表示高级别病变部位。
虽然，相关技术中的方法可以对图像进行病变级别分类，但是仍存在以下问题：1)由于相近的病变级别在图像上往往具有相似的表征，因此只基于图像的方法1进行病变级别分类的识别准确率较低，无法满足使用要求；2)虽然方法2能较大的提升算法的精度，但是其要求像素级别的标注，使得标注任务十分繁重，限制了实际应用的前景。
为了解决上述问题，本发明实施例提出了一种利用病灶描述信息提高病变级别自动分类准确率的方法(图像处理方法)。该方法通过病灶描述信息的标注信息使深度学习网络获得更丰富的病灶相关信息，并利用深度学习网络获得的病灶描述信息进行精确的病变级别识别，实现人工智能辅助诊断系统进行疾病预测。
如图12所示，本发明实施例包括两个部分，分别为对病灶的文本信息编码及运用于病变级别自动分类。以宫颈癌的病变分级任务为例(主要区分CIN1(宫颈上皮已经发生了轻度的癌性病变)与CIN2+(宫颈上皮内流变2+级)两个级别)，其中，醋白上皮评价网络(醋白上皮Rater)、血管评价网络(血管Rater)和编码器(Encoder)皆为深度学习网络，例如残差网络-18(ResNet-18)。其中，利用病灶描述信息提高病变级别自动分类准确率的方法的具体实现过程如下所示：
首先，将宫颈内镜图像根据医生的描述切分成多个区域图像，并通过多个区域图像分别训练评价网络(Rater，即预测网络)。针对宫颈内镜图像，医生可以标注醋白上皮(白色醋酸上皮)和血管关于病灶的描述。在评价网络训练完毕后，将两个不同级别的评价网络与图像的特征提取网络(Backbone，即编码器)进行融合，得到融合的特征，并根据该融合特征进行CIN1/CIN2+的病变级别分类。
关于病灶的描述，本发明实施例使用从医院采集的未标注宫颈内镜图像作为训练数据集。将宫颈内镜图像分为四个区域，以方便医生提供病灶在各区域中的醋白上皮及血管信息，如图13所示，医生提供了病灶文本描述信息，表征在第一区域1301中存在致密醋白上皮，无血管异常。
关于评价网络的训练，由于需要将医生的文本描述进行数字化处理，因此设置了多个描述供医生参考，具体如表1所示，其中各病灶描述为多选，则针对表1的醋白上皮的文本描述可以编码为向量10000000(7维)，血管的文本描述可以编码为向量0000(4维)。将这两个向量作为宫颈内镜图像的第一区域的标注，训练两个不同描述的评价网络(醋白上皮Rater和血管Rater)。
表1
Figure BDA0002606486550000241
关于训练策略，为了保持特征提取时的类内一致性，将CIN1和CIN2+的宫颈内镜图片分开，分别训练评价网络。因此，如图12所示，在评价网络训练完成后，可以得到四个评价网络(CIN1醋白上皮Rater、CIN1血管Rater、CIN2+醋白上皮Rater和CIN2+血管Rater)。
关于整体网络训练，如图12所示，首先将CIN1和CIN2+两个评价网络的输出拼接到一起，拼接成两个11维的特征。然后，对得到的两个11维的特征做差(采用对比学习的方法，将评价网络提取的特征嵌入到特征提取网络)，并将做差后的特征拼接到特征提取网络提取的图像特征上，进行联合训练(即CIN1/CIN2+分类)。
关于训练设置，为了不破坏评价网络学习到的特征，将评价网络在第二阶段的学习率设置为特征提取网络的十分之一(即评价网络在第二阶段的学习率小于特征提取网络在第二阶段的学习率)。如图12所示，特征提取网络的学习率(learning rate，lr)为0.001，则评价网络在该第二阶段的学习率为0.0001，从而在评价网络能够保持对图像病灶信息进行准确预测的同时，还能够自适应的对全图信息进行少量修正，从而得到更准确的病变分级识别结果。
在评价网络训练完成后，用户只需要将需要诊断的图像输入病变分级自动识别系统，病变分级自动识别系统即可全自动的生成模拟的分级结果，以供用户参考。
综上，本发明实施例提出了一种利用病灶描述信息提高病变级别自动分类准确率的方法，利用病灶文本描述信息提升人工智能系统辅助诊断系统进行疾病预测，提高病变分级诊断的准确率；相对于像素级别的病灶标注，本发明实施例所需的文本描述信息大幅减少了人工标注的任务量。
至此已经结合本发明实施例提供的服务器的示例性应用和实施，说明本发明实施例提供的图像处理方法。本发明实施例还提供图像处理装置，实际应用中，图像处理装置中的各功能模块可以由电子设备(如终端设备、服务器或服务器集群)的硬件资源，如处理器等计算资源、通信资源(如用于支持实现光缆、蜂窝等各种方式通信)、存储器协同实现。图2示出了存储在存储器550中的图像处理装置555，其可以是程序和插件等形式的软件，例如，软件C/C++、Java等编程语言设计的软件模块、C/C++、Java等编程语言设计的应用软件或大型软件系统中的专用软件模块、应用程序接口、插件、云服务等实现方式，下面对不同的实现方式举例说明。
一、移动端应用程序及模块
本发明实施例中的图像处理装置555可提供为使用软件C/C++、Java等编程语言设计的软件模块，嵌入到基于Android或iOS等系统的各种移动端应用中(以可执行指令存储在移动端的存储介质中，由移动端的处理器执行)，从而直接使用移动端自身的计算资源完成相关的图像处理等任务，并且定期或不定期地通过各种网络通信方式将预测结果传送给远程的服务器，或者在移动端本地保存。
二、服务器应用程序及平台
本发明实施例中的图像处理装置555可提供为使用C/C++、Java等编程语言设计的应用软件或大型软件系统中的专用软件模块，运行于服务器端(以可执行指令的方式在服务器端的存储介质中存储，并由服务器端的处理器运行)，服务器使用自身的计算资源完成相关的图像处理等任务。
本发明实施例还可以提供为在多台服务器构成的分布式、并行计算平台上，搭载定制的、易于交互的网络(Web)界面或其他各用户界面(UI，User Interface)，形成供个人、群体或单位使用的医疗平台(用于预测病灶图像的病变级别)、卫星定位平台(用于预测农作物的生长状态)等。
三、服务器端应用程序接口(API，Application Program Interface)及插件
本发明实施例中的图像处理装置555可提供为服务器端的API或插件，以供用户调用，以执行本发明实施例的图像处理方法，并嵌入到各类应用程序中。
四、移动设备客户端API及插件
本发明实施例中的图像处理装置555可提供为移动设备端的API或插件，以供用户调用，以执行本发明实施例的图像处理方法。
五、云端开放服务
本发明实施例中的图像处理装置555可提供为向用户开发的图像处理云服务，供个人、群体或单位预测待识别图像中待识别目标的演变状态级别。
其中，图像处理装置555包括一系列的模块，包括处理模块5551、提取模块5552、融合模块5553、分类模块5554、划分模块5555以及预处理模块5556。下面继续说明本发明实施例提供的图像处理装置555中各个模块配合实现图像处理的方案。
处理模块5551，用于对待识别图像进行局部特征提取处理，得到所述待识别图像中待识别目标的局部特征信息；基于所述待识别目标的局部特征信息进行预测处理，得到所述待识别目标的目标描述信息；提取模块5552，用于对所述待识别图像进行全局特征提取处理，得到所述待识别目标的全局特征信息；融合模块5553，用于将所述待识别图像中待识别目标的目标描述信息与所述待识别目标的全局特征信息进行融合处理，得到所述待识别目标的融合信息；分类模块5554，用于基于所述待识别目标的融合信息进行分类处理，得到所述待识别目标的演变状态级别。
在一些实施例中，用于图像预测的预测网络包括多个级别预测网络，且所述多个级别预测网络分别对应不同的演变状态级别；所述处理模块5551还用于针对所述多个演变状态级别中的任一演变状态级别执行以下处理：通过对应所述演变状态级别的级别预测网络，对所述待识别图像进行所述演变状态级别的特征提取处理，得到所述待识别目标对应所述演变状态级别的特征信息，以作为所述待识别目标的局部特征信息；通过对应所述演变状态级别的级别预测网络，并结合所述待识别目标对应所述演变状态级别的特征信息进行局部预测处理，得到所述待识别目标对应所述演变状态级别的目标描述信息；将所述待识别目标对应多个所述演变状态级别的目标描述信息进行融合处理，得到所述待识别目标的目标描述信息。
在一些实施例中，所述处理模块5551还用于对所述待识别目标对应所述演变状态级别的特征信息进行特征过滤处理，得到过滤后的特征信息；对所述过滤后的特征信息进行非线性映射处理，得到所述待识别目标对应所述演变状态级别的目标描述信息。
在一些实施例中，所述处理模块5551还用于当存在对应两个不同演变状态级别的目标描述信息时，将所述两个不同演变状态级别的目标描述信息之间的差异，确定为所述待识别目标的目标描述信息；当存在对应至少三个不同演变状态级别的目标描述信息时，对所述至少三个不同演变状态级别的目标描述信息进行拼接处理，以得到所述待识别目标的目标描述信息。
在一些实施例中，每个所述级别预测网络包括多个子预测网络，且所述多个子预测网络对应所述待识别目标的不同的属性；所述处理模块5551还用于针对所述待识别目标的每个属性，执行以下处理：通过对应所述属性的子预测网络，对所述待识别图像进行特征提取处理，得到所述待识别目标对应所述属性的特征信息；针对所述待识别目标的每个属性，执行以下处理：通过对应所述属性的子预测网络，并结合所述待识别目标对应所述属性的特征信息进行局部预测处理，得到所述待识别目标对应所述属性的目标描述信息；将所述待识别目标对应多个属性的目标描述信息进行拼接处理，得到所述待识别目标对应所述演变状态级别的目标描述信息。
在一些实施例中，所述处理模块5551还用于对所述待识别目标对应所述属性的特征信息进行特征过滤处理，得到过滤后的特征信息；对所述过滤后的特征信息进行非线性映射处理，得到所述待识别目标对应所述属性的目标描述信息。
在一些实施例中，所述处理模块5551还用于将所述过滤后的特征信息非线性映射至所述目标描述信息所服从的概率分布中；将所述概率分布中最大概率所对应的目标描述信息，确定为所述待识别目标对应所述属性的目标描述信息。
在一些实施例中，所述图像处理装置555还包括：划分模块5555，用于对所述待识别图像进行划分处理，得到所述待识别图像的多个区域图像；所述处理模块5551还用于对每个所述区域图像进行局部特征提取处理，得到所述待识别目标在所述区域图像的局部特征信息；通过预测网络、并结合所述待识别目标在每个所述区域图像中的局部特征信息进行预测处理，得到所述待识别目标对应每个所述区域图像的目标描述信息；将所述待识别目标对应多个所述区域的目标描述信息进行聚合处理，得到所述待识别目标的目标描述信息。
在一些实施例中，所述处理模块5551还用于对所述待识别目标对应多个所述区域的目标描述信息进行组合处理，得到组合的目标描述信息；对所述组合的目标描述信息进行去重处理，得到所述待识别目标的目标描述信息。
在一些实施例中，所述处理模块5551还用于根据所述目标描述信息所表征的所述待识别对象的演变程度，从待识别目标对应多个所述区域图像的目标描述信息中确定演变程度最高的目标描述信息，并将所述表征演变程度最高的目标描述信息确定为所述待识别目标的目标描述信息。
在一些实施例中，所述分类模块5554还用于将所述待识别目标的融合信息映射至所述待识别目标的演变状态级别的概率分布；将所述概率分布中最大概率所对应的演变状态级别，确定为所述待识别目标的演变状态级别。
在一些实施例中，所述图像处理装置555还包括：预处理模块5556，用于响应于针对待识别图像的分类请求，获取原始图像；针对所述原始图像执行以下处理至少之一：对所述原始图像中的各个像素点进行亮度归一化处理，将亮度归一化后的原始图像作为所述待识别图像；对所述原始图像中的噪声进行平滑处理，将平滑后的原始图像作为所述待识别图像；对所述原始图像中的待识别目标进行增强处理，将增强后的原始图像作为所述待识别图像。
综上，参见图14，图像处理装置555中的预处理模块5556对原始图像进行预处理(例如，亮度归一化、平滑以及增强等)，将预处理的原始图像作为待识别图像，将待识别图像输入至提取模块5552以及划分模块5555。提取模块5552对待识别图像进行全局特征提取处理，得到待识别目标的全局特征信息，并将待识别目标的全局特征信息输入至融合模块5553；划分模块5555对待识别图像进行划分处理，得到待识别图像的多个区域图像，并将待识别图像的多个区域图像输入至处理模块5551，处理模块5551对每个区域图像进行局部特征提取处理，得到待识别目标在区域图像的局部特征信息，基于待识别目标的局部特征信息进行预测处理，得到待识别目标的目标描述信息，并将待识别目标的目标描述信息输入至融合模块5553。融合模块5553将待识别目标的目标描述信息与待识别目标的全局特征信息进行融合处理，得到待识别目标的融合信息，并将待识别目标的融合信息输入至分类模块5554，分类模块5554基于待识别目标的融合信息进行分类处理，得到待识别目标的病变级别。当待识别目标的病变级别为病灶部位的病变级别时，由于本发明实施例提供的图像处理方法不是以有生命或动物体为对象的，且不是以获得疾病诊断结果或者健康状况为直接目的，不能根据病灶的病变级别直接获得疾病的诊断结果或健康状况，因此，病灶的病变级别不直接用于疾病诊断，仅作为中间数据，医生进行疾病诊断。
本发明实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本发明实施例上述的图像处理方法。
本发明实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的图像处理方法，例如，如图3-图5示出的图像处理方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
对待识别图像进行局部特征提取处理，得到所述待识别图像中待识别目标的局部特征信息；
基于所述待识别目标的局部特征信息进行预测处理，得到所述待识别目标的目标描述信息；
对所述待识别图像进行全局特征提取处理，得到所述待识别目标的全局特征信息；
将所述待识别图像中待识别目标的目标描述信息与所述待识别目标的全局特征信息进行融合处理，得到所述待识别目标的融合信息；
基于所述待识别目标的融合信息进行分类处理，得到所述待识别目标的演变状态级别。
2.根据权利要求1所述的方法，其特征在于，
用于图像预测的预测网络包括多个级别预测网络，且所述多个级别预测网络分别对应不同的演变状态级别；
所述对待识别图像进行局部特征提取处理，得到所述待识别图像中待识别目标的局部特征信息，包括：
针对所述多个演变状态级别中的任一演变状态级别执行以下处理：
通过对应所述演变状态级别的级别预测网络，对所述待识别图像进行所述演变状态级别的特征提取处理，得到所述待识别目标对应所述演变状态级别的特征信息，以作为所述待识别目标的局部特征信息；
所述基于所述待识别目标的局部特征信息进行预测处理，得到所述待识别目标的目标描述信息，包括：
通过对应所述演变状态级别的级别预测网络，并结合所述待识别目标对应所述演变状态级别的特征信息进行局部预测处理，得到所述待识别目标对应所述演变状态级别的目标描述信息；
将所述待识别目标对应多个所述演变状态级别的目标描述信息进行融合处理，得到所述待识别目标的目标描述信息。
3.根据权利要求2所述的方法，其特征在于，所述结合所述待识别目标对应所述演变状态级别的特征信息进行局部预测处理，得到所述待识别目标对应所述演变状态级别的目标描述信息，包括：
对所述待识别目标对应所述演变状态级别的特征信息进行特征过滤处理，得到过滤后的特征信息；
对所述过滤后的特征信息进行非线性映射处理，得到所述待识别目标对应所述演变状态级别的目标描述信息。
4.根据权利要求2所述的方法，其特征在于，所述将所述待识别目标对应多个所述演变状态级别的目标描述信息进行融合处理，得到所述待识别目标的目标描述信息，包括：
当存在对应两个不同演变状态级别的目标描述信息时，将所述两个不同演变状态级别的目标描述信息之间的差异，确定为所述待识别目标的目标描述信息；
当存在对应至少三个不同演变状态级别的目标描述信息时，对所述至少三个不同演变状态级别的目标描述信息进行拼接处理，以得到所述待识别目标的目标描述信息。
5.根据权利要求2所述的方法，其特征在于，
每个所述级别预测网络包括多个子预测网络，且所述多个子预测网络对应所述待识别目标的不同的属性；
所述通过对应所述演变状态级别的所述级别预测网络，对所述待识别图像进行所述演变状态级别的特征提取处理，得到所述待识别目标对应所述演变状态级别的特征信息，包括：
针对所述待识别目标的每个属性，执行以下处理：
通过对应所述属性的子预测网络，对所述待识别图像进行特征提取处理，得到所述待识别目标对应所述属性的特征信息；
所述通过对应所述演变状态级别的级别预测网络，并结合所述待识别目标对应所述演变状态级别的特征信息进行局部预测处理，得到所述待识别目标在所述演变状态级别的目标描述信息，包括：
针对所述待识别目标的每个属性，执行以下处理：
通过对应所述属性的子预测网络，并结合所述待识别目标对应所述属性的特征信息进行局部预测处理，得到所述待识别目标对应所述属性的目标描述信息；
将所述待识别目标对应多个属性的目标描述信息进行拼接处理，得到所述待识别目标对应所述演变状态级别的目标描述信息。
6.根据权利要求5所述的方法，其特征在于，所述结合所述待识别目标对应所述属性的特征信息进行局部预测处理，得到所述待识别目标对应所述属性的目标描述信息，包括：
对所述待识别目标对应所述属性的特征信息进行特征过滤处理，得到过滤后的特征信息；
对所述过滤后的特征信息进行非线性映射处理，得到所述待识别目标对应所述属性的目标描述信息。
7.根据权利要求6所述的方法，其特征在于，所述对所述过滤后的特征信息进行非线性映射处理，得到所述待识别目标对应所述属性的目标描述信息，包括：
将所述过滤后的特征信息非线性映射至所述目标描述信息所服从的概率分布中；
将所述概率分布中最大概率所对应的目标描述信息，确定为所述待识别目标对应所述属性的目标描述信息。
8.根据权利要求1所述的方法，其特征在于，所述对待识别图像进行局部特征提取处理之前，还包括：
对所述待识别图像进行划分处理，得到所述待识别图像的多个区域图像；
所述对待识别图像进行局部特征提取处理，得到所述待识别图像中待识别目标的局部特征信息，包括：
对每个所述区域图像进行局部特征提取处理，得到所述待识别目标在所述区域图像的局部特征信息；
所述基于所述待识别目标的局部特征信息进行预测处理，得到所述待识别目标的目标描述信息，包括：
通过预测网络、并结合所述待识别目标在每个所述区域图像中的局部特征信息进行预测处理，得到所述待识别目标对应每个所述区域图像的目标描述信息；
将所述待识别目标对应多个所述区域的目标描述信息进行聚合处理，得到所述待识别目标的目标描述信息。
9.根据权利要求8所述的方法，其特征在于，所述将所述待识别目标对应多个所述区域的目标描述信息进行聚合处理，得到所述待识别目标的目标描述信息，包括：
对所述待识别目标对应多个所述区域的目标描述信息进行组合处理，得到组合的目标描述信息；
对所述组合的目标描述信息进行去重处理，得到所述待识别目标的目标描述信息。
10.根据权利要求8所述的方法，其特征在于，所述将所述待识别目标对应多个所述区域的目标描述信息进行聚合处理，得到所述待识别目标的目标描述信息，包括：
根据所述目标描述信息所表征的所述待识别对象的演变程度，从待识别目标对应多个所述区域图像的目标描述信息中确定演变程度最高的目标描述信息，并
将所述表征演变程度最高的目标描述信息确定为所述待识别目标的目标描述信息。
11.根据权利要求1所述的方法，其特征在于，所述基于所述待识别目标的融合信息进行分类处理，得到所述待识别目标的演变状态级别，包括：
将所述待识别目标的融合信息映射至所述待识别目标的演变状态级别的概率分布；
将所述概率分布中最大概率所对应的演变状态级别，确定为所述待识别目标的演变状态级别。
12.根据权利要求1所述的方法，其特征在于，所述对待识别图像进行局部特征提取处理之前，还包括：
响应于针对待识别图像的分类请求，获取原始图像；
针对所述原始图像执行以下处理至少之一：
对所述原始图像中的各个像素点进行亮度归一化处理，将亮度归一化后的原始图像作为所述待识别图像；
对所述原始图像中的噪声进行平滑处理，将平滑后的原始图像作为所述待识别图像；
对所述原始图像中的待识别目标进行增强处理，将增强后的原始图像作为所述待识别图像。
13.一种图像处理装置，其特征在于，所述装置包括：
处理模块，用于对待识别图像进行局部特征提取处理，得到所述待识别图像中待识别目标的局部特征信息；基于所述待识别目标的局部特征信息进行预测处理，得到所述待识别目标的目标描述信息；
提取模块，用于对所述待识别图像进行全局特征提取处理，得到所述待识别目标的全局特征信息；
融合模块，用于将所述待识别图像中待识别目标的目标描述信息与所述待识别目标的全局特征信息进行融合处理，得到所述待识别目标的融合信息；
分类模块，用于基于所述待识别目标的融合信息进行分类处理，得到所述待识别目标的演变状态级别。
14.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至12任一项所述的图像处理方法。
15.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至12任一项所述的图像处理方法。
CN202010740234.5A 2020-07-28 2020-07-28 图像处理方法、装置、电子设备及存储介质 Active CN111753854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010740234.5A CN111753854B (zh) 2020-07-28 2020-07-28 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010740234.5A CN111753854B (zh) 2020-07-28 2020-07-28 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111753854A true CN111753854A (zh) 2020-10-09
CN111753854B CN111753854B (zh) 2023-12-22

Family

ID=72712158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010740234.5A Active CN111753854B (zh) 2020-07-28 2020-07-28 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111753854B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012626A (zh) * 2023-03-21 2023-04-25 腾讯科技（深圳）有限公司 建筑立面图像的素材匹配方法、装置、设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150071532A1 (en) * 2013-09-11 2015-03-12 Omron Corporation Image processing device, computer-readable recording medium, and image processing method
US20160259816A1 (en) * 2015-03-05 2016-09-08 Nant Holdings Ip, Llc Global signatures for large-scale image recognition
WO2016173453A1 (zh) * 2015-04-30 2016-11-03 腾讯科技（深圳）有限公司 活体鉴别方法、信息生成方法和终端
CN109726616A (zh) * 2017-10-30 2019-05-07 中电科海洋信息技术研究院有限公司 一种舰船检测与识别方法和装置
CN110348387A (zh) * 2019-07-12 2019-10-18 腾讯科技（深圳）有限公司 一种图像数据处理方法、装置以及计算机可读存储介质
WO2020114215A1 (zh) * 2018-12-07 2020-06-11 腾讯科技（深圳）有限公司 一种图像信息的处理方法、装置及存储介质
CN111339846A (zh) * 2020-02-12 2020-06-26 深圳市商汤科技有限公司 图像识别方法及装置、电子设备和存储介质
CN111368893A (zh) * 2020-02-27 2020-07-03 Oppo广东移动通信有限公司 图像识别方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150071532A1 (en) * 2013-09-11 2015-03-12 Omron Corporation Image processing device, computer-readable recording medium, and image processing method
US20160259816A1 (en) * 2015-03-05 2016-09-08 Nant Holdings Ip, Llc Global signatures for large-scale image recognition
WO2016173453A1 (zh) * 2015-04-30 2016-11-03 腾讯科技（深圳）有限公司 活体鉴别方法、信息生成方法和终端
CN109726616A (zh) * 2017-10-30 2019-05-07 中电科海洋信息技术研究院有限公司 一种舰船检测与识别方法和装置
WO2020114215A1 (zh) * 2018-12-07 2020-06-11 腾讯科技（深圳）有限公司 一种图像信息的处理方法、装置及存储介质
CN110348387A (zh) * 2019-07-12 2019-10-18 腾讯科技（深圳）有限公司 一种图像数据处理方法、装置以及计算机可读存储介质
CN111339846A (zh) * 2020-02-12 2020-06-26 深圳市商汤科技有限公司 图像识别方法及装置、电子设备和存储介质
CN111368893A (zh) * 2020-02-27 2020-07-03 Oppo广东移动通信有限公司 图像识别方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DONG, L，等: "Holons Visual Representation for Image Retrieval", IEEE TRANSACTIONS ON MULTIMEDIA, vol. 18, no. 4, pages 714 - 725, XP011603341, DOI: 10.1109/TMM.2016.2530399 *
林杰，等: "基于深度学习的图像识别处理", 网络安全技术与应用, no. 11, pages 65 - 67 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012626A (zh) * 2023-03-21 2023-04-25 腾讯科技（深圳）有限公司 建筑立面图像的素材匹配方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN111753854B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN110443813B (zh) 血管、眼底图像的分割方法、装置、设备及可读存储介质
CN110490850B (zh) 一种肿块区域检测方法、装置和医学图像处理设备
CN110188635B (zh) 一种基于注意力机制和多层次卷积特征的植物病虫害识别方法
CN110148120B (zh) 一种基于cnn与迁移学习的病害智能识别方法及系统
CN112990211B (zh) 一种神经网络的训练方法、图像处理方法以及装置
CN107229947A (zh) 一种基于动物识别的金融保险方法及系统
CN113724228B (zh) 舌色苔色识别方法、装置、计算机设备及存储介质
CN110321956B (zh) 一种基于人工智能的牧草病虫害治理方法及装置
CN109492547B (zh) 一种结节识别方法、装置和存储介质
CN112561937B (zh) 基于病变边界信息响应的上下文感知医学图像分割方法
CN111292839A (zh) 图像处理方法、装置、计算机设备和存储介质
CN111915584A (zh) 一种基于ct影像的病灶随访评估方法及系统
CN111597946A (zh) 图像生成器的处理方法、图像生成方法及装置
CN109886087A (zh) 一种基于神经网络的活体检测方法及终端设备
KR102506222B1 (ko) 비전 데이터 수집, 학습, 배포 및 추론 방법 및 시스템
CN111626969B (zh) 一种基于注意力机制的玉米病害图像处理方法
CN117975101A (zh) 基于舌象和文本信息融合的中医疾病分类方法及系统
CN116612386A (zh) 基于分级检测双任务模型的辣椒病虫害识别方法及系统
CN116129507A (zh) 一种面部表情识别方法及装置、电子设备、存储介质
CN113421228A (zh) 一种基于参数迁移的甲状腺结节识别模型训练方法及系统
CN111753854B (zh) 图像处理方法、装置、电子设备及存储介质
CN113724185B (zh) 用于图像分类的模型处理方法、装置及存储介质
CN118038428A (zh) 基于通道和空间协同注意的小目标害虫检测方法和系统
CN110647926B (zh) 医学影像流识别方法、装置、电子设备和存储介质
CN111783691A (zh) 基于畜类图像语义感知的养殖舍影像大数据采集分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030749

Country of ref document: HK

TA01 Transfer of patent application right

Effective date of registration: 20211009

Address after: 518052 Room 201, building a, No. 1, Qianwan 1st Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong

Applicant after: Tencent Medical Health (Shenzhen) Co.,Ltd.

Address before: 518000 35 / F, Tencent building, Keji Zhongyi Road, high tech Zone, Nanshan District, Shenzhen, Guangdong

Applicant before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant