CN109344840B - 图像处理方法和装置、电子设备、存储介质、程序产品 - Google Patents

图像处理方法和装置、电子设备、存储介质、程序产品 Download PDF

Info

Publication number
CN109344840B
CN109344840B CN201810893153.1A CN201810893153A CN109344840B CN 109344840 B CN109344840 B CN 109344840B CN 201810893153 A CN201810893153 A CN 201810893153A CN 109344840 B CN109344840 B CN 109344840B
Authority
CN
China
Prior art keywords
feature
vector
feature map
weight vector
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810893153.1A
Other languages
English (en)
Other versions
CN109344840A (zh
Inventor
赵恒爽
张熠
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201810893153.1A priority Critical patent/CN109344840B/zh
Publication of CN109344840A publication Critical patent/CN109344840A/zh
Priority to SG11202005737WA priority patent/SG11202005737WA/en
Priority to PCT/CN2019/093646 priority patent/WO2020029708A1/zh
Priority to JP2020554362A priority patent/JP7065199B2/ja
Priority to US16/905,478 priority patent/US20200356802A1/en
Application granted granted Critical
Publication of CN109344840B publication Critical patent/CN109344840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本申请实施例公开了一种图像处理方法和装置、电子设备、存储介质、程序产品，其中，方法包括：对待处理的图像进行特征提取以生成所述图像的特征图；确定所述特征图包括的多个特征点中每个特征点对应的特征权重；将所述特征权重对应的特征点的特征信息分别传输给所述特征图包括的多个其他特征点，获得特征增强后的特征图。基于本申请上述实施例，通过特征点之间的信息传输，使上下文信息能得到更好的使用，使特征图中包含更多信息。

Description

图像处理方法和装置、电子设备、存储介质、程序产品
技术领域
本申请涉及机器学习技术，尤其是一种图像处理方法和装置、电子设备、存储介质、程序产品。
背景技术
为了使计算机能够“理解”图像，从而具有真正意义上的“视觉”，需要从图像中提取有用的数据或信息，得到图像的“非图像”的表示或描述，如数值、向量和符号等。这一过程就是特征提取，而提取出来的这些“非图像”的表示或描述就是特征。有了这些数值或向量形式的特征就可以通过训练过程教会计算机如何懂得这些特征，从而使计算机具有识别图像的本领。
特征是某一类对象区别于其他类对象的相应(本质)特点或特性，或是这些特点和特性的集合。特征是通过测量或处理能够抽取的数据。对于图像而言，每一幅图像都具有能够区别于其他类图像的自身特征，有些是可以直观地感受到的自然特征，如亮度、边缘、纹理和色彩等；有些则是需要通过变换或处理才能得到的，如直方图、主成份等。
发明内容
本申请实施例提供了一种图像处理技术。
根据本申请实施例的一个方面，提供了一种图像处理方法，包括：
对待处理的图像进行特征提取以生成所述图像的特征图；
确定所述特征图包括的多个特征点中每个特征点对应的特征权重；
将所述特征权重对应的特征点的特征信息分别传输给所述特征图包括的多个其他特征点，获得特征增强后的特征图。
可选地，所述方法还包括：基于所述特征增强后的特征图进行所述图像的场景分析处理或物体分割处理。
可选地，所述方法还包括：根据场景分析处理结果或物体分割处理结果，进行机器人导航控制或车辆智能驾驶控制。
可选地，所述特征图包括的特征点的特征权重包括向内接收权重和向外发送权重；所述向内接收权重表示特征点接收所述特征图包括的其他特征点的特征信息时的权重；所述向外发送权重表示特征点将特征信息向所述特征图包括的其他特征点传输时的权重。
可选地，所述确定特征图包括的多个特征点中每个特征点对应的特征权重，包括：
对所述特征图进行第一分支处理，获得包括的多个特征点中每个特征点的向内接收权重的第一权重向量；
对所述特征图进行第二分支处理，获得包括的多个特征点中每个特征点的向外发送权重的第二权重向量。
可选地，所述对所述特征图进行第一分支处理，获得包括的多个特征点中每个特征点的向内接收权重的第一权重向量，包括：
通过神经网络对所述特征图进行处理，获得第一中间权重向量；
去除所述第一中间权重向量中的无效信息，获得所述第一权重向量，所述无效信息表示所述第一中间权重向量中对特征传输没有影响或影响程度小于设定条件的信息。
可选地，所述通过所述神经网络对所述特征图进行处理，获得所述第一中间权重向量，包括：
将所述特征图中每个所述特征点分别作为第一输入点，将所述第一输入点周围所有位置作为所述第一输入点对应的第一输出点，所述周围所有位置包括所述特征图中的多个特征点和所述第一输入点在空间位置上的多个相邻位置；
获得所述特征图中第一输入点与所述第一输入点对应的所有第一输出点之间的第一传递比例向量；
基于所述第一传递比例向量获得所述第一中间权重向量。
可选地，所述去除所述第一中间权重向量中的无效信息，获得所述第一权重向量，包括：
从所述第一中间权重向量中识别到所述第一输出点包括的信息为空的第一传递比例向量；
在所述第一中间权重向量中去除所述第一输出点包括的信息为空的第一传递比例向量，获得所述特征图的所有所述向内接收权重；
基于所有所述向内接收权重确定所述第一权重向量。
可选地，所述基于所有所述向内接收权重确定所述第一权重向量，包括：
将所述向内接收权重按照对应的所述第一输出点的位置排列，获得所述第一权重向量。
可选地，所述通过卷积网络对所述特征图进行处理，获得第一中间权重向量之前，还包括：
通过卷积层对所述特征图进行降维处理，获得第一中间特征图；
所述通过神经网络对所述特征图进行处理，获得第一中间权重向量，包括：
通过所述神经网络对所述降维后的第一中间特征图进行处理，获得所述第一中间权重向量。
可选地，所述对所述特征图进行第二分支处理，获得包括的多个特征点中每个所述特征点的向外发送权重的第二权重向量，包括：
通过神经网络对所述特征图进行处理，获得第二中间权重向量；
去除所述第二中间权重向量中的无效信息，获得所述第二权重向量，所述无效信息表示所述第二中间权重向量中对特征传输没有影响或影响程度小于设定条件的信息。
可选地，所述通过所述神经网络对所述特征图进行处理，获得所述第二中间权重向量，包括：
将所述特征图中每个第二特征点分别作为第二输出点，将所述第二输入点周围所有位置作为所述第二输入点对应的第二输入点，所述周围所有位置包括所述特征图中的多个特征点和所述第二输出点在空间位置上的多个相邻位置；
获得所述特征图中第二输出点与所述第二输出点对应的所有第二输入点之间的第二传递比例向量；
基于所述第二传递比例向量获得所述第二中间权重向量。
可选地，所述去除所述第二中间权重向量中的无效信息，获得所述第二权重向量，包括：
从所述第二中间权重向量中识别到所述第二输出点包括的信息为空的第二传递比例向量；
在所述第二中间权重向量中去除所述第二输出点包括的信息为空的第二传递比例向量，获得所述特征图的所有所述向外发送权重；
基于所有所述向外发送权重确定所述第二权重向量。
可选地，所述基于所有所述向外发送权重确定所述第二权重向量，包括：
将所述向外发送权重按照对应的所述第二输入点的位置排列，获得所述第二权重向量。
可选地，所述通过卷积网络对所述特征图进行处理，获得第二中间权重向量之前，还包括：
通过卷积层对所述特征图进行降维处理，获得第二中间特征图；
所述通过神经网络对所述特征图进行处理，获得第二中间权重向量，包括：
通过所述神经网络对所述降维后的第二中间特征图进行处理，获得所述第二中间权重向量。
可选地，所述将所述特征权重对应的特征点的特征信息分别传输给所述特征图包括的多个其他特征点，获得特征增强后的特征图，包括：
基于所述第一权重向量和所述特征图获得第一特征向量；基于所述第二权重向量和所述特征图获得第二特征向量；
基于所述第一特征向量、所述第二特征向量和所述特征图获得特征增强后的特征图。
可选地，所述基于所述第一权重向量和所述特征图获得第一特征向量；基于所述第二权重向量和所述特征图获得第二特征向量，包括：
将所述第一权重向量与所述特征图或所述特征图经过降维处理后的第一中间特征图进行矩阵乘法处理，获得所述第一特征向量；
将所述第二权重向量与所述特征图或所述特征图经过降维处理后的第二中间特征图进行矩阵乘法处理，获得所述第二特征向量。
可选地，所述基于所述第一特征向量、所述第二特征向量和所述特征图获得特征增强后的特征图，包括：
将所述第一特征向量和所述第二特征向量在通道维度进行拼接，获得拼接特征向量；
将所述拼接特征向量与所述特征图在通道维度进行拼接，获得所述特征增强后的特征图。
可选地，所述将所述拼接特征向量与所述特征图在通道维度进行拼接，获得所述特征增强后的特征图之前，还包括：
对所述拼接特征向量进行特征投影处理，获得处理后的拼接特征向量；
所述将所述拼接特征向量与所述特征图在通道维度进行拼接，获得所述特征增强后的特征图，包括：
将所述处理后的拼接特征向量与所述特征图在通道维度进行拼接，获得所述特征增强后的特征图。
可选地，所述方法利用特征提取网络和特征增强网络实现；
所述对待处理的图像进行特征提取以生成所述图像的特征图之前，还包括：
利用样本图像训练所述特征增强网络，或者，利用样本图像训练所述特征提取网络和所述特征增强网络；所述样本图像具有标注处理结果，所述标注处理结果包括标注场景分析结果或标注物体分割结果。
可选地，所述利用样本图像训练所述特征增强网络，包括：
将所述样本图像输入所述特征提取网络和所述特征增强网络，获得预测处理结果；
基于所述预测处理结果和所述标注处理结果，训练所述特征增强网络。
可选地，所述利用样本图像训练所述特征提取网络和所述特征增强网络，包括：
将所述样本图像输入所述特征提取网络和所述特征增强网络，获得预测处理结果；
基于所述预测处理结果和所述标注处理结果获得主要损失；
基于所述主要损失训练所述特征提取网络和所述特征增强网络。
可选地，还包括：
基于所述特征提取网络中的一个中间层输出的特征图，确定中间预测处理结果；
基于所述中间预测处理结果和所述标注处理结果获得辅助损失；
基于所述辅助损失调整所述特征提取网络的参数。
根据本申请实施例的另一个方面，提供了一种图像处理装置，包括：
特征提取单元，用于对待处理的图像进行特征提取以生成所述图像的特征图；
权重确定单元，用于确定所述特征图包括的多个特征点中每个特征点对应的特征权重；
特征增强单元，用于将所述特征权重对应的特征点的特征信息分别传输给所述特征图包括的多个其他特征点，获得特征增强后的特征图。
可选地，所述装置还包括：
图像处理单元，用于基于所述特征增强后的特征图进行所述图像的场景分析处理或物体分割处理。
可选地，所述装置还包括：
结果应用单元，用于根据场景分析处理结果或物体分割处理结果，进行机器人导航控制或车辆智能驾驶控制。
可选地，所述特征图包括的特征点的特征权重包括向内接收权重和向外发送权重；所述向内接收权重表示特征点接收所述特征图包括的其他特征点的特征信息时的权重；所述向外发送权重表示特征点将特征信息向所述特征图包括的其他特征点传输时的权重。
可选地，所述权重确定单元，包括：
第一权重模块，用于对所述特征图进行第一分支处理，获得包括的多个特征点中每个特征点的向内接收权重的第一权重向量；
第二权重模块，用于对所述特征图进行第二分支处理，获得包括的多个特征点中每个特征点的向外发送权重的第二权重向量。
可选地，所述第一权重模块，包括：
第一中间向量模块，用于通过神经网络对所述特征图进行处理，获得第一中间权重向量；
第一信息去除模块，用于去除所述第一中间权重向量中的无效信息，获得所述第一权重向量，所述无效信息表示所述第一中间权重向量中对特征传输没有影响或影响程度小于设定条件的信息。
可选地，所述第一中间向量模块，具体用于将所述特征图中每个所述特征点分别作为第一输入点，将所述第一输入点周围所有位置作为所述第一输入点对应的第一输出点，所述周围所有位置包括所述特征图中的多个特征点和所述第一输入点在空间位置上的多个相邻位置；获得所述特征图中第一输入点与所述第一输入点对应的所有第一输出点之间的第一传递比例向量；基于所述第一传递比例向量获得所述第一中间权重向量。
可选地，所述第一信息去除模块，具体用于从所述第一中间权重向量中识别到所述第一输出点包括的信息为空的第一传递比例向量；在所述第一中间权重向量中去除所述第一输出点包括的信息为空的第一传递比例向量，获得所述特征图的所有所述向内接收权重；基于所有所述向内接收权重确定所述第一权重向量。
可选地，所述第一信息去除模块在基于所有所述向内接收权重确定所述第一权重向量时，用于将所述向内接收权重按照对应的所述第一输出点的位置排列，获得所述第一权重向量。
可选地，所述第一权重模块还包括：
第一降维模块，用于通过卷积层对所述特征图进行降维处理，获得第一中间特征图；
所述第一中间向量模块，具体用于通过所述神经网络对所述降维后的第一中间特征图进行处理，获得所述第一中间权重向量。
可选地，所述第二权重模块，包括：
第二中间向量模块，用于通过神经网络对所述特征图进行处理，获得第二中间权重向量；
第二信息去除模块，用于去除所述第二中间权重向量中的无效信息，获得所述第二权重向量，所述无效信息表示所述第二中间权重向量中对特征传输没有影响或影响程度小于设定条件的信息。
可选地，所述第二中间向量模块，具体用于将所述特征图中每个第二特征点分别作为第二输出点，将所述第二输入点周围所有位置作为所述第二输入点对应的第二输入点，所述周围所有位置包括所述特征图中的多个特征点和所述第二输出点在空间位置上的多个相邻位置；获得所述特征图中第二输出点与所述第二输出点对应的所有第二输入点之间的第二传递比例向量；基于所述第二传递比例向量获得所述第二中间权重向量。
可选地，所述第二信息去除模块，具体用于从所述第二中间权重向量中识别到所述第二输出点包括的信息为空的第二传递比例向量；在所述第二中间权重向量中去除所述第二输出点包括的信息为空的第二传递比例向量，获得所述特征图的所有所述向外发送权重；基于所有所述向外发送权重确定所述第二权重向量。
可选地，所述第二信息去除模块在基于所有所述向外发送权重确定所述第二权重向量时，用于将所述向外发送权重按照对应的所述第二输入点的位置排列，获得所述第二权重向量。
可选地，所述第二权重模块还包括：
第二降维模块，用于通过卷积层对所述特征图进行降维处理，获得第二中间特征图；
所述第二中间向量模块，具体用于通过所述神经网络对所述降维后的第二中间特征图进行处理，获得所述第二中间权重向量。
可选地，所述特征增强单元，包括：
特征向量模块，用于基于所述第一权重向量和所述特征图获得第一特征向量；基于所述第二权重向量和所述特征图获得第二特征向量；
增强特征图模块，用于基于所述第一特征向量、所述第二特征向量和所述特征图获得特征增强后的特征图。
可选地，所述特征向量模块，具体用于将所述第一权重向量与所述特征图或所述特征图经过降维处理后的第一中间特征图进行矩阵乘法处理，获得所述第一特征向量；将所述第二权重向量与所述特征图或所述特征图经过降维处理后的第二中间特征图进行矩阵乘法处理，获得所述第二特征向量。
可选地，所述增强特征图模块，具体用于将所述第一特征向量和所述第二特征向量在通道维度进行拼接，获得拼接特征向量；将所述拼接特征向量与所述特征图在通道维度进行拼接，获得所述特征增强后的特征图。
可选地，所述特征增强单元还包括：
特征投影模块，用于对所述拼接特征向量进行特征投影处理，获得处理后的拼接特征向量；
所述增强特征图模块，用于将所述处理后的拼接特征向量与所述特征图在通道维度进行拼接，获得所述特征增强后的特征图。
可选地，所述装置利用特征提取网络和特征增强网络实现；
所述装置还包括：
训练单元，用于利用样本图像训练所述特征增强网络，或者，利用样本图像训练所述特征提取网络和所述特征增强网络；所述样本图像具有标注处理结果，所述标注处理结果包括标注场景分析结果或标注物体分割结果。
可选地，具体用于将所述样本图像输入所述特征提取网络和所述特征增强网络，获得预测处理结果；基于所述预测处理结果和所述标注处理结果，训练所述特征增强网络。
可选地，所述训练单元，具体用于将所述样本图像输入所述特征提取网络和所述特征增强网络，获得预测处理结果；基于所述预测处理结果和所述标注处理结果获得主要损失；基于所述主要损失训练所述特征提取网络和所述特征增强网络。
可选地，所述训练单元，还用于基于所述特征提取网络中的一个中间层输出的特征图，确定中间预测处理结果；基于所述中间预测处理结果和所述标注处理结果获得辅助损失；基于所述辅助损失调整所述特征提取网络的参数。
根据本申请实施例的另一个方面，提供了一种电子设备，其特征在于，包括处理器，所述处理器包括如上任意一项所述的图像处理装置。
根据本申请实施例的另一个方面，提供了一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上任意一项所述图像处理方法的操作。
根据本申请实施例的另一个方面，提供了一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行如上任意一项所述图像处理方法的操作。
根据本申请实施例的另一个方面，提供了一种计算机程序产品，包括计算机可读代码，其特征在于，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现如上任意一项所述图像处理方法的指令。
基于本申请上述实施例提供的一种图像处理方法和装置、电子设备、存储介质、程序产品，对待处理的图像进行特征提取以生成图像的特征图；确定特征图包括的多个特征点中每个特征点对应的特征权重；将特征权重对应的特征点的特征信息分别传输给特征图包括的多个其他特征点，获得特征增强后的特征图；通过特征点之间的信息传输，使上下文信息能得到更好的使用，使特征增强后的特征图中包含更多信息。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请图像处理方法一个实施例的流程图。
图2为本申请图像处理方法一个可选示例中特征点之间传递信息的示意图。
图3为本申请图像处理方法另一个实施例的网络结构示意图。
图4-a为本申请图像处理方法另一个实施例中信息收集分支的权重向量的获取示意图。
图4-b为本申请图像处理方法另一个实施例中信息分发分支的权重向量的获取示意图。
图5为本申请图像处理方法中网络训练的一个示例性结构示意图。
图6为本申请图像处理方法中网络训练的另一个示例性结构示意图。
图7为本申请图像处理装置一个实施例的结构示意图。
图8为适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1为本申请图像处理方法一个实施例的流程图。如图1所示，该实施例方法包括：
步骤110，对待处理的图像进行特征提取以生成图像的特征图。
本实施例中的图像可以为未经过特征提取处理的图像，或者，可以为经过一次或多次特征提取得到的特征图等等，本申请不限制待处理的图像的具体形式。
步骤120，确定特征图包括的多个特征点中每个特征点对应的特征权重。
本实施例中的多个特征点可以是特征图中的全部特征点或部分特征点；为了实现特征点之间的信息传递，需要确定传递概率，即将一个特征点的信息全部或部分传递给其他特征点，而传递的比例由特征权重确定。
在一个或多个可选的实施例中，图2为本申请图像处理方法一个可选示例中特征点之间传递信息的示意图。其中，如图2-a所示：特征点之间仅具有单向传递，实现信息的收集(collect)，以中间的特征点为例，接收周围所有特征点向该特征点传递的特征信息；如图2-b所示，特征点之间仅具有单向传递，实现信息的分发(distribute)，以中间的特征点为例，将传递该特征点的特征信息向外传递到所有特征点；如图2-c所示，进行双向传递，即每个特征点不仅向外传递信息还接收所有特征点传递的信息，实现信息的双向传输(bi-direction)，此时，特征权重包括向内接收权重和向外发送权重，将该向外传递信息的向内接收权重与该特征信息的乘积传递到所有特征点的同时，接收该向外发送权重与所有特征信息的乘积传递到该特征点。
步骤130，将特征权重对应的特征点的特征信息分别传输给特征图包括的多个其他特征点，获得特征增强后的特征图。
其中，其他特征点是指特征图中除了该对应的特征点之外的特征点。
每个特征点拥有各自的信息传递，用逐点的空间注意力机制(特征权重)表示，这些信息传递可以通过神经网络进行学习，具有很强的自适应能力。且在学习不同点之间的信息传递时，将特征点与特征点之间的相对位置关系考虑在内。
基于本申请上述实施例提供的一种图像处理方法，对待处理的图像进行特征提取以生成图像的特征图；确定特征图包括的多个特征点中每个特征点对应的特征权重；将特征权重对应的特征点的特征信息分别传输给特征图包括的多个其他特征点，获得特征增强后的特征图；通过特征点之间的信息传输，使上下文信息能得到更好的使用，使特征增强后的特征图中包含更多信息。
在一个或多个可选的实施例中，本实施例方法还可以包括：基于特征增强后的特征图进行图像的场景分析处理或物体分割处理。
本实施例中，每个特征点既能搜集其他点的信息帮助当前点的预测，同时也能分发当前点的信息帮助其他点的预测；本方案设计的逐点空间权重方案是自适应的学习调整且和位置关系有关，通过特征增强后的特征图，能更好地利用复杂场景的上下文信息来帮助场景解析或物体分割处理。
在一个或多个可选的实施例中，本实施例方法还可以包括：根据场景分析处理结果或物体分割处理结果，进行机器人导航控制或车辆智能驾驶控制。
通过利用复杂场景的上下文信息进行场景分析处理或物体分割处理，得到的场景分析处理结果或物体分割处理结果更准确，更接近人眼处理结果，应用到机器人导航控制或车辆智能驾驶控制中时，能达到接近人工控制的结果。
在一个或多个可选的实施例中，特征图包括的特征点的特征权重包括向内接收权重和向外发送权重。
向内接收权重表示特征点接收特征图包括的其他特征点的特征信息时的权重；向外发送权重表示特征点将特征信息向特征图包括的其他特征点传输时的权重。
通过向内接收权重和向外发送权重实现了特征点中信息的双向传播，每个特征点既能搜集其他点的信息帮助当前点的预测，同时也能分发当前点的信息帮助其他点的预测。
可选地，步骤120可以包括：
对特征图进行第一分支处理，获得包括的多个特征点中每个特征点的向内接收权重的第一权重向量；
对特征图进行第二分支处理，获得包括的多个特征点中每个特征点的向外发送权重的第二权重向量。
由于特征图中包括多个特征点，每个特征点分别对应至少一个向内接收权重和向外发送权重，通过两个分支分别对特征图的进行处理，可获得特征图对应的包括的多特征点中每个特征点的向内接收权重的第一权重向量，和包括是多个特征点中每个特征点的向外发送权重的第二权重向量；通过分别获得两个权重向量，提高了处理效率，实现更快的信息传递。
在一个或多个可选的实施例中，对特征图进行第一分支处理，获得包括多个特征点中每个特征点的向内接收权重的第一权重向量，包括：
通过神经网络对特征图进行处理，获得第一中间权重向量；
去除第一中间权重向量中的无效信息，获得第一权重向量。
其中，无效信息表示第一中间权重向量中对特征传输没有影响或影响程度小于设定条件的信息。
本实施例中，为了获得每个特征点对应的全面的权重信息，需要获得该特征点的周围所有位置向该特征点传输信息的权重，但由于特征图中包括一些边缘的特征点，这些特征点的周围只有部分位置具有特征点，因此，通过神经网络的处理得到的第一中间权重向量中包括很多无意义的无效信息，这些无效信息由于仅具有一个传输端(特征点)，因此，是否传输这些信息对于特征传输没有影响或影响程度小于设定条件；将这些无效信息去除即可获得第一权重向量，该第一权重向量在保证信息全面的同时不包括无用信息，提高了信息传递的效率。
可选地，通过神经网络对特征图进行处理，获得第一中间权重向量，包括：
将特征图中每个特征点分别作为第一输入点，将第一输入点周围所有位置作为第一输入点对应的第一输出点；
获得特征图中第一输入点与第一输入点对应的所有第一输出点之间的第一传递比例向量；
基于第一传递比例向量获得第一中间权重向量。
本实施例通过将特征图中的每个特征点作为输入点，为了获得更全面的特征信息传输路径，将该输入点周围的所有位置作为输出点，周围所有位置包括特征图中的多个特征点和第一输入点在空间位置上的多个相邻位置，多个特征点可以是特征图中的全部或部分特征点，例如：包括特征图中的所有特征点和输入点在空间位置上的8个相邻位置，这8个相邻位置基于将输入点作为中心的3×3的立方体确定，其中，特征点和8个相邻位置存在重合，重合的位置作为一个输出点，此时，会产生获得对应该输入点的所有第一传递比例向量，通过传递比例向量将输出点的信息按传递比例传输给输入点；通过本实施例可获得每两个特征点之间传递信息的传递比例。
可选地，当在获得第一中间权重向量之前对特征图进行了降维处理，获得特征图对应的第一中间特征图时，通过神经网络对降维后的第一中间特征图进行处理，获得第一中间权重向量，包括：
将第一中间特征图中每个第一中间特征点分别作为第一输入点，将第一输入点周围所有位置作为第一输入点对应的第一输出点；
获得第一中间特征图中第一输入点与第一输入点对应的所有第一输出点之间的第一传递比例向量；
基于第一传递比例向量获得第一中间权重向量。
本实施例通过将降维后的第一中间特征图中的每个第一中间特征点作为输入点，将该输入点周围的所有位置作为输出点，其中，周围所有位置包括第一中间特征图中的多个特征点和第一输入点在空间位置上的多个相邻位置，多个特征点可以是第一中间特征图中的全部或部分第一中间特征点，例如：包括第一中间特征图中的所有第一中间特征点和输入点在空间位置上的8个相邻位置，这8个相邻位置基于将输入点作为中心的3×3的立方体确定，其中，特征点和8个相邻位置存在重合，重合的位置作为一个输出点；此时，会产生获得对应该输入点的所有第一传递比例向量，通过传递比例向量将输出点的信息按传递比例传输给输入点；通过本实施例可获得每两个第一中间特征点之间传递信息的传递比例。
可选地，去除第一中间权重向量中的无效信息，获得第一权重向量，包括：
从第一中间权重向量中识别到第一输出点包括的信息为空的第一传递比例向量；
在第一中间权重向量中去除第一输出点包括的信息为空的第一传递比例向量，获得特征图的所有向内接收权重；
基于所有向内接收权重确定第一权重向量。
本实施例中，是以每个特征点作为第一输入点，因此，当该第一输入点周围位置没有特征点时，该位置的第一传递比例向量是无用的，即：零乘以任何数值都为零，与未传递信息是一样的，通过本实施例将这些无用的第一传递比例向量去除后得到所有向内接收权重，确定第一权重向量。本实施例使用了先学习大的中间权重向量然后进行选择性选取的操作，来达到考虑特征信息的相对位置信息。
可选地，基于所有向内接收权重确定第一权重向量，包括：
将向内接收权重按照对应的第一输出点的位置排列，获得第一权重向量。
为了将向内接收权重与其对应的特征点的位置相匹配，本实施例将针对每个特征点获得的向内接收权重根据其对应的第一输出点的位置进行排列，以便后续信息传递。
可选地，通过卷积网络对特征图进行处理，获得第一中间权重向量之前，还包括：
通过卷积层对特征图进行降维处理，获得第一中间特征图；
通过神经网络对特征图进行处理，获得第一中间权重向量，包括：
通过神经网络对降维后的第一中间特征图进行处理，获得第一中间权重向量。
为了提高处理速度，在对特征图进行处理之前，还可以对特征图进行降维处理，通过减少通道数来减少计算量。
在一个或多个可选的实施例中，对特征图进行第二分支处理，获得包括的多个特征点中每个特征点的向外发送权重的第二权重向量，包括：
通过神经网络对特征图进行处理，获得第二中间权重向量；
去除第二中间权重向量中的无效信息，获得第二权重向量。
其中，无效信息表示第二中间权重向量中对特征传输没有影响或影响程度小于设定条件的信息。
本实施例中，为了获得每个特征点对应的全面的权重信息，需要获得该特征点向周围所有位置传输信息的权重，但由于特征图中包括一些边缘的特征点，这些特征点的周围只有部分位置具有特征点，因此，通过神经网络的处理得到的第二中间权重向量中包括很多无意义的无效信息，这些无效信息由于仅具有一个传输端(特征点)，因此，是否传输这些信息对于特征传输没有影响或影响程度小于设定条件；将这些无效信息去除即可获得第二权重向量，该第二权重向量在保证信息全面的同时不包括无用信息，提高了信息传递的效率。
可选地，通过神经网络对特征图进行处理，获得第二中间权重向量，包括：
将特征图中每个特征点分别作为第二输出点，将第二输入点周围所有位置作为第二输入点对应的第二输入点；
获得特征图中第二输出点与第二输出点对应的所有第二输入点之间的第二传递比例向量；
基于第二传递比例向量获得第二中间权重向量。
本实施例通过将特征图中的每个特征点作为输出点，为了获得更全面的特征信息传输路径，将该输出点周围的所有位置作为输入点，周围所有位置包括特征图中的多个特征点和第二输出点在空间位置上的多个相邻位置，多个特征点可以是特征图中的全部或部分特征点，例如：包括特征图中的所有特征点和输出点在空间位置上的8个相邻位置，这8个相邻位置基于将输入点作为中心的3×3的立方体确定，其中，特征点和8个相邻位置存在重合，重合的位置作为一个输入点，此时，会产生获得对应该第二输出点的所有第一传递比例向量，通过传递比例向量将输入点的信息按传递比例传输给输出点；通过本实施例可获得每两个特征点之间传递信息的传递比例。
可选地，通过神经网络对降维后的第二中间特征图进行处理，获得第二中间权重向量，包括：
将第二中间特征图中每个第二中间特征点分别作为第二输出点，将第二输入点周围所有位置的第二中间特征点作为第二输入点对应的第二输入点；
获得第二中间特征图中第二输出点与第二输出点对应的所有第二输入点之间的第二传递比例向量；
基于第二传递比例向量获得第二中间权重向量。
本实施例通过将降维后的第二中间特征图中的每个第二中间特征点作为输出点，周围所有位置包括第二中间特征图中的多个第二中间特征点和第二输入点在空间位置上的多个相邻位置，将该输出点周围的所有位置作为输入点，此时，会产生获得对应该输出点的所有第二传递比例向量，通过传递比例向量将输出点的信息按传递比例传输给输入点；通过本实施例可获得每两个第二中间特征点之间传递信息的传递比例。
可选地，去除第二中间权重向量中的无效信息，获得第二权重向量，包括：
从第二中间权重向量中识别到第二输出点包括的信息为空的第二传递比例向量；
在第二中间权重向量中去除第二输出点包括的信息为空的第二传递比例向量，获得特征图的所有向外发送权重；
基于所有向外发送权重确定第二权重向量。
本实施例中，是以每个特征点作为第二输出点，因此，当该第二输出点周围位置没有特征点时，该位置的第二传递比例向量是无用的，即：零乘以任何数值都为零，与未传递信息是一样的，通过本实施例将这些无用的第二传递比例向量去除后得到所有向内接收权重，确定第二权重向量。本实施例使用了先学习大的中间权重向量然后进行选择性选取的操作，来达到考虑特征信息的相对位置信息。
可选地，基于所有向外发送权重确定第二权重向量，包括：
将向外发送权重按照对应的第二输入点的位置排列，获得第二权重向量。
为了将向外发送权重与其对应的特征点的位置相匹配，本实施例将针对每个特征点获得的向外发送权重根据其对应的第二输出点的位置进行排列，以便后续信息传递。
可选地，通过卷积网络对特征图进行处理，获得第二中间权重向量之前，还包括：
通过卷积层对特征图进行降维处理，获得第二中间特征图；
通过神经网络对特征图进行处理，获得第二中间权重向量，包括：
通过神经网络对降维后的第二中间特征图进行处理，获得第二中间权重向量。
为了提高处理速度，在对特征图进行处理之前，还可以对特征图进行降维处理，通过减少通道数来减少计算量。对于同一特征图可通过同一神经网络进行降维，可选地，特征图降维后的第一中间特征图和第二中间特征图可以相同或不同。
在一个或多个可选的实施例中，步骤130可以包括：
基于第一权重向量和特征图获得第一特征向量；基于第二权重向量和特征图获得第二特征向量；
基于第一特征向量、第二特征向量和特征图获得特征增强后的特征图。
本实施例中，通过第一权重向量和特征图获得了特征图中所有特征点接收的特征信息，通过第二权重向量和特征图获得了特征图中所有特征点向外发送的特征信息，即获得双向传输的特征信息，基于双向传输的特征信息和原始特征图即可获得包括更多信息的增强后的特征图。
可选地，基于第一权重向量和特征图获得第一特征向量；基于第二权重向量和特征图获得第二特征向量，包括：
将第一权重向量与特征图经过降维处理后的第一中间特征图进行矩阵乘法处理，获得第一特征向量；
将第二权重向量与特征图经过降维处理后的第二中间特征图进行矩阵乘法处理，获得第二特征向量。
或者，将第一权重向量与特征图进行矩阵乘法处理，获得第一特征向量；
将第二权重向量与特征图进行矩阵乘法处理，获得第二特征向量。
本实施例中，通过去除无效信息，获得的第一权重向量与降维后的第一中间特征图满足矩阵乘法的要求，此时通过矩阵乘法将第一中间特征图中的每个特征点与该特征点对应的权重相乘，进而实现按照权重向每个特征点传输特征信息；而第二特征向量实现从每个特征点向外按照对应权重传输特征信息。
当权重向量与特征图进行矩阵乘法处理时，需要第一权重向量和第二权重向量与特征图之间满足矩阵乘法的要求，此时通过矩阵乘法将特征图中的每个特征点与该特征点对应的权重相乘，进而实现按照权重向每个特征点传输特征信息；而第二特征向量实现从每个特征点向外按照对应权重传输特征信息。
可选地，基于第一特征向量、第二特征向量和特征图获得特征增强后的特征图，包括：
将第一特征向量和第二特征向量在通道维度进行拼接，获得拼接特征向量；
将拼接特征向量与特征图在通道维度进行拼接，获得特征增强后的特征图。
通过拼接将第一特征向量和第二特征向量综合，获得双向传递的信息，再将双向传递的信息与特征图拼接，即可获得特征增强后的特征图，该特征增强后的特征图中不仅包括原特征图中每个特征点的特征信息，还包括每两个特征点之间双向传递的特征信息。
可选地，将拼接特征向量与特征图在通道维度进行拼接，获得特征增强后的特征图之前，还包括：
对拼接特征向量进行特征投影处理，获得处理后的拼接特征向量；
将拼接特征向量与特征图在通道维度进行拼接，获得特征增强后的特征图，包括：
将处理后的拼接特征向量与特征图在通道维度进行拼接，获得特征增强后的特征图。
可选地，用一个神经网络进行处理(例如：一个卷积层和非线性激活层的级联)实现特征投影，通过特征投影将拼接特征向量与特征图在除了通道的其他维度上统一，可实现在维度通道上的拼接。
图3为本申请图像处理方法另一个实施例的网络结构示意图。如图3所示，对于输入的图像特征，整体分为上下两支，一支是信息收集流，负责信息收集，另一只是信息分发流，负责信息分发。1)在每一支中，会先进行通道数减少的卷积操作，通过特征降维(reduction)主要为了节省计算量。
2)降维特征图经过一个小型神经网络(通常是一些卷积层和非线性激活层的级联，这些属于卷积神经网络的基础模块)预测(adaption)出特征权重，得到2倍大小的特征权重(例如：如果特征图大小为H×W(高H，宽W)，那么每个点预测得到的特征权重数量为(2H-1)×(2W-1)，从而保证在考虑相对位置关系的情况下每个点都可以和全图所有点进行信息传播)。
3)对特征权重使用收集或分发(每个点预测的(2H-1)×(2W-1)的权重中只有H*W个有效，其他的无效)的方式得到和输入特征一样大小紧实的有效权重，将其中的有效权重提取出来进行重新排列，得到紧凑的权重矩阵。
4)将得到的权重矩阵和前面维度降低后的特征做矩阵乘积，来做信息传递。
5)将上下两个分支得到的特征先拼接再做特征投影(feature projection，例如：用一个神经网络对得到的特征进行处理(最简便可以用一个卷积层和非线性激活层的级联))处理，得到全局特征。
6)将得到的全局特征和最初始的输入特征拼接得到最后的输出特征表达；其中拼接可以是特征维度进行拼接。当然这里是做原始输入和新的全局特征的融合，拼接只是最简单的一种方式。也可以使用相加或者其他的融合方式。这个特征既包括了原始特征中的语义信息，还包括全局特征对应的全局上下文信息。
获得的特征增强后的这个特征可以用来做场景解析，例如：直接输入到一个用小的卷积神经网络实现的分类器中对每个点进行分类。
图4-a为本申请图像处理方法另一个实施例中信息收集分支的权重向量的获取示意图。如图4-a所示，对于生成的大的特征权重，在信息收集(collect)分支中，非紧凑权重特征对齐的中心点为目标特征点i，每个特征点预测的(2H-1)×(2W-1)的非紧凑特征权重可以展开为一个覆盖全图半透明矩形，矩形中心与该点对齐。这一步保证了可以在预测特征权重时候准确考虑特征点与特征点之间的相对位置关系，图4-b为本申请图像处理方法另一个实施例中信息分发分支的权重向量的获取示意图。如图4-b所示，而对于信息分发(distribute)的分支，对齐的中心点为信息出发点j。每个点预测的(2H-1)×(2W-1)的非紧凑特征权重可以展开为一个覆盖全图半透明矩形，该半透明矩形即为该掩码。重叠区域用虚线框示意，即为有效的权重特征。
在一个或多个可选的实施例中，本实施例方法利用特征提取网络和特征增强网络实现；
本实施例方法还可以包括：
利用样本图像训练特征增强网络，或者，利用样本图像训练特征提取网络和特征增强网络。
其中，样本图像具有标注处理结果，标注处理结果包括标注场景分析结果或标注物体分割结果。
为了更好的实现图像任务的处理，需要在网络预测之前，对网络进行训练，本实施中涉及的特征提取网络可以是预先训练好的，或未进行训练的，当特征提取网络是预先训练好的，可以选择仅训练特征增强网络，或同时训练特征提取网络和特征增强网络；当特征提取网络未经过训练，将利用样本图像训练特征提取网络和特征增强网络。
可选地，利用样本图像训练特征增强网络，包括：
将样本图像输入特征提取网络和特征增强网络，获得预测处理结果；
基于预测处理结果和标注处理结果，训练特征增强网络。
此时，将特征增强网络连接到训练后的特征提取网络之后，基于获得的预测处理结果对特征增强网络进行训练。例如：将提出的逐点的空间权重模块(PSA，Point-wiseSpatial Attention，对应上述实施例提供的特征增强网络)嵌入到场景解析的框架中，图5为本申请图像处理方法中网络训练的一个示例性结构示意图。如图5所示，输入图像经过已有的场景解析模型(scene parsing model)，将输出的特征图送入PSA模块结构进行信息聚合(information aggregation)，得到最终的特征输入分类器做场景解析，基于预测的场景解析结果与标注处理结果获得主要损失函数(main loss)，基于主要损失训练特征增强网络。
可选地，利用样本图像训练特征提取网络和特征增强网络，包括：
将样本图像输入特征提取网络和特征增强网络，获得预测处理结果；
基于预测处理结果和标注处理结果获得主要损失；
基于主要损失训练特征提取网络和特征增强网络。
由于特征提取网络和特征增强网络是顺序连接的，当获得的主要损失向特征增强网络反馈时，继续向前反馈，即可实现对特征提取网络进行训练或微调(当特征提取网络经过预先训练，此时可仅进行微调)，实现同时对特征提取网络和特征增强网络进行训练，保证了场景分析任务或物体分割任务的结果更准确。
可选地，本实施例方法还可以包括：
基于特征提取网络中的一个中间层输出的特征图，确定中间预测处理结果；
基于中间预测处理结果和标注处理结果获得辅助损失；
基于辅助损失调整所述特征提取网络的参数。
当特征提取网络未经过训练，对该特征提取网络训练的过程中，还可以加入辅助损失，将提出的逐点的空间权重(PSA，Point-wise Spatial Attention，对应上述实施例提供的特征增强网络)模块嵌入到场景解析的框架中，图6为本申请图像处理方法中网络训练的另一个示例性结构示意图。如图6所示，PSA模块可以作用在基于残差网络(ResNet)的全连接网络的最后特征表达处(如Stage 5)，这样会得到更好的信息整合，更好地利用场景的上下文信息。可选地，残差网络由5个阶段(stage)构成。输入图片经过4个阶段之后处理过程分为两支，在主分支中继续经过第5阶段得到特征图，然后输入PSA结构，最终的特征图输入分类器对每个点进行分类，获得主要损失(main loss)以训练残差网络和特征增强网络。在旁支中第4阶段的输出直接输入分类器做场景解析，旁支主要用于神经网络训练过程中以获得的辅助损失(auxiliary loss)辅助监督训练，获得，测试时候以主分支的场景解析结果为主。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图7为本申请图像处理装置一个实施例的结构示意图。该实施例的装置可用于实现本申请上述各方法实施例。如图7所示，该实施例的装置包括：
特征提取单元71，用于对待处理的图像进行特征提取以生成图像的特征图。
本实施例中的图像可以为未经过特征提取处理的图像，或者，可以为经过一次或多次特征提取得到的特征图等等，本申请不限制待处理的图像的具体形式。
权重确定单元72，用于确定特征图包括的多个特征点中每个特征点对应的特征权重。
本实施例中的多个特征点可以是特征图中的全部特征点或部分特征点；为了实现特征点之间的信息传递，需要确定传递概率，即将一个特征点的信息全部或部分传递给其他特征点，而传递的比例由特征权重确定。
特征增强单元73，用于将特征权重对应的特征点的特征信息分别传输给特征图包括的多个其他特征点，获得特征增强后的特征图。
其中，其他特征点是指特征图中除了该对应的特征点之外的特征点。
基于本申请上述实施例提供的一种图像处理装置，对待处理的图像进行特征提取以生成图像的特征图；确定特征图包括的多个特征点中每个特征点对应的特征权重；将特征权重对应的特征点的特征信息分别传输给特征图包括的多个其他特征点，获得特征增强后的特征图；通过特征点之间的信息传输，使上下文信息能得到更好的使用，使特征增强后的特征图中包含更多信息。
在一个或多个可选的实施例中，装置还包括：
图像处理单元，用于基于特征增强后的特征图进行图像的场景分析处理或物体分割处理。
本实施例中，每个特征点既能搜集其他点的信息帮助当前点的预测，同时也能分发当前点的信息帮助其他点的预测；本方案设计的逐点空间权重方案是自适应的学习调整且和位置关系有关，通过特征增强后的特征图，能更好地利用复杂场景的上下文信息来帮助场景解析或物体分割处理。
可选地，本实施例装置还包括：
结果应用单元，用于根据场景分析处理结果或物体分割处理结果，进行机器人导航控制或车辆智能驾驶控制。
在一个或多个可选的实施例中，特征图包括的特征点的特征权重包括向内接收权重和向外发送权重；向内接收权重表示特征点接收特征图包括的其他特征点的特征信息时的权重；向外发送权重表示特征点将特征信息向特征图包括的其他特征点传输时的权重。
通过向内接收权重和向外发送权重实现了特征点中信息的双向传播，每个特征点既能搜集其他点的信息帮助当前点的预测，同时也能分发当前点的信息帮助其他点的预测。
可选地，权重确定单元72，包括：
第一权重模块，用于对特征图进行第一分支处理，获得包括的多个特征点中每个特征点的向内接收权重的第一权重向量；
第二权重模块，用于对特征图进行第二分支处理，获得包括的多个特征点中每个特征点的向外发送权重的第二权重向量。
在一个或多个可选的实施例中，第一权重模块，包括：
第一中间向量模块，用于通过神经网络对特征图进行处理，获得第一中间权重向量；
第一信息去除模块，用于去除第一中间权重向量中的无效信息，获得第一权重向量。
其中，无效信息表示第一中间权重向量中对特征传输没有影响或影响程度小于设定条件的信息。
本实施例中，为了获得每个特征点对应的全面的权重信息，需要获得该特征点的周围所有位置的特征点向该特征点传输信息的权重，但由于特征图中包括一些边缘的特征点，这些特征点的周围只有部分位置具有特征点，因此，通过神经网络的处理得到的第一中间权重向量中包括很多无意义的无效信息，这些无效信息由于仅具有一个传输端(特征点)，因此，是否传输这些信息对于特征传输没有影响或影响程度小于设定条件；将这些无效信息去除即可获得第一权重向量，该第一权重向量在保证信息全面的同时不包括无用信息，提高了信息传递的效率。
可选地，第一中间向量模块，具体用于将特征图中每个所述特征点分别作为第一输入点，将第一输入点周围所有位置作为第一输入点对应的第一输出点，周围所有位置包括特征图中的多个特征点和第一输入点在空间位置上的多个相邻位置；获得特征图中第一输入点与第一输入点对应的所有第一输出点之间的第一传递比例向量；基于第一传递比例向量获得第一中间权重向量。
可选地，第一信息去除模块，具体用于从第一中间权重向量中识别到第一输出点包括的信息为空的第一传递比例向量；在第一中间权重向量中去除第一输出点包括的信息为空的第一传递比例向量，获得特征图的所有向内接收权重；基于所有向内接收权重确定第一权重向量。
可选地，第一信息去除模块在基于所有向内接收权重确定第一权重向量时，用于将向内接收权重按照对应的第一输出点的位置排列，获得第一权重向量。
可选地，第一权重模块还包括：
第一降维模块，用于通过卷积层对特征图进行降维处理，获得第一中间特征图；
第一中间向量模块，具体用于通过神经网络对降维后的第一中间特征图进行处理，获得第一中间权重向量。
在一个或多个可选的实施例中，第二权重模块，包括：
第二中间向量模块，用于通过神经网络对特征图进行处理，获得第二中间权重向量；
第二信息去除模块，用于去除第二中间权重向量中的无效信息，获得第二权重向量。
其中，无效信息表示第二中间权重向量中对特征传输没有影响或影响程度小于设定条件的信息。
本实施例中，为了获得每个特征点对应的全面的权重信息，需要获得该特征点向周围所有位置传输信息的权重，但由于特征图中包括一些边缘的特征点，这些特征点的周围只有部分位置具有特征点，因此，通过神经网络的处理得到的第二中间权重向量中包括很多无意义的无效信息，这些无效信息由于仅具有一个传输端(特征点)，因此，是否传输这些信息对于特征传输没有影响或影响程度小于设定条件；将这些无效信息去除即可获得第二权重向量，该第二权重向量在保证信息全面的同时不包括无用信息，提高了信息传递的效率。
可选地，第二中间向量模块，具体用于将特征图中每个第二特征点分别作为第二输出点，将第二输入点周围所有位置作为第二输入点对应的第二输入点，周围所有位置包括特征图中的多个特征点和第二输出点在空间位置上的多个相邻位置；获得特征图中第二输出点与第二输出点对应的所有第二输入点之间的第二传递比例向量；基于第二传递比例向量获得第二中间权重向量。
可选地，第二信息去除模块，具体用于从第二中间权重向量中识别到第二输出点包括的信息为空的第二传递比例向量；在第二中间权重向量中去除第二输出点包括的信息为空的第二传递比例向量，获得特征图的所有向外发送权重；基于所有向外发送权重确定第二权重向量。
可选地，第二信息去除模块在基于所有向外发送权重确定第二权重向量时，用于将向外发送权重按照对应的第二输入点的位置排列，获得第二权重向量。
可选地，第二权重模块还包括：
第二降维模块，用于通过卷积层对特征图进行降维处理，获得第二中间特征图；
第二中间向量模块，具体用于通过神经网络对降维后的第二中间特征图进行处理，获得第二中间权重向量。
在一个或多个可选的实施例中，特征增强单元，包括：
特征向量模块，用于基于第一权重向量和特征图获得第一特征向量；基于第二权重向量和特征图获得第二特征向量；
增强特征图模块，用于基于第一特征向量、第二特征向量和特征图获得特征增强后的特征图。
本实施例中，通过第一权重向量和特征图获得了特征图中所有特征点接收的特征信息，通过第二权重向量和特征图获得了特征图中所有特征点向外发送的特征信息，即获得双向传输的特征信息，基于双向传输的特征信息和原始特征图即可获得包括更多信息的增强后的特征图。
可选地，特征向量模块，具体用于将第一权重向量与特征图或特征图经过降维处理后的第一中间特征图进行矩阵乘法处理，获得第一特征向量；将第二权重向量与特征图或特征图经过降维处理后的第二中间特征图进行矩阵乘法处理，获得第二特征向量。
可选地，增强特征图模块，具体用于将第一特征向量和第二特征向量在通道维度进行拼接，获得拼接特征向量；将拼接特征向量与特征图在通道维度进行拼接，获得特征增强后的特征图。
可选地，特征增强单元还包括：
特征投影模块，用于对拼接特征向量进行特征投影处理，获得处理后的拼接特征向量；
增强特征图模块，用于将处理后的拼接特征向量与特征图在通道维度进行拼接，获得特征增强后的特征图。
在一个或多个可选的实施例中，本实施例装置利用特征提取网络和特征增强网络实现；
本实施例装置还可以包括：
训练单元，用于利用样本图像训练特征增强网络，或者，利用样本图像训练特征提取网络和特征增强网络。
其中，样本图像具有标注处理结果，标注处理结果包括标注场景分析结果或标注物体分割结果。
为了更好的实现图像任务的处理，需要在网络预测之前，对网络进行训练，本实施中涉及的特征提取网络可以是预先训练好的，或未进行训练的，当特征提取网络是预先训练好的，可以选择仅训练特征增强网络，或同时训练特征提取网络和特征增强网络；当特征提取网络未经过训练，将利用样本图像训练特征提取网络和特征增强网络。
可选地，训练单元，具体用于将样本图像输入特征提取网络和特征增强网络，获得预测处理结果；基于预测处理结果和标注处理结果，训练特征增强网络。
可选地，训练单元，具体用于将样本图像输入特征提取网络和特征增强网络，获得预测处理结果；基于预测处理结果和标注处理结果获得主要损失；基于主要损失训练特征提取网络和特征增强网络。
可选地，训练单元，还用于基于特征提取网络中的一个中间层输出的特征图，确定中间预测处理结果；基于中间预测处理结果和标注处理结果获得辅助损失；基于辅助损失调整特征提取网络的参数。
本申请实施例提供的图像处理装置任一实施例的工作过程以及设置方式均可以参照本申请上述相应方法实施例的具体描述，限于篇幅，在此不再赘述。
根据本申请实施例的另一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上任意一项所述的图像处理装置。可选地，该电子设备可以为车载电子设备。
根据本申请实施例的另一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上任意一项所述图像处理方法的操作。
根据本申请实施例的另一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上任意一项所述图像处理方法的操作。
根据本申请实施例的另一个方面，提供的一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现如上任意一项所述图像处理方法的指令。
本申请实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图8，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备800的结构示意图：如图8所示，电子设备800包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)801，和/或一个或多个专用处理器，专用处理器可作为加速单元813，可包括但不限于图像处理器(GPU)、FPGA、DSP以及其它的ASIC芯片之类专用处理器等，处理器可以根据存储在只读存储器(ROM)802中的可执行指令或者从存储部分808加载到随机访问存储器(RAM)803中的可执行指令而执行各种适当的动作和处理。通信部812可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡。
处理器可与只读存储器802和/或随机访问存储器803中通信以执行可执行指令，通过总线804与通信部812相连、并经通信部812与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，对待处理的图像进行特征提取以生成图像的特征图；确定特征图包括的多个特征点中每个特征点对应的特征权重；将特征权重对应的特征点的特征信息分别传输给特征图包括的多个其他特征点，获得特征增强后的特征图。
此外，在RAM 803中，还可存储有装置操作所需的各种程序和数据。CPU801、ROM802以及RAM803通过总线804彼此相连。在有RAM803的情况下，ROM802为可选模块。RAM803存储可执行指令，或在运行时向ROM802中写入可执行指令，可执行指令使中央处理单元801执行上述通信方法对应的操作。输入/输出(I/O)接口805也连接至总线804。通信部812可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
需要说明的，如图8所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图8的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如加速单元813和CPU801可分离设置或者可将加速单元813集成在CPU801上，通信部可分离设置，也可集成设置在CPU801或加速单元813上，等等。这些可替换的实施方式均落入本申请公开的保护范围。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，对待处理的图像进行特征提取以生成图像的特征图；确定特征图包括的多个特征点中每个特征点对应的特征权重；将特征权重对应的特征点的特征信息分别传输给特征图包括的多个其他特征点，获得特征增强后的特征图。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的方法中限定的上述功能的操作。
可能以许多方式来实现本申请的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施例。

Claims (48)

1.一种图像处理方法，其特征在于，包括：
对待处理的图像进行特征提取以生成所述图像的特征图；
确定所述特征图包括的多个特征点中每个特征点对应的特征权重，其中，所述特征图包括的特征点的特征权重包括向内接收权重和向外发送权重；所述向内接收权重表示特征点接收所述特征图包括的其他特征点的特征信息时的权重；所述向外发送权重表示特征点将特征信息向所述特征图包括的其他特征点传输时的权重；
将所述特征权重对应的特征点的特征信息分别传输给所述特征图包括的多个其他特征点，获得特征增强后的特征图。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于所述特征增强后的特征图进行所述图像的场景分析处理或物体分割处理。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：根据场景分析处理结果或物体分割处理结果，进行机器人导航控制或车辆智能驾驶控制。
4.根据权利要求1-3任一所述的方法，其特征在于，所述确定特征图包括的多个特征点中每个特征点对应的特征权重，包括：
对所述特征图进行第一分支处理，获得包括的多个特征点中每个特征点的向内接收权重的第一权重向量；
对所述特征图进行第二分支处理，获得包括的多个特征点中每个特征点的向外发送权重的第二权重向量。
5.根据权利要求4所述的方法，其特征在于，所述对所述特征图进行第一分支处理，获得包括的多个特征点中每个特征点的向内接收权重的第一权重向量，包括：
通过神经网络对所述特征图进行处理，获得第一中间权重向量；
去除所述第一中间权重向量中的无效信息，获得所述第一权重向量，所述无效信息表示所述第一中间权重向量中对特征传输没有影响或影响程度小于设定条件的信息。
6.根据权利要求5所述的方法，其特征在于，所述通过所述神经网络对所述特征图进行处理，获得所述第一中间权重向量，包括：
将所述特征图中每个所述特征点分别作为第一输入点，将所述第一输入点周围所有位置作为所述第一输入点对应的第一输出点，所述周围所有位置包括所述特征图中的多个特征点和所述第一输入点在空间位置上的多个相邻位置；
获得所述特征图中第一输入点与所述第一输入点对应的所有第一输出点之间的第一传递比例向量；
基于所述第一传递比例向量获得所述第一中间权重向量。
7.根据权利要求6所述的方法，其特征在于，所述去除所述第一中间权重向量中的无效信息，获得所述第一权重向量，包括：
从所述第一中间权重向量中识别到所述第一输出点包括的信息为空的第一传递比例向量；
在所述第一中间权重向量中去除所述第一输出点包括的信息为空的第一传递比例向量，获得所述特征图的所有所述向内接收权重；
基于所有所述向内接收权重确定所述第一权重向量。
8.根据权利要求7所述的方法，其特征在于，所述基于所有所述向内接收权重确定所述第一权重向量，包括：
将所述向内接收权重按照对应的所述第一输出点的位置排列，获得所述第一权重向量。
9.根据权利要求5-8任一所述的方法，其特征在于，所述通过卷积网络对所述特征图进行处理，获得第一中间权重向量之前，还包括：
通过卷积层对所述特征图进行降维处理，获得第一中间特征图；
所述通过神经网络对所述特征图进行处理，获得第一中间权重向量，包括：
通过所述神经网络对所述降维后的第一中间特征图进行处理，获得所述第一中间权重向量。
10.根据权利要求4-9任一所述的方法，其特征在于，所述对所述特征图进行第二分支处理，获得包括的多个特征点中每个所述特征点的向外发送权重的第二权重向量，包括：
通过神经网络对所述特征图进行处理，获得第二中间权重向量；
去除所述第二中间权重向量中的无效信息，获得所述第二权重向量，所述无效信息表示所述第二中间权重向量中对特征传输没有影响或影响程度小于设定条件的信息。
11.根据权利要求10所述的方法，其特征在于，所述通过所述神经网络对所述特征图进行处理，获得所述第二中间权重向量，包括：
将所述特征图中每个第二特征点分别作为第二输出点，将所述第二输入点周围所有位置作为所述第二输入点对应的第二输入点，所述周围所有位置包括所述特征图中的多个特征点和所述第二输出点在空间位置上的多个相邻位置；
获得所述特征图中第二输出点与所述第二输出点对应的所有第二输入点之间的第二传递比例向量；
基于所述第二传递比例向量获得所述第二中间权重向量。
12.根据权利要求11所述的方法，其特征在于，所述去除所述第二中间权重向量中的无效信息，获得所述第二权重向量，包括：
从所述第二中间权重向量中识别到所述第二输出点包括的信息为空的第二传递比例向量；
在所述第二中间权重向量中去除所述第二输出点包括的信息为空的第二传递比例向量，获得所述特征图的所有所述向外发送权重；
基于所有所述向外发送权重确定所述第二权重向量。
13.根据权利要求12所述的方法，其特征在于，所述基于所有所述向外发送权重确定所述第二权重向量，包括：
将所述向外发送权重按照对应的所述第二输入点的位置排列，获得所述第二权重向量。
14.根据权利要求10-13任一所述的方法，其特征在于，所述通过卷积网络对所述特征图进行处理，获得第二中间权重向量之前，还包括：
通过卷积层对所述特征图进行降维处理，获得第二中间特征图；
所述通过神经网络对所述特征图进行处理，获得第二中间权重向量，包括：
通过所述神经网络对所述降维后的第二中间特征图进行处理，获得所述第二中间权重向量。
15.根据权利要求4-14任一所述的方法，其特征在于，所述将所述特征权重对应的特征点的特征信息分别传输给所述特征图包括的多个其他特征点，获得特征增强后的特征图，包括：
基于所述第一权重向量和所述特征图获得第一特征向量；基于所述第二权重向量和所述特征图获得第二特征向量；
基于所述第一特征向量、所述第二特征向量和所述特征图获得特征增强后的特征图。
16.根据权利要求15所述的方法，其特征在于，所述基于所述第一权重向量和所述特征图获得第一特征向量；基于所述第二权重向量和所述特征图获得第二特征向量，包括：
将所述第一权重向量与所述特征图或所述特征图经过降维处理后的第一中间特征图进行矩阵乘法处理，获得所述第一特征向量；
将所述第二权重向量与所述特征图或所述特征图经过降维处理后的第二中间特征图进行矩阵乘法处理，获得所述第二特征向量。
17.根据权利要求15或16所述的方法，其特征在于，所述基于所述第一特征向量、所述第二特征向量和所述特征图获得特征增强后的特征图，包括：
将所述第一特征向量和所述第二特征向量在通道维度进行拼接，获得拼接特征向量；
将所述拼接特征向量与所述特征图在通道维度进行拼接，获得所述特征增强后的特征图。
18.根据权利要求17所述的方法，其特征在于，所述将所述拼接特征向量与所述特征图在通道维度进行拼接，获得所述特征增强后的特征图之前，还包括：
对所述拼接特征向量进行特征投影处理，获得处理后的拼接特征向量；
所述将所述拼接特征向量与所述特征图在通道维度进行拼接，获得所述特征增强后的特征图，包括：
将所述处理后的拼接特征向量与所述特征图在通道维度进行拼接，获得所述特征增强后的特征图。
19.根据权利要求2-18任一所述的方法，其特征在于，所述方法利用特征提取网络和特征增强网络实现；
所述对待处理的图像进行特征提取以生成所述图像的特征图之前，还包括：
利用样本图像训练所述特征增强网络，或者，利用样本图像训练所述特征提取网络和所述特征增强网络；所述样本图像具有标注处理结果，所述标注处理结果包括标注场景分析结果或标注物体分割结果。
20.根据权利要求19所述的方法，其特征在于，所述利用样本图像训练所述特征增强网络，包括：
将所述样本图像输入所述特征提取网络和所述特征增强网络，获得预测处理结果；
基于所述预测处理结果和所述标注处理结果，训练所述特征增强网络。
21.根据权利要求19所述的方法，其特征在于，所述利用样本图像训练所述特征提取网络和所述特征增强网络，包括：
将所述样本图像输入所述特征提取网络和所述特征增强网络，获得预测处理结果；
基于所述预测处理结果和所述标注处理结果获得主要损失；
基于所述主要损失训练所述特征提取网络和所述特征增强网络。
22.根据权利要求20所述的方法，其特征在于，还包括：
基于所述特征提取网络中的一个中间层输出的特征图，确定中间预测处理结果；
基于所述中间预测处理结果和所述标注处理结果获得辅助损失；
基于所述辅助损失调整所述特征提取网络的参数。
23.一种图像处理装置，其特征在于，包括：
特征提取单元，用于对待处理的图像进行特征提取以生成所述图像的特征图；
权重确定单元，用于确定所述特征图包括的多个特征点中每个特征点对应的特征权重，其中，所述特征图包括的特征点的特征权重包括向内接收权重和向外发送权重；所述向内接收权重表示特征点接收所述特征图包括的其他特征点的特征信息时的权重；所述向外发送权重表示特征点将特征信息向所述特征图包括的其他特征点传输时的权重；
特征增强单元，用于将所述特征权重对应的特征点的特征信息分别传输给所述特征图包括的多个其他特征点，获得特征增强后的特征图。
24.根据权利要求23所述的装置，其特征在于，所述装置还包括：
图像处理单元，用于基于所述特征增强后的特征图进行所述图像的场景分析处理或物体分割处理。
25.根据权利要求24所述的装置，其特征在于，所述装置还包括：
结果应用单元，用于根据场景分析处理结果或物体分割处理结果，进行机器人导航控制或车辆智能驾驶控制。
26.根据权利要求23-25任一所述的装置，其特征在于，所述权重确定单元，包括：
第一权重模块，用于对所述特征图进行第一分支处理，获得包括的多个特征点中每个特征点的向内接收权重的第一权重向量；
第二权重模块，用于对所述特征图进行第二分支处理，获得包括的多个特征点中每个特征点的向外发送权重的第二权重向量。
27.根据权利要求26所述的装置，其特征在于，所述第一权重模块，包括：
第一中间向量模块，用于通过神经网络对所述特征图进行处理，获得第一中间权重向量；
第一信息去除模块，用于去除所述第一中间权重向量中的无效信息，获得所述第一权重向量，所述无效信息表示所述第一中间权重向量中对特征传输没有影响或影响程度小于设定条件的信息。
28.根据权利要求27所述的装置，其特征在于，所述第一中间向量模块，具体用于将所述特征图中每个所述特征点分别作为第一输入点，将所述第一输入点周围所有位置作为所述第一输入点对应的第一输出点，所述周围所有位置包括所述特征图中的多个特征点和所述第一输入点在空间位置上的多个相邻位置；获得所述特征图中第一输入点与所述第一输入点对应的所有第一输出点之间的第一传递比例向量；基于所述第一传递比例向量获得所述第一中间权重向量。
29.根据权利要求28所述的装置，其特征在于，所述第一信息去除模块，具体用于从所述第一中间权重向量中识别到所述第一输出点包括的信息为空的第一传递比例向量；在所述第一中间权重向量中去除所述第一输出点包括的信息为空的第一传递比例向量，获得所述特征图的所有所述向内接收权重；基于所有所述向内接收权重确定所述第一权重向量。
30.根据权利要求29所述的装置，其特征在于，所述第一信息去除模块在基于所有所述向内接收权重确定所述第一权重向量时，用于将所述向内接收权重按照对应的所述第一输出点的位置排列，获得所述第一权重向量。
31.根据权利要求27-30任一所述的装置，其特征在于，所述第一权重模块还包括：
第一降维模块，用于通过卷积层对所述特征图进行降维处理，获得第一中间特征图；
所述第一中间向量模块，具体用于通过所述神经网络对所述降维后的第一中间特征图进行处理，获得所述第一中间权重向量。
32.根据权利要求26-31任一所述的装置，其特征在于，所述第二权重模块，包括：
第二中间向量模块，用于通过神经网络对所述特征图进行处理，获得第二中间权重向量；
第二信息去除模块，用于去除所述第二中间权重向量中的无效信息，获得所述第二权重向量，所述无效信息表示所述第二中间权重向量中对特征传输没有影响或影响程度小于设定条件的信息。
33.根据权利要求32所述的装置，其特征在于，所述第二中间向量模块，具体用于将所述特征图中每个第二特征点分别作为第二输出点，将所述第二输入点周围所有位置作为所述第二输入点对应的第二输入点，所述周围所有位置包括所述特征图中的多个特征点和所述第二输出点在空间位置上的多个相邻位置；获得所述特征图中第二输出点与所述第二输出点对应的所有第二输入点之间的第二传递比例向量；基于所述第二传递比例向量获得所述第二中间权重向量。
34.根据权利要求33所述的装置，其特征在于，所述第二信息去除模块，具体用于从所述第二中间权重向量中识别到所述第二输出点包括的信息为空的第二传递比例向量；在所述第二中间权重向量中去除所述第二输出点包括的信息为空的第二传递比例向量，获得所述特征图的所有所述向外发送权重；基于所有所述向外发送权重确定所述第二权重向量。
35.根据权利要求34所述的装置，其特征在于，所述第二信息去除模块在基于所有所述向外发送权重确定所述第二权重向量时，用于将所述向外发送权重按照对应的所述第二输入点的位置排列，获得所述第二权重向量。
36.根据权利要求32-35任一所述的装置，其特征在于，所述第二权重模块还包括：
第二降维模块，用于通过卷积层对所述特征图进行降维处理，获得第二中间特征图；
所述第二中间向量模块，具体用于通过所述神经网络对所述降维后的第二中间特征图进行处理，获得所述第二中间权重向量。
37.根据权利要求26-36任一所述的装置，其特征在于，所述特征增强单元，包括：
特征向量模块，用于基于所述第一权重向量和所述特征图获得第一特征向量；基于所述第二权重向量和所述特征图获得第二特征向量；
增强特征图模块，用于基于所述第一特征向量、所述第二特征向量和所述特征图获得特征增强后的特征图。
38.根据权利要求37所述的装置，其特征在于，所述特征向量模块，具体用于将所述第一权重向量与所述特征图或所述特征图经过降维处理后的第一中间特征图进行矩阵乘法处理，获得所述第一特征向量；将所述第二权重向量与所述特征图或所述特征图经过降维处理后的第二中间特征图进行矩阵乘法处理，获得所述第二特征向量。
39.根据权利要求37或38所述的装置，其特征在于，所述增强特征图模块，具体用于将所述第一特征向量和所述第二特征向量在通道维度进行拼接，获得拼接特征向量；将所述拼接特征向量与所述特征图在通道维度进行拼接，获得所述特征增强后的特征图。
40.根据权利要求39所述的装置，其特征在于，所述特征增强单元还包括：
特征投影模块，用于对所述拼接特征向量进行特征投影处理，获得处理后的拼接特征向量；
所述增强特征图模块，用于将所述处理后的拼接特征向量与所述特征图在通道维度进行拼接，获得所述特征增强后的特征图。
41.根据权利要求24-40任一所述的装置，其特征在于，所述装置利用特征提取网络和特征增强网络实现；
所述装置还包括：
训练单元，用于利用样本图像训练所述特征增强网络，或者，利用样本图像训练所述特征提取网络和所述特征增强网络；所述样本图像具有标注处理结果，所述标注处理结果包括标注场景分析结果或标注物体分割结果。
42.根据权利要求41所述的装置，其特征在于，所述训练单元，具体用于将所述样本图像输入所述特征提取网络和所述特征增强网络，获得预测处理结果；基于所述预测处理结果和所述标注处理结果，训练所述特征增强网络。
43.根据权利要求41所述的装置，其特征在于，所述训练单元，具体用于将所述样本图像输入所述特征提取网络和所述特征增强网络，获得预测处理结果；基于所述预测处理结果和所述标注处理结果获得主要损失；基于所述主要损失训练所述特征提取网络和所述特征增强网络。
44.根据权利要求43所述的装置，其特征在于，所述训练单元，还用于基于所述特征提取网络中的一个中间层输出的特征图，确定中间预测处理结果；基于所述中间预测处理结果和所述标注处理结果获得辅助损失；基于所述辅助损失调整所述特征提取网络的参数。
45.一种电子设备，其特征在于，包括处理器，所述处理器包括权利要求23至44任意一项所述的图像处理装置。
46.一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至22任意一项所述图像处理方法的操作。
47.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至22任意一项所述图像处理方法的操作。
48.一种计算机程序产品，包括计算机可读代码，其特征在于，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现权利要求1至22任意一项所述图像处理方法的指令。
CN201810893153.1A 2018-08-07 2018-08-07 图像处理方法和装置、电子设备、存储介质、程序产品 Active CN109344840B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810893153.1A CN109344840B (zh) 2018-08-07 2018-08-07 图像处理方法和装置、电子设备、存储介质、程序产品
SG11202005737WA SG11202005737WA (en) 2018-08-07 2019-06-28 Image processing method and apparatus, electronic device, storage medium, and program product
PCT/CN2019/093646 WO2020029708A1 (zh) 2018-08-07 2019-06-28 图像处理方法和装置、电子设备、存储介质、程序产品
JP2020554362A JP7065199B2 (ja) 2018-08-07 2019-06-28 画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品
US16/905,478 US20200356802A1 (en) 2018-08-07 2020-06-18 Image processing method and apparatus, electronic device, storage medium, and program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810893153.1A CN109344840B (zh) 2018-08-07 2018-08-07 图像处理方法和装置、电子设备、存储介质、程序产品

Publications (2)

Publication Number Publication Date
CN109344840A CN109344840A (zh) 2019-02-15
CN109344840B true CN109344840B (zh) 2022-04-01

Family

ID=65291562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810893153.1A Active CN109344840B (zh) 2018-08-07 2018-08-07 图像处理方法和装置、电子设备、存储介质、程序产品

Country Status (5)

Country Link
US (1) US20200356802A1 (zh)
JP (1) JP7065199B2 (zh)
CN (1) CN109344840B (zh)
SG (1) SG11202005737WA (zh)
WO (1) WO2020029708A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344840B (zh) * 2018-08-07 2022-04-01 深圳市商汤科技有限公司 图像处理方法和装置、电子设备、存储介质、程序产品
CN109798888B (zh) * 2019-03-15 2021-09-17 京东方科技集团股份有限公司 移动设备的姿态确定装置、方法和视觉里程计
JP6965298B2 (ja) * 2019-03-18 2021-11-10 株式会社東芝 物体検出装置、物体検出方法、プログラム、および移動体
US11080884B2 (en) * 2019-05-15 2021-08-03 Matterport, Inc. Point tracking using a trained network
CN110135440A (zh) * 2019-05-15 2019-08-16 北京艺泉科技有限公司 一种适用于海量文物图像检索的图像特征提取方法
CN111767925A (zh) * 2020-04-01 2020-10-13 北京沃东天骏信息技术有限公司 物品图片的特征提取和处理方法、装置、设备和存储介质
CN111951252B (zh) * 2020-08-17 2024-01-23 中国科学院苏州生物医学工程技术研究所 多时序图像处理方法、电子设备及存储介质
CN112191055B (zh) * 2020-09-29 2021-12-31 武穴市东南矿业有限公司 一种矿山机械用具有空气检测结构的降尘装置
CN112926595B (zh) * 2021-02-04 2022-12-02 深圳市豪恩汽车电子装备股份有限公司 深度学习神经网络模型的训练装置、目标检测系统及方法
CN113065997B (zh) * 2021-02-27 2023-11-17 华为技术有限公司 一种图像处理方法、神经网络的训练方法以及相关设备
CN112987765B (zh) * 2021-03-05 2022-03-15 北京航空航天大学 一种仿猛禽注意力分配的无人机/艇精准自主起降方法
CN113485750B (zh) * 2021-06-29 2024-01-23 海光信息技术股份有限公司 数据处理方法及数据处理装置
CN113191461B (zh) * 2021-06-29 2021-09-17 苏州浪潮智能科技有限公司 一种图片识别方法、装置、设备及可读存储介质
US11966628B2 (en) * 2022-01-11 2024-04-23 Macronix International Co., Ltd. Memory device and operating method thereof

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801972A (zh) * 2012-06-25 2012-11-28 北京大学深圳研究生院 基于特征的运动矢量估计和传递方法
CN105023253A (zh) * 2015-07-16 2015-11-04 上海理工大学 基于视觉底层特征的图像增强方法
CN105095833A (zh) * 2014-05-08 2015-11-25 中国科学院声学研究所 用于人脸识别的网络构建方法、识别方法及系统
CN106022221A (zh) * 2016-05-09 2016-10-12 腾讯科技（深圳）有限公司 一种图像处理方法及处理系统
CN107516103A (zh) * 2016-06-17 2017-12-26 北京市商汤科技开发有限公司 一种影像分类方法和系统
CN108205803A (zh) * 2017-07-19 2018-06-26 北京市商汤科技开发有限公司 图像处理方法、神经网络模型的训练方法及装置
CN108229274A (zh) * 2017-02-28 2018-06-29 北京市商汤科技开发有限公司 多层神经网络模型训练、道路特征识别的方法和装置
CN108229307A (zh) * 2017-11-22 2018-06-29 北京市商汤科技开发有限公司 用于物体检测的方法、装置和设备
CN108229497A (zh) * 2017-07-28 2018-06-29 北京市商汤科技开发有限公司 图像处理方法、装置、存储介质、计算机程序和电子设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101517538B1 (ko) * 2013-12-31 2015-05-15 전남대학교산학협력단 중심 가중치 맵을 이용한 중요도 영역 검출 장치 및 방법, 이를 위한 프로그램을 기록한 기록 매체
US9792521B2 (en) * 2014-12-26 2017-10-17 Here Global B.V. Extracting feature geometries for localization of a device
US20160358069A1 (en) * 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Neural network suppression
US11927965B2 (en) * 2016-02-29 2024-03-12 AI Incorporated Obstacle recognition method for autonomous robots
US11449061B2 (en) * 2016-02-29 2022-09-20 AI Incorporated Obstacle recognition method for autonomous robots
JP6858002B2 (ja) 2016-03-24 2021-04-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 物体検出装置、物体検出方法及び物体検出プログラム
CN106127208A (zh) * 2016-06-16 2016-11-16 北京市商汤科技开发有限公司 对图像中的多个对象进行分类的方法和系统、计算机系统
JP6776696B2 (ja) * 2016-07-26 2020-10-28 富士通株式会社 並列情報処理装置、情報処理方法、およびプログラム
US20180039853A1 (en) * 2016-08-02 2018-02-08 Mitsubishi Electric Research Laboratories, Inc. Object Detection System and Object Detection Method
US11544539B2 (en) * 2016-09-29 2023-01-03 Tsinghua University Hardware neural network conversion method, computing device, compiling method and neural network software and hardware collaboration system
KR101879207B1 (ko) * 2016-11-22 2018-07-17 주식회사 루닛 약한 지도 학습 방식의 객체 인식 방법 및 장치
CN108154222B (zh) * 2016-12-02 2020-08-11 北京市商汤科技开发有限公司 深度神经网络训练方法和系统、电子设备
US11010595B2 (en) * 2017-03-23 2021-05-18 Samsung Electronics Co., Ltd. Facial verification method and apparatus
CN107527059B (zh) * 2017-08-07 2021-12-21 北京小米移动软件有限公司 文字识别方法、装置及终端
CN111052126A (zh) * 2017-09-04 2020-04-21 华为技术有限公司 行人属性识别与定位方法以及卷积神经网络系统
US11270523B2 (en) * 2017-11-29 2022-03-08 Sdc U.S. Smilepay Spv Systems and methods for constructing a three-dimensional model from two-dimensional images
CN108053028B (zh) * 2017-12-21 2021-09-14 深圳励飞科技有限公司 数据定点化处理方法、装置、电子设备及计算机存储介质
JP7094702B2 (ja) * 2018-01-12 2022-07-04 キヤノン株式会社 画像処理装置及びその方法、プログラム
CN108364023A (zh) * 2018-02-11 2018-08-03 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和系统
US11768292B2 (en) * 2018-03-14 2023-09-26 Uatc, Llc Three-dimensional object detection
US10592780B2 (en) * 2018-03-30 2020-03-17 White Raven Ltd. Neural network training system
CN110660037B (zh) * 2018-06-29 2023-02-10 京东方科技集团股份有限公司 图像间脸部交换的方法、装置、系统和计算机程序产品
CN109344840B (zh) * 2018-08-07 2022-04-01 深圳市商汤科技有限公司 图像处理方法和装置、电子设备、存储介质、程序产品
CN111666960B (zh) * 2019-03-06 2024-01-19 南京地平线机器人技术有限公司 图像识别方法、装置、电子设备及可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801972A (zh) * 2012-06-25 2012-11-28 北京大学深圳研究生院 基于特征的运动矢量估计和传递方法
CN105095833A (zh) * 2014-05-08 2015-11-25 中国科学院声学研究所 用于人脸识别的网络构建方法、识别方法及系统
CN105023253A (zh) * 2015-07-16 2015-11-04 上海理工大学 基于视觉底层特征的图像增强方法
CN106022221A (zh) * 2016-05-09 2016-10-12 腾讯科技（深圳）有限公司 一种图像处理方法及处理系统
CN107516103A (zh) * 2016-06-17 2017-12-26 北京市商汤科技开发有限公司 一种影像分类方法和系统
CN108229274A (zh) * 2017-02-28 2018-06-29 北京市商汤科技开发有限公司 多层神经网络模型训练、道路特征识别的方法和装置
CN108205803A (zh) * 2017-07-19 2018-06-26 北京市商汤科技开发有限公司 图像处理方法、神经网络模型的训练方法及装置
CN108229497A (zh) * 2017-07-28 2018-06-29 北京市商汤科技开发有限公司 图像处理方法、装置、存储介质、计算机程序和电子设备
CN108229307A (zh) * 2017-11-22 2018-06-29 北京市商汤科技开发有限公司 用于物体检测的方法、装置和设备

Also Published As

Publication number Publication date
CN109344840A (zh) 2019-02-15
WO2020029708A1 (zh) 2020-02-13
SG11202005737WA (en) 2020-07-29
US20200356802A1 (en) 2020-11-12
JP7065199B2 (ja) 2022-05-11
JP2021507439A (ja) 2021-02-22

Similar Documents

Publication Publication Date Title
CN109344840B (zh) 图像处理方法和装置、电子设备、存储介质、程序产品
CN108229341B (zh) 分类方法和装置、电子设备、计算机存储介质
CN108280455B (zh) 人体关键点检测方法和装置、电子设备、程序和介质
CN109902548B (zh) 一种对象属性识别方法、装置、计算设备及系统
CN111914812B (zh) 图像处理模型训练方法、装置、设备及存储介质
CN111401516A (zh) 一种神经网络通道参数的搜索方法及相关设备
CN109165645A (zh) 一种图像处理方法、装置以及相关设备
CN111242119B (zh) 车辆图像的处理方法、装置、电子设备和计算机可读介质
CN110163218A (zh) 基于图像识别的脱敏处理方法以及装置
CN110163250A (zh) 基于分布式调度的图像脱敏处理系统、方法以及装置
CN114861842B (zh) 少样本目标检测方法、装置和电子设备
CN115797731A (zh) 目标检测模型训练方法、检测方法、终端设备及存储介质
CN108170751A (zh) 用于处理图像的方法和装置
CN114049491A (zh) 指纹分割模型训练、指纹分割方法、装置、设备及介质
CN114170484B (zh) 图片属性预测方法、装置、电子设备和存储介质
CN115115947A (zh) 遥感图像检测方法、装置、电子设备以及存储介质
CN114359819A (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN112434547B (zh) 一种用户身份稽核方法和设备
CN113849665A (zh) 多媒体数据识别方法、装置、设备及存储介质
CN114676705A (zh) 一种对话关系处理方法、计算机及可读存储介质
CN113592941B (zh) 一种证件图像验证方法、装置、存储介质及终端
CN115393868B (zh) 文本检测方法、装置、电子设备和存储介质
CN113449756B (zh) 一种基于改进的DenseNet的多尺度图像识别方法和装置
CN117274574A (zh) 目标检测方法、装置、终端及存储介质
CN116824196A (zh) 图像分类模型的训练方法、图像分类方法、装置以及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant