CN109977832A - 一种图像处理方法、装置及存储介质 - Google Patents

一种图像处理方法、装置及存储介质 Download PDF

Info

Publication number
CN109977832A
CN109977832A CN201910206834.0A CN201910206834A CN109977832A CN 109977832 A CN109977832 A CN 109977832A CN 201910206834 A CN201910206834 A CN 201910206834A CN 109977832 A CN109977832 A CN 109977832A
Authority
CN
China
Prior art keywords
image
feature
reference picture
images
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910206834.0A
Other languages
English (en)
Other versions
CN109977832B (zh
Inventor
陈志博
石楷弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910206834.0A priority Critical patent/CN109977832B/zh
Publication of CN109977832A publication Critical patent/CN109977832A/zh
Application granted granted Critical
Publication of CN109977832B publication Critical patent/CN109977832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像处理方法、装置及存储介质，方法包括：接收待识别图像，并通过图像处理模型的第一特征模型提取所述待识别图像所承载对象的第一图像特征；将所述第一图像特征进行特征映射得到第二图像特征，所述第二图像特征的特征维度多于所述第一图像特征的特征维度；接收参考图像，通过所述图像处理模型的第二特征模型提取所述参考图像所承载对象的第三图像特征，所述参考图像的分辨率高于所述待识别图像的分辨率；通过所述图像处理模型的分类模型，基于接收的所述第二图像特征和所述第三图像特征进行分类处理，以确定所述待识别图像所承载对象与所述参考图像所承载对象之间的相似度。

Description

一种图像处理方法、装置及存储介质
技术领域
本发明涉及计算机领域中的图像技术，尤其涉及一种图像处理方法、装置及存储介质。
背景技术
随着电子技术以及互联网特别是移动互联网的快速发展，图像识别技术在一些实际场景中得到更多的应用。以图像为人脸为例，随着人脸识别需求的扩大，将人脸识别算法推广到更多的应用场景，比如监控场景是未来的主要方向。
目前，在监控场景如针对人脸打卡闸机的场景下，由于监控设备的摄像头分辨率不足或者人脸的角度转移等因素，导致识别到的监控区域内的人脸分辨率较低。
现存的主流训练数据库大多是利用爬虫技术，对互联网上现存的人脸图片数据进行爬取获得，而针对低分辨率人脸而言，现有数据库不足以包括足够多的训练样本，且针对性爬取类似图片具有较大的技术难度和高昂的人力费用，使得无法准确的对低分辨率的人脸进行识别。
发明内容
本发明实施例提供一种图像处理方法、装置及存储介质，能够有效提升对低分辨率的待识别图像进行识别的准确率。
为达到上述目的，本发明实施例的技术方案是这样实现的：
第一方面，本发明实施例提供一种图像处理方法，包括：
接收待识别图像，并通过图像处理模型的第一特征模型提取所述待识别图像所承载对象的第一图像特征；
将所述第一图像特征进行特征映射得到第二图像特征，所述第二图像特征的特征维度多于所述第一图像特征的特征维度；
接收参考图像，通过所述图像处理模型的第二特征模型提取所述参考图像所承载对象的第三图像特征，所述参考图像的分辨率高于所述待识别图像的分辨率；
通过所述图像处理模型的分类模型，基于接收的所述第二图像特征和所述第三图像特征进行分类处理，以确定所述待识别图像所承载对象与所述参考图像所承载对象之间的相似度。
第二方面，本发明实施例提供一种图像处理方法，包括：
接收待识别图像，并提取所述待识别图像中待验证对象的第一图像特征；
将所述第一图像特征进行特征映射得到第二图像特征，所述第二图像特征的特征维度多于所述第一图像特征的特征维度；
基于所述第二图像特征和参考图像中参考对象的第三图像特征，确定所述待验证对象与所述参考对象之间的相似度；
基于所述相似度输出识别结果，所述识别结果表示是否存在所述待验证对象的参考图像。
上述方案中，所述将所述第一图像特征进行特征映射得到第二图像特征，包括：
将所述第一图像特征的各个维度的向量，向所述第三图像特征的各个维度的向量进行非线性映射，将通过映射得到的向量组合作为所述第二图像特征。
上述方案中，所述将所述第一图像特征进行特征映射得到第二图像特征，包括：
接收通过图像处理模型的第一特征模型的输出层输出的所述第一图像特征；
将所述输出层输出的所述第一图像特征进行特征映射，得到所述第二图像特征。
上述方案中，所述将所述第一图像特征进行特征映射得到第二图像特征，包括：
接收通过图像处理模型的第一特征模型的中间层输出的所述第一图像特征；
将所述第一图像特征进行特征映射，并将映射得到的特征传输到所述第一特征模型的输出层；
将所述输出层输出的特征进行特征映射，得到所述第二图像特征。
上述方案中，所述基于所述第二图像特征和参考图像中参考对象的第三图像特征，确定所述待验证对象与所述参考对象之间的相似度，包括：
当所述参考图像的数量为两个或两个以上时，
将所述第二图像特征、以及从各个所述参考图像提取得到的所述第三图像特征进行归一化的映射，得到所述待验证对象与所述参考对象之间的相似度；
基于所述相似度的降序排列，确定与所述待验证对象相同的参考图像。
上述方案中，所述基于所述第二图像特征和参考图像中参考对象的第三图像特征，确定所述待验证对象与所述参考对象之间的相似度，包括：
当所述参考图像的数量为一个时，
确定所述第二图像特征与所述第三图像特征的向量距离；
当所述向量距离小于设定的向量距离阈值时，确定与所述待识别图像承载相同对象的参考图像。
第三方面，本发明实施例提供一种图像处理装置，包括：
第一特征模型处理单元，用于接收待识别图像，并提取所述待识别图像所承载对象的第一图像特征，以及将所述第一图像特征进行特征映射得到第二图像特征，所述第二图像特征的特征维度多于所述第一图像特征的特征维度；
第二特征模型处理单元，用于接收参考图像，并提取所述参考图像所承载对象的第三图像特征，所述参考图像的分辨率高于所述待识别图像的分辨率；
分类模型处理单元，用于基于接收的所述第二图像特征和所述第三图像特征进行分类处理，以确定所述待识别图像所承载对象与所述参考图像所承载对象之间的相似度。
上述方案中，所述第一特征模型处理单元，具体用于：
将所述第一图像特征的各个维度的向量，向所述第三图像特征的各个维度的向量进行非线性映射，将通过映射得到的向量组合作为所述第二图像特征。
上述方案中，所述第一特征模型处理单元，具体用于：
将所述第一特征模型的输出层输出的所述第一图像特征进行特征映射，得到所述第二图像特征。
上述方案中，所述第一特征模型处理单元，具体用于：
将所述第一特征模型的中间层输出的所述第一图像特征进行特征映射，并将映射得到的特征传输到所述第一特征模型的输出层；
将所述输出层输出的特征进行特征映射，得到所述第二图像特征。
上述方案中，所述分类模型处理单元，具体用于：
当输入所述分类模型的参考图像的数量为两个或两个以上时，
将所述第二图像特征、以及从各个所述参考图像提取得到的所述第三图像特征进行归一化的映射，得到所述待识别图像所承载对象与所述参考图像所承载对象之间的相似度；
基于所述相似度的降序排列，确定与所述待识别图像承载相同对象的参考图像。
上述方案中，所述分类模型处理单元，具体用于：
当输入所述分类模型的参考图像的数量为一个时，
确定所述第二图像特征与所述第三图像特征的向量距离；
当所述向量距离小于设定的向量距离阈值时，确定与所述待识别图像承载相同对象的参考图像。
上述方案中，所述装置还包括：
第一训练处理单元，用于在所述第一特征模型处理单元接收待识别图像之前，对图像数据库中的各样本图像进行下采样，生成新的不同分辨率的样本图像；
将所述不同分辨率的样本图像以及所述参考图像代入映射损失函数，迭代更新所述第一特征模型的参数。
上述方案中，所述装置还包括：
第二训练处理单元，用于在所述第一特征模型处理单元将所述第一图像特征进行特征映射得到第二图像特征之前，
确定映射层的映射损失函数相对于所述映射层的参数的梯度，并在所述梯度中滤除对应所述参考图像的因子，所述映射层用于在所述第一特征模型中对所述第一图像特征进行特征映射；
将不同特征维度的样本图像代入经过滤除处理的所述梯度，以确定所述映射层的更新的参数。
第四方面，本发明实施例提供一种图像处理装置，包括：
接收单元，用于接收待识别图像；
提取单元，用于提取所述待识别图像中待验证对象的第一图像特征；
映射单元，用于将所述第一图像特征进行特征映射得到第二图像特征，所述第二图像特征的特征维度多于所述第一图像特征的特征维度；
确定单元，用于基于所述第二图像特征和参考图像中参考对象的第三图像特征，确定所述待验证对象与所述参考对象之间的相似度；
输出单元，用于基于所述相似度输出识别结果，所述识别结果表示是否存在所述待验证对象的参考图像。
上述方案中，所述接收单元，具体用于：
调用监控系统在监控区域检测所述待验证对象；
接收图像采集系统针对所述待验证对象采集得到的所述待识别图像。
上述方案中，所述装置还包括：
发送单元，用于当所述识别结果表示存在所述待验证对象的参考图像时，向监控系统发送存在所述待验证对象的参考图像；
所述接收单元，还用于当所述识别结果表示不存在所述待验证对象的参考图像时，从所述监控系统接收重新采集的待识别图像以更新识别结果。
上述方案中，所述映射单元，具体用于：
将所述第一图像特征的各个维度的向量，向所述第三图像特征的各个维度的向量进行非线性映射，将通过映射得到的向量组合作为所述第二图像特征。
上述方案中，所述映射单元，具体用于：
接收通过图像处理模型的第一特征模型的输出层输出的所述第一图像特征；
将所述输出层输出的所述第一图像特征进行特征映射，得到所述第二图像特征。
上述方案中，所述映射单元，具体用于：
接收通过图像处理模型的第一特征模型的中间层输出的所述第一图像特征；
将所述第一图像特征进行特征映射，并将映射得到的特征传输到所述第一特征模型的输出层；
将所述输出层输出的特征进行特征映射，得到所述第二图像特征。
上述方案中，所述确定单元，具体用于：
当所述参考图像的数量为两个或两个以上时，
将所述第二图像特征、以及从各个所述参考图像提取得到的所述第三图像特征进行归一化的映射，得到所述待验证对象与所述参考对象之间的相似度；
基于所述相似度的降序排列，确定与所述待验证对象相同的参考图像。
上述方案中，所述确定单元，具体用于：
当所述参考图像的数量为一个时，
确定所述第二图像特征与所述第三图像特征的向量距离；
当所述向量距离小于设定的向量距离阈值时，确定与所述待识别图像承载相同对象的参考图像。
第五方面，本发明实施例提供一种图像处理装置，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述可执行指令时，实现本发明实施例提供的所述的图像处理方法。
第六方面，本发明实施例还提供一种存储介质，存储有可执行指令，所述可执行指令被执行时，用于实现本发明实施例提供的所述的图像处理方法。
应用本发明上述实施例具有以下有益效果：
通过将低分辨率的第一图像特征向高分辨率的图像特征进行特征映射，使得待识别图像的特征更加丰富，从而能够结合参考图像中参考对象的高分辨率的特征进行更加全面和精确的分类处理，避免了参考图像中高分辨率的图像特征的损失，进而提高针对低分辨率的待识别图像中对象的识别准确率和效率。
附图说明
图1为本发明实施例提供的图像处理系统的一个可选的架构示意图；
图2为本发明实施例提供的图像处理装置的一个可选的硬件结构示意图；
图3为本发明实施例提供的图像处理模型的一个可选的结构示意图；
图4为本发明实施例提供的第一特征模型的一个可选的结构示意图；
图5为本发明实施例提供的第二特征模型的一个可选的结构示意图；
图6为本发明实施例提供的分类模型的一个可选的结构示意图；
图7为本发明实施例提供的图像处理方法的一个可选的流程示意图；
图8为本发明实施例提供的实现图像数据增广的一个可选的示意图；
图9为本发明实施例提供的根据实时场景实现图像处理方法的一个可选的流程示意图；
图10为本发明实施例提供的图像处理方法的一个可选的应用场景示意图；
图11为本发明实施例提供的图像处理装置的一个可选的组成结构示意图；
图12为本发明实施例提供的图像处理装置的另一个可选的组成结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且本发明实施例所记载的各技术方案之间，可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一”、“第二”等仅仅是用于区别类似的对象，不代表针对对象的特定的顺序或先后次序，可以理解地，“第一”、“第二”等在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在图示或描述的以外的顺序实施。
除非另有定义，本发明实施例所使用的所有的技术和科学术语与属于本发明实施例的技术领域的技术人员通常理解的含义相同。本发明中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)待识别图像，包含有待识别对象的低分辨率的图像(相对于参考图像的分辨率而言)，可以是摄像头等图像采集装置直接采集到的图像。以待识别图像所承载的对象为人脸为例(当然，对象可以为在图像中能够成像的任意元素，如物体、人体和人体特定部位等)，这里的低分辨率的人脸图像，可以运用于各监控场景，如银行、国防机构、机场或车站等场景下的人脸识别系统中。
2)参考图像，用于与待识别图像进行比对的高分辨率(相对于待识别图像的分辨率而言)的图像，用于供图像处理模型进行分类以判断待识别图像与参考图像是否包括相同的对象。
3)上采样，放大图像或图像插值，使图像符合叫原始图像更大的显示区域，上采样后图像的清晰程度(分辨率)将降低。
4)下采样，缩小图像或降采样，使得图像符合一个叫原始图像更小的显示区域、且在视觉效果上较原始图像更模糊(即分辨率更低)。
在实际实施时，本发明实施例的图像处理方法可以应用于服务器或终端，以应用于服务器为例，下面对本发明实施例的图像处理系统的架构进行说明。
图1为本发明实施例提供的图像处理系统100的一个可选的架构示意图，参见图1，为实现支撑的一个示例性应用，终端400(示例性示出了终端400-1和终端400-2)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。
在一些实施例中，终端400，用于在用户通过客户端触发图像识别指令时，发送图像识别请求给服务器200，这里可将待识别图像携带在图像识别请求中一起发送给服务器；
服务器200，用于接收终端发送的图像识别请求，获得待识别图像，并提取待识别图像中待验证对象的第一图像特征；然后，将第一图像特征进行特征映射得到第二图像特征，这里的第二图像特征的特征维度多于第一图像特征的特征维度；基于第二图像特征和参考图像中参考对象的第三图像特征，确定待验证对象与参考对象之间的相似度；最后，基于确定的相似度输出识别结果给终端。
终端400，还用于接收服务器发送的识别结果，并通过图形界面410(示例性示出了图形界面410-1和图形界面410-2)显示接收到的识别结果，即显示是否存在待验证对象的参考图像。
接下来对本发明实施例提供的图像处理装置进行说明。本发明实施例提供的图像处理装置可以实施为硬件或者软硬件结合的方式，下面说明本发明实施例提供的装置的各种示例性实施。
现在将参考附图描述实现本发明实施例的图像处理装置，图像处理装置可以以各种形式例如服务器(如云端服务器)、终端(如台式机电脑、笔记本电脑或智能手机等)来实施。下面对本发明实施例的图像处理装置的硬件结构做进一步说明，图2为本发明实施例提供的图像处理装置的一个可选的硬件结构示意图，可以理解，图2仅仅示出了图像处理装置的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。
本发明实施例提供的图像处理装置200包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。图像处理装置200中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。
其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。
本发明实施例中的存储器202用于存储各种类型的数据以支持图像处理装置200的操作。这些数据的示例包括：用于在图像处理装置200上操作的任何可执行指令，如计算机程序，包括可执行程序和操作系统，实现本发明实施例的图像处理方法的程序可以包含在可执行指令中。
本发明实施例揭示的图像处理方法可以应用于处理器201中，或者由处理器201实现。处理器201可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，图像处理方法的各步骤可以通过处理器201中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器201可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器201可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的图像处理方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器202，处理器201读取存储器202中的信息，结合其硬件完成本发明实施例提供的图像处理方法的步骤。
图像识别技术是基于深度学习算法，利用大规模的图像数据集对深度网络进行自动化训练，从而使得深度网络具有分辨不同图像的能力，进而获得识别结果。而图像处理模型的结构对于深度学习算法的影响尤为重要，针对低分辨率的待识别图像，普通的网络结构的算法复杂度和对硬件资源的消耗较高，同时也不能很好的解决低分辨率图像的识别问题。
基于该问题，本发明实施例提供新的图像处理模型，可以基于该图像处理模型实现本发明实施例的图像处理方法。
图3为本发明实施例提供的图像处理模型的一个可选的结构示意图，参见图3，图像处理模型包括第一特征模型31、第二特征模型32、映射层33、全连接层34和分类模型35。可以理解，图3仅仅示出了图像处理模型的示例性结构而非全部结构，根据需要可以实施图3示出的部分结构或全部结构。接下来对图像处理模型中涉及的各组成部分的结构进行说明。
下面首先对第一特征模型的结构进行说明。图4为本发明实施例提供的第一特征模型的一个可选的结构示意图，第一特征模型例如可为各种类型的神经网络模型，作为示例，参见图4，第一特征模型可以包括输入层、若干个中间层(这里仅示例出了5个中间层，包括层1至层5)及输出层，其中，输入层用于接收低分辨率的待识别图像，例如可用Iv表示输入的低分辨率的待识别图像；中间层也可称为隐藏层，包括卷积层、最大池化层(图中未示出)，主要用于对待识别图像Iv所承载的对象进行特征提取，以得到第一图像特征，例如可用X1表示对待识别图像进行特征提取后得到的第一图像特征，即X1＝f(Iv；Ws1)，Ws1表示第一特征模型的参数，是由第一特征模型在训练过程中自行学习到的参数；其中，在第一特征模型中，Ws1包括权重(用w1来表示)和偏置(用b1来表示)，也就是说，w1和b1在第一特征模型的训练过程中进行自动更新，f()表示实现特征提取的深度网络函数；输出层用于将第一图像特征X1进行输出显示。
接下来对第二特征模型的结构进行说明。图5为本发明实施例提供的第二特征模型的一个可选的结构示意图，第二特征模型例如也可为各种类型的神经网络模型，作为示例，参见图5，第二特征模型可以包括输入层、若干个中间层(这里仅示例出了5个中间层，包括层1至层5)以及输出层，其中，输入层用于接收高分辨率的参考图像，例如可用Io表示输入的高分辨率的参考图像；中间层也可称为隐藏层，包括卷积层、最大池化层(图中未示出)，主要用于对参考图像Io所承载的对象进行特征提取，以得到第三图像特征，例如可用X2表示对参考图像进行特征提取后得到的第三图像特征，即X2＝f(Io；Ws2)，Ws2表示第二特征模型的参数，是由第二特征模型在训练过程中自行学习到的参数；其中，在第二特征模型中，Ws2包括权重(用w2来表示)和偏置(用b2来表示)，也就是说，w2和b2在第二特征模型的训练过程中进行自动更新，f()同样用于表示实现特征提取的深度网络函数；输出层用于将第三图像特征X2进行输出显示。
需要指出的是，本发明实施例中的第一特征模型的参数Ws1与第二特征模型的参数Ws2相同，即第一特征模型与第二特征模型共享参数；也就是说，w1与w2相同，b1与b2相同，即第一特征模型与第二特征模型共享权重和偏置。
本发明实施例基于图像处理模型实现图像处理方法的过程中，在获得第一图像特征之后，还通过映射层将第一图像特征进行特征映射得到第二图像特征，即将第一图像特征的各个维度的向量，向第三图像特征的各个维度的向量进行非线性映射，将通过映射得到的向量组合作为第二图像特征；其中，第二图像特征的特征维度多于第一图像特征的特征维度，这样，将低分辨率的第一图像特征向高分辨率的第三图像特征进行特征映射，从而避免了高分辨率图像特征的信息损失，能够从源头上提高针对低分辨率的待识别图像的识别准确率。
全连接层，用于将经过多个卷积层和池化层的图像特征中的特征进行整合，获取图像特征具有的高层含义，便于后续进行图像分类。也就是说，这里的全连接层用于接收第二图像特征和第三图像特征，将第二图像特征和第三图像特征中的特征进行整合，得到能够区分不同类别的特征信息。
在图像处理模型中，全连接层将第一特征模型和第二特征模型的卷积层产生的特征映射成一个固定长度(一般为输入图像数据集中的图像类别数)的特征向量。这个特征向量包含了输入图像所有特征的组合信息，虽然丢失了图像的位置信息，但是该特征向量将图像中特征点的特征被保留了下来。
接下来对分类模型的结构进行说明。图6为本发明实施例提供的分类模型的一个可选的结构示意图，分类模型例如可为归一化指数函数(Softmax)模型，参见图6，将经过全连接层整合后的特征输入至分类模型即Softmax函数层中，通过Softmax函数层(每个节点代表一个Softmax函数)的Softmax函数映射成为0至1区间内的值，且这些值的累和为1，那么，分类模型的最后一层作为预测分类的输出节点，每个节点代表一个分类(输入的待识别图像具体所属类别的概率)，在最后选取输出节点时，将选取概率最大(即输出的值对应最大)的节点的图像作为预测的与待识别图像承载相同对象的参考图像。
基于上述对图像处理模型的结构的描述，接下来对本发明实施例提供的图像处理方法的具体实现过程进行说明。
图7为本发明实施例提供的图像处理方法的一个可选的流程示意图，该图像处理方法可应用于嵌入有图像处理模型的服务器或终端中，在此不做限定。参见图7，本发明实施例提供的图像处理方法的实现流程，包括以下步骤：
步骤701：通过第一特征模型的输入层接收待识别图像，并通过第一特征模型的中间层提取待识别图像所承载对象的第一图像特征。
这里，所述待识别图像包括通过调用监控系统在监控区域内所检测到的所有的图像。通常来说，调用的监控系统可以包括银行、国防机构、机场等场景下用于进行人脸识别的系统，本发明实施例中的待识别图像，指的是通过图像处理模型进行识别的低分辨率的图像。
在一些实施例中，在通过第一特征模型的输入层接收待识别图像之前，该方法还包括：
对图像数据库中的各样本图像进行下采样，生成新的不同分辨率的样本图像；将所述不同分辨率的样本图像以及所述参考图像代入映射损失函数，迭代更新所述第一特征模型的参数。
这里，可以预先随机设置不同程度的下采样率，这样，就可以基于下采样率，对图像数据库中的各样本图像进行不同程度的下采样，即对图像数据库中的原有图像进行数据增广，生成新的不同分辨率的样本图像，之后再利用增广的图像数据对第一特征模型进行训练，即利用增广的图像数据迭代更新第一特征模型的参数，使得第一特征模型通过学习可以获得更多的低分辨率的图像特征，从而提高低分辨率的待识别图像的识别准确率。其中，在对图像数据库中的原有图像数据进行下采样得到增广数据之后，将对这些增广数据利用双线性插值的方式统一上采样到原始的图像大小，用以模拟实际情况下，因为低分辨率造成的图像模糊的情况，最终利用增广后的不同分辨率的样本图像进行深度网络即第一特征模型的训练。
需要说明的是，针对图像数据库中的每个样本图像而言，随机选取下采样率进行下采样，可以有效覆盖各个不同分辨率下的样本图像，充分满足实际场景下待识别图像存在不同分辨率大小的现状。
以图像为人脸为例，图8为本发明实施例提供的实现图像数据增广的一个可选的示意图，参见图8，假设从人脸数据库中任意选取一张人脸图片，该人脸图片的分辨率为400*400(单位为像素)，基于设置的不同程度的下采样率，对所选取的人脸图片进行下采样，例如将所选取的人脸图片下采样到100*100，200*200，300*300等更低分辨率的图片，之后将下采样处理的人脸图片统一上采样到400*400的大小，可见，最终得到的人脸图片是与初始选取的人脸图片具有相同尺寸的更模糊的图片。
这里，针对人脸数据库中的每个人脸图片来说，可以采用自适应的方式进行数据增广。例如，针对高分辨率的人脸图片来说，可以增加随机选取的下采样率的数量，使之产生更多的低分辨率的人脸图片。相应的，针对人脸数据库中已经属于低分辨率的人脸图片来说，可以减少随机选取的下采样率的数量，从而产生较少的低分辨率的人脸图片。这样，采用动态自适应的方式进行图像数据增广的方案，可以减少图像数据增广中所产生的无意义的图像，例如完全无法识别的图像，从而减轻对第一特征模型进行训练的压力，提升训练效果。
需要说明的是，针对不同分辨率大小的原始图片，需要限制下采样率的范围，以确保生成的低分辨率的最小图片和最大图片满足实际需求。举例来说，一张分辨率为800*800的人脸图片，可以选取7至10个不同的下采样率进行下采样，将下采样率的范围限制为8至10倍，但必须满足最终下采样后的图片的分辨率都在50*50以上，保证训练数据集中的所有图片能够包含原始图片中的特征。
步骤702：通过第一特征模型的输出层传输给映射层，并通过映射层将所述第一图像特征进行特征映射得到第二图像特征。
实际实施时，通过特征映射得到的第二图像特征的特征维度，多于第一图像特征的特征维度。
在一些实施例中，在将所述第一图像特征进行特征映射得到第二图像特征之前，该方法还包括：确定映射层的映射损失函数相对于所述映射层的参数的梯度，并在所述梯度中滤除对应所述参考图像的因子，所述映射层用于在所述第一特征模型中对所述第一图像特征进行特征映射；
将不同特征维度的样本图像代入经过滤除处理的所述梯度，以确定所述映射层的更新的参数。
目前，相关技术中，通常采用L2损失函数对两个神经网络的双通道中的特征进行训练，期望这两个双通道中提取出来的特征在欧式距离上能够互相靠近。然而，对于低分辨率的待识别图像而言，从图像数据库中的高分辨率的参考图像提取出来的特征具有更加丰富的信息，如果将高分辨率的图像特征向低分辨率的图像特征进行特征映射，将会造成高分辨率的图像特征的信息损失，降低图像识别的准确率，且考虑到低分辨率的图像特征相对于高分辨率的图像特征具有更少的信息，因此，没有理由将高分辨率的图像特征向低分辨率的图像特征进行特征映射。
针对该问题，本发明实施例提供了一种新的损失函数，用来保持高分辨率的图像特征不变的同时，将低分辨率的图像特征向高分辨率的图像特征进行特征映射，从而从源头上提高针对低分辨率的待识别图像的识别准确率。
在实际实施时，第一特征模型的参数与第二特征模型的参数相同，即第一特征模型与第二特征模型共享参数，可以有效提高特征模型的训练效率。当然，第一特征模型与第二特征模型也可以具有不同的网络结构，例如第二特征模型可以相较于第二特征模型更多的卷积层和全连接层，从而更有针对性的处理低分辨率的图像的识别问题。相应的，若第一特征模型与第二特征模型具有不同的网络结构，则需要增加网络复杂度，即增加硬件资源的需求。
假设将实现特征提取的特征模型(包括第一特征模型和第二特征模型)记为f()，将第一图像特征向第三图像特征进行特征映射的映射函数记为h()，则本发明实施例的映射损失函数可采用以下公式(1)表示：
其中，Io表示输入的高分辨率的参考图像；Iv表示输入的低分辨率的待识别图像；Ws表示实现特征提取的特征模型的参数(这里的Ws等同于前述涉及的Ws1和Ws2)，即映射层的参数。
实际实施时，本发明实施例在确定用于对第一图像特征进行特征映射的映射层的映射损失函数L2后，将计算映射损失函数L2相对于映射层的参数Ws的梯度，即将映射损失函数L2相对于映射层的参数Ws求取偏导，可采用以下公式(2)来表示求取映射损失函数L2的梯度的函数：
需要说明的是，公式(2)中的各参数的含义与上述公式(1)中各参数的含义相同，这里不再赘述。
可见，在求取映射损失函数L2的梯度的函数表达式中，一共包括两项：用于表示对应参考图像的因子，该项的目的是为了使高分辨率的图像特征向低分辨率的图像特征靠近；用于表示对应待识别图像的因子，该项的目的是为了使低分辨率的图像特征向高分辨率的图像特征靠近。基于上面的分析，本发明实施例将通过反传梯度中的第一项即设置为0，即在梯度中滤除对应参考图像的因子，而仅保留从而避免高分辨率的图像特征的信息损失，有效提高识别准确率。
这里，通过映射损失函数L2的梯度的值的变化，来表示将第一图像特征进行特征映射的信息损失程度。
在一些实施例中，可通过如下方式进行特征映射：
将所述第一图像特征的各个维度的向量，向所述第三图像特征的各个维度的向量进行非线性映射，将通过映射得到的向量组合作为所述第二图像特征。
这里，可采用超分辨率技术(SR，Super Resolution)对第一图像特征进行特征映射，具体地，将第一图像特征的各个维度的向量，向第三图像特征的各个维度的向量进行非线性映射，使得从低分辨率的图像特征重建出相应的高分辨率的图像特征，也就是说，通过映射得到的向量组合对应的图像特征的特征维度多于第一图像特征的特征维度，能够提高图像分辨率。
在实际实施时，在对第一图像特征进行特征映射时，可以选择不同的特征映射的位置，对第一图像特征进行特征映射，以得到第二图像特征。
例如，可通过如下方式的位置实现特征映射：将所述第一特征模型的输出层输出的所述第一图像特征进行特征映射，得到所述第二图像特征。
这里，由于输出层是实际测试网络即第一特征模型中的输出特征层，因此，本发明实施例选取了最后一层即输出层进行特征映射，具体地，将所述第一特征模型的输出层所输出的第一图像特征向第三图像特征进行非线性的特征映射，以得到所述第二图像特征。
再例如，对于深度较深的网络，为了保证模型训练效果，可以在中间层中增加对第一图像特征的映射。具体地，可通过如下方式的位置实现特征映射：将所述第一特征模型的中间层输出的所述第一图像特征进行特征映射，并将映射得到的特征传输到所述第一特征模型的输出层；
将所述输出层输出的特征进行特征映射，得到所述第二图像特征。
这里，将映射得到的特征传输到所述第一特征模型的输出层，可以包括直接传输和间接传输。其中，以图4所示的第一特征模型的结构为例进行说明，直接传输可以理解为，对第一特征模型的中间层-层5输出的第一图像特征进行特征映射，然后将映射得到的特征传输到输出层，进而再将输出层输出的特征进行特征映射，得到所述第二图像特征。
间接传输可以理解为，假设对第一特征模型的中间层-层2输出的第一图像特征进行特征映射，然后将映射得到的特征先依次传输到层3、层4、层5，最后传输到输出层，进而再将输出层输出的特征进行特征映射，得到所述第二图像特征。
步骤703：通过第二特征模型的输入层接收参考图像，并通过第二特征模型的中间层提取参考图像所承载对象的第三图像特征。
在实际实施时，所述参考图像的分辨率高于所述待识别图像的分辨率。
步骤704：通过分类模型的接收层接收第二图像特征和第三图像特征，并在分类模型的中间层基于第二图像特征和第三图像特征进行分类处理，以确定待识别图像所承载对象与参考图像所承载对象之间的相似度。
在一些实施例中，可通过如下方式进行分类处理：
当输入所述分类模型的参考图像的数量为两个或两个以上时，
将所述第二图像特征、以及从各个所述参考图像提取得到的所述第三图像特征进行归一化的映射，得到所述待识别图像所承载对象与所述参考图像所承载对象之间的相似度；
基于所述相似度的降序排列，确定与所述待识别图像承载相同对象的参考图像。
这里，将所述第二图像特征和第三图像特征进行归一化的映射，可以理解成将第二图像特征和第三图像特征输入到分类模型即Softmax函数中，将第二图像特征的各个维度的向量，以及第三图像特征的各个维度的向量整合后通过Softmax函数的作用，映射成0至1区间内的值，映射得到的值用来表示所述待识别图像所承载对象与所述参考图像所承载对象之间的相似度。然后，基于相似度的降序排列，将相似度最高，且相似度超出设定的相似度阈值的参考图像，确定为与待识别图像承载相同对象的参考图像。
在一些实施例中，可通过如下方式进行分类处理：
当输入所述分类模型的参考图像的数量为一个时，
确定所述第二图像特征与所述第三图像特征的向量距离；
当所述向量距离小于设定的向量距离阈值时，确定与所述待识别图像承载相同对象的参考图像。
这里，本发明实施例先确定第二图像特征与第三图像特征的向量距离，然后，基于向量距离与向量距离阈值的比较结果，来确定待识别图像所承载对象与参考图像所承载对象是否相同。其中，所述向量距离可以采用欧式距离来表示，也可以采用余弦距离来表示，在此也不做限定。向量距离与相似度之间具有负相关关系，即任意两个向量之间的距离越小，则表示这两个向量对应的待识别图像与参考图像之间的相似度越高。
需要说明的是，之所以计算两个向量的距离，是因为任意两个信息的向量之间的距离，表示两个信息之间的相似度。
采用本发明实施例提供的技术方案，通过将低分辨率的第一图像特征向高分辨率的图像特征进行特征映射，使得待识别图像的特征更加丰富，从而能够结合参考图像中参考对象的高分辨率的特征进行更加全面和精确的分类处理，避免了参考图像中高分辨率的图像特征的损失，进而提高针对低分辨率的待识别图像中对象的识别准确率和效率，为实际应用中各类监控场景下的图像识别需求提供了强有力的技术支持；同时，从算法层面来看，本发明实施例还大大降低了对于硬件资源的需求，以及有效提高了算法的速度，能够满足用户对图像识别检索的需求，在实际场景中更加具有应用价值。
接下来以应用图像处理方法的实时场景如监控场景为例，对本发明实施例提供的图像处理方法进行说明。
图9为本发明实施例提供的根据实时场景实现图像处理方法的一个可选的流程示意图，该图像处理方法可应用于服务器侧或终端侧(即嵌入有上述图像处理模型的服务器或终端)，在此不做限定。以应用于终端为例，可以将图像处理方法应用于嵌入有图像处理模型的终端应用程序(APP，Application)、终端的软件模块或插件中。参见图9，本发明实施例提供的根据实时场景实现图像处理方法的实现流程，包括以下步骤：
步骤901：接收待识别图像，并提取所述待识别图像中待验证对象的第一图像特征。
在一些实施例中，可通过如下方式接收待识别图像：调用监控系统在监控区域检测所述待验证对象；接收图像采集系统针对所述待验证对象采集得到的所述待识别图像。
这里的监控系统，例如可应用于包括银行、国防机构、机场和车站等具有监控设备的场景下。需要说明的是，本发明实施例中的待验证对象，可为图像采集系统中的摄像头等图像采集装置直接采集到的图像。
步骤902：将所述第一图像特征进行特征映射得到第二图像特征。
这里，在实际实施时，所述第二图像特征的特征维度多于所述第一图像特征的特征维度。
在一些实施例中，可通过如下方式进行特征映射：将所述第一图像特征的各个维度的向量，向所述第三图像特征的各个维度的向量进行非线性映射，将通过映射得到的向量组合作为所述第二图像特征。
在实际实施时，在对第一图像特征进行特征映射时，可选择不同的特征映射的位置，对第一图像特征进行特征映射，以得到第二图像特征。
例如，可通过如下方式的位置实现特征映射：接收通过图像处理模型的第一特征模型的输出层输出的所述第一图像特征；将所述输出层输出的所述第一图像特征进行特征映射，得到所述第二图像特征。
再例如，可通过如下方式的位置实现特征映射：接收通过图像处理模型的第一特征模型的中间层输出的所述第一图像特征；
将所述第一图像特征进行特征映射，并将映射得到的特征传输到所述第一特征模型的输出层；
将所述输出层输出的特征进行特征映射，得到所述第二图像特征。
步骤903：基于所述第二图像特征和参考图像中参考对象的第三图像特征，确定所述待验证对象与所述参考对象之间的相似度。
在一些实施例中，可通过如下方式确定待验证对象与参考对象之间的相似度：当所述参考图像的数量为两个或两个以上时，将所述第二图像特征、以及从各个所述参考图像提取得到的所述第三图像特征进行归一化的映射，得到所述待验证对象与所述参考对象之间的相似度；
基于所述相似度的降序排列，确定与所述待验证对象相同的参考图像。
在一些实施例中，可通过如下方式确定待验证对象与参考对象之间的相似度：当所述参考图像的数量为一个时，确定所述第二图像特征与所述第三图像特征的向量距离；
当所述向量距离小于设定的向量距离阈值时，确定与所述待识别图像承载相同对象的参考图像。
步骤904：基于所述相似度输出识别结果，所述识别结果表示是否存在所述待验证对象的参考图像。
在一些实施例中，该方法还包括：
当所述识别结果表示存在所述待验证对象的参考图像时，向监控系统发送存在所述待验证对象的参考图像；
当所述识别结果表示不存在所述待验证对象的参考图像时，从所述监控系统接收重新采集的待识别图像以更新识别结果。
这里，当基于相似度输出表示存在待验证对象的参考图像的识别结果时，服务器将向监控系统发送存在待验证对象的参考图像，并将参考图像在监控系统的显示屏上进行显示；当基于相似度输出表示不存在所述待验证对象的参考图像时，将从监控系统接收重新采集的待识别图像，直至重新采集待识别图像的次数达到最大次数；或者，重新采集待识别图像的时机满足设定条件，比如通过调用监控系统检测到待识别对象离开监控区域时，则停止采集待识别图像。
需要说明的是，根据实时场景实现图像处理方法的具体处理过程与上文描述的图像处理方法的处理过程相同，这里不再赘述。
下面以待识别图像为人脸，应用场景为监控场景为例，对本发明实施例的图像处理方法进行说明。
图10为本发明实施例提供的图像处理方法的一个可选的应用场景示意图，参见图10，假设待识别图像为用户A的人脸(简称人脸A)，且人脸A为监控系统在监控区域如用户通过人脸打卡闸机时检测到的低分辨率的对象，当人脸A通过闸机时，服务器或终端将对该人脸A进行识别，以确定人脸数据库中是否存在与人脸A相匹配的原始的人脸图像，以及判断该人脸A是否能够通过该闸机。
在识别的过程中，首先，将人脸A输入到神经网络1中，通过神经网络1提取人脸A中的图像特征X1；然后，将图像特征X1的各个维度的向量，向原始的人脸图像中的图像特征的各个维度的向量进行非线性映射(即将低分辨率的人脸图片中提取出来的特征，向高分辨率的人脸图片中提取出来的特征进行映射)，得到相较于图像特征X1的特征维度更高的图像特征X2；实际实施时，会预先将人脸数据库中的原始的人脸图像输入到神经网络2中，通过神经网络2提取原始的人脸图像中的图像特征X3(X3包括两个或两个以上的高分辨率的图像特征)，且神经网络1与神经网络2采用完全相同的网络结构，同时，神经网络1与神经网络2共享参数；接下来，图像特征X2与图像特征X3通过全连接层进行特征整合，得到具有类别区分性的局部信息的特征，最后，将图像特征X2与图像特征X3输入到分类模型如Softmax函数中，确定人脸A与人脸数据库中的所有人脸之间的相似程度，这里的相似程度可用Softmax函数输出的向量结果表示，其中，每个向量元素分别表示输入的人脸A具体所属类别的概率。选取概率最大，且概率超出设定的相似度阈值的向量对应的人脸数据库中的人脸图片，作为最终的预测目标人脸B。
接下来，基于上述图1所示的图像处理系统的架构示意图和图2所示的图像处理装置的硬件结构示意图，对本发明实施例提供的图像处理装置的一种组成结构进行说明。
图11为本发明实施例提供的图像处理装置的一个可选的组成结构示意图，该装置可位于服务器侧或终端侧，以该装置位于嵌入有上述图像处理模型的服务器侧为例，参见图11，本发明实施例提供的图像处理装置包括：
第一特征模型处理单元111，用于接收待识别图像，并提取所述待识别图像所承载对象的第一图像特征，以及将所述第一图像特征进行特征映射得到第二图像特征，所述第二图像特征的特征维度多于所述第一图像特征的特征维度；
第二特征模型处理单元112，用于接收参考图像，并提取所述参考图像所承载对象的第三图像特征，所述参考图像的分辨率高于所述待识别图像的分辨率；
分类模型处理单元113，用于基于接收的所述第二图像特征和所述第三图像特征进行分类处理，以确定所述待识别图像所承载对象与所述参考图像所承载对象之间的相似度。
在一些实施例中，就所述第一特征模型处理单元将所述第一图像特征进行特征映射得到第二图像特征来说，可以采用以下方式实现：将所述第一图像特征的各个维度的向量，向所述第三图像特征的各个维度的向量进行非线性映射，将通过映射得到的向量组合作为所述第二图像特征。
在一些实施例中，基于特征映射的位置不同，就所述第一特征模型处理单元将所述第一图像特征进行特征映射得到第二图像特征来说，
例如，可以采用以下方式实现：将所述第一特征模型的输出层输出的所述第一图像特征进行特征映射，得到所述第二图像特征。
又例如，可以采用以下方式实现：首先，将所述第一特征模型的中间层输出的所述第一图像特征进行特征映射，并将映射得到的特征传输到所述第一特征模型的输出层；然后，将所述输出层输出的特征进行特征映射，得到所述第二图像特征。
在一些实施例中，当输入所述分类模型的参考图像的数量为两个或两个以上时，就所述分类模型处理单元基于接收的所述第二图像特征和所述第三图像特征进行分类处理来说，可以采用以下方式实现：将所述第二图像特征、以及从各个所述参考图像提取得到的所述第三图像特征进行归一化的映射，得到所述待识别图像所承载对象与所述参考图像所承载对象之间的相似度；
基于所述相似度的降序排列，确定与所述待识别图像承载相同对象的参考图像。
在一些实施例中，当输入所述分类模型的参考图像的数量为一个时，就所述分类模型处理单元基于接收的所述第二图像特征和所述第三图像特征进行分类处理来说，可以采用以下方式实现：
确定所述第二图像特征与所述第三图像特征的向量距离；
当所述向量距离小于设定的向量距离阈值时，确定与所述待识别图像承载相同对象的参考图像。
在一些实施例中，所述装置还包括：
第一训练处理单元，用于在所述第一特征模型处理单元接收待识别图像之前，对图像数据库中的各样本图像进行下采样，生成新的不同分辨率的样本图像；
将所述不同分辨率的样本图像以及所述参考图像代入映射损失函数，迭代更新所述第一特征模型的参数。
在一些实施例中，所述装置还包括：
第二训练处理单元，用于在所述第一特征模型处理单元将所述第一图像特征进行特征映射得到第二图像特征之前，
确定映射层的映射损失函数相对于所述映射层的参数的梯度，并在所述梯度中滤除对应所述参考图像的因子，所述映射层用于在所述第一特征模型中对所述第一图像特征进行特征映射；
将不同特征维度的样本图像代入经过滤除处理的所述梯度，以确定所述映射层的更新的参数。
接下来，基于上述图1所示的图像处理系统的架构示意图和图2所示的图像处理装置的硬件结构示意图，对本发明实施例提供的图像处理装置的另一种组成结构进行说明。
图12为本发明实施例提供的图像处理装置的另一个可选的组成结构示意图，该装置可位于服务器侧或终端侧，以该装置位于服务器侧为例，参见图12，本发明实施例提供的图像处理装置包括：
接收单元121，用于接收待识别图像；
提取单元122，用于提取所述待识别图像中待验证对象的第一图像特征；
映射单元123，用于将所述第一图像特征进行特征映射得到第二图像特征，所述第二图像特征的特征维度多于所述第一图像特征的特征维度；
确定单元124，用于基于所述第二图像特征和参考图像中参考对象的第三图像特征，确定所述待验证对象与所述参考对象之间的相似度；
输出单元125，用于基于所述相似度输出识别结果，所述识别结果表示是否存在所述待验证对象的参考图像。
在一些实施例中，就所述接收单元接收待识别图像来说，可以采用以下方式实现：调用监控系统在监控区域检测所述待验证对象；接收图像采集系统针对所述待验证对象采集得到的所述待识别图像。
在一些实施例中，所述装置还包括：
发送单元，用于当所述识别结果表示存在所述待验证对象的参考图像时，向监控系统发送存在所述待验证对象的参考图像；
所述接收单元，还用于当所述识别结果表示不存在所述待验证对象的参考图像时，从所述监控系统接收重新采集的待识别图像以更新识别结果。
在一些实施例中，就所述映射单元将所述第一图像特征进行特征映射得到第二图像特征来说，可以采用以下方式实现：将所述第一图像特征的各个维度的向量，向所述第三图像特征的各个维度的向量进行非线性映射，将通过映射得到的向量组合作为所述第二图像特征。
在一些实施例中，基于特征映射的位置不同，就所述映射单元将所述第一图像特征进行特征映射得到第二图像特征来说，
例如，可以采用以下方式实现：接收通过图像处理模型的第一特征模型的输出层输出的所述第一图像特征；将所述输出层输出的所述第一图像特征进行特征映射，得到所述第二图像特征。
又例如，可以采用以下方式实现：接收通过图像处理模型的第一特征模型的中间层输出的所述第一图像特征；将所述第一图像特征进行特征映射，并将映射得到的特征传输到所述第一特征模型的输出层；将所述输出层输出的特征进行特征映射，得到所述第二图像特征。
在一些实施例中，就所述确定单元基于所述第二图像特征和参考图像中参考对象的第三图像特征，确定所述待验证对象与所述参考对象之间的相似度来说，可以采用以下方式来实现：当所述参考图像的数量为两个或两个以上时，
将所述第二图像特征、以及从各个所述参考图像提取得到的所述第三图像特征进行归一化的映射，得到所述待验证对象与所述参考对象之间的相似度；
基于所述相似度的降序排列，确定与所述待验证对象相同的参考图像。
在一些实施例中，就所述确定单元基于所述第二图像特征和参考图像中参考对象的第三图像特征，确定所述待验证对象与所述参考对象之间的相似度来说，可以采用以下方式来实现：当所述参考图像的数量为一个时，
确定所述第二图像特征与所述第三图像特征的向量距离；
当所述向量距离小于设定的向量距离阈值时，确定与所述待识别图像承载相同对象的参考图像。
本发明实施例还提供了一种图像处理装置，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述可执行指令时，实现本发明实施例提供的上述图像处理方法。
本发明实施例还提供了一种存储介质，存储有可执行指令，所述可执行指令被执行时，用于实现本发明实施例提供的上述图像处理方法。
综上所述，本发明实施例的技术方案通过将低分辨率的第一图像特征向高分辨率的图像特征进行特征映射，使得待识别图像的特征更加丰富，从而能够结合参考图像中参考对象的高分辨率的特征进行更加全面和精确的分类处理，避免了参考图像中高分辨率的图像特征的损失，进而提高针对低分辨率的待识别图像中对象的识别准确率和效率，为实际应用中各类监控场景下的图像识别需求提供了强有力的技术支持。
同时，从算法层面来看，本发明实施例还大大降低了对于硬件资源的需求，以及有效提高了算法的速度，能够满足用户对图像识别检索的需求，在实际场景中更加具有应用价值。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
接收待识别图像，并通过图像处理模型的第一特征模型提取所述待识别图像所承载对象的第一图像特征；
将所述第一图像特征进行特征映射得到第二图像特征，所述第二图像特征的特征维度多于所述第一图像特征的特征维度；
接收参考图像，通过所述图像处理模型的第二特征模型提取所述参考图像所承载对象的第三图像特征，所述参考图像的分辨率高于所述待识别图像的分辨率；
通过所述图像处理模型的分类模型，基于接收的所述第二图像特征和所述第三图像特征进行分类处理，以确定所述待识别图像所承载对象与所述参考图像所承载对象之间的相似度。
2.如权利要求1所述的方法，其特征在于，
所述将所述第一图像特征进行特征映射得到第二图像特征，包括：
将所述第一图像特征的各个维度的向量，向所述第三图像特征的各个维度的向量进行非线性映射，将通过映射得到的向量组合作为所述第二图像特征。
3.如权利要求1所述的方法，其特征在于，
所述将所述第一图像特征进行特征映射得到第二图像特征，包括：
将所述第一特征模型的输出层输出的所述第一图像特征进行特征映射，得到所述第二图像特征。
4.如权利要求1所述的方法，其特征在于，
所述将所述第一图像特征进行特征映射得到第二图像特征，包括：
将所述第一特征模型的中间层输出的所述第一图像特征进行特征映射，并将映射得到的特征传输到所述第一特征模型的输出层；
将所述输出层输出的特征进行特征映射，得到所述第二图像特征。
5.如权利要求1所述的方法，其特征在于，
所述基于接收的所述第二图像特征和所述第三图像特征进行分类处理，包括：
当输入所述分类模型的参考图像的数量为两个或两个以上时，
将所述第二图像特征、以及从各个所述参考图像提取得到的所述第三图像特征进行归一化的映射，得到所述待识别图像所承载对象与所述参考图像所承载对象之间的相似度；
基于所述相似度的降序排列，确定与所述待识别图像承载相同对象的参考图像。
6.如权利要求1所述的方法，其特征在于，
所述基于接收的所述第二图像特征和所述第三图像特征进行分类处理，包括：
当输入所述分类模型的参考图像的数量为一个时，
确定所述第二图像特征与所述第三图像特征的向量距离；
当所述向量距离小于设定的向量距离阈值时，确定与所述待识别图像承载相同对象的参考图像。
7.如权利要求1所述的方法，其特征在于，所述方法还包括：
在所述接收待识别图像之前，对图像数据库中的各样本图像进行下采样，生成新的不同分辨率的样本图像；
将所述不同分辨率的样本图像以及所述参考图像代入映射损失函数，迭代更新所述第一特征模型的参数。
8.如权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：
在将所述第一图像特征进行特征映射得到第二图像特征之前，
确定映射层的映射损失函数相对于所述映射层的参数的梯度，并在所述梯度中滤除对应所述参考图像的因子，所述映射层用于在所述第一特征模型中对所述第一图像特征进行特征映射；
将不同特征维度的样本图像代入经过滤除处理的所述梯度，以确定所述映射层的更新的参数。
9.一种图像处理方法，其特征在于，包括：
接收待识别图像，并提取所述待识别图像中待验证对象的第一图像特征；
将所述第一图像特征进行特征映射得到第二图像特征，所述第二图像特征的特征维度多于所述第一图像特征的特征维度；
基于所述第二图像特征和参考图像中参考对象的第三图像特征，确定所述待验证对象与所述参考对象之间的相似度；
基于所述相似度输出识别结果，所述识别结果表示是否存在所述待验证对象的参考图像。
10.如权利要求9所述的方法，其特征在于，
所述接收待识别图像，包括：
调用监控系统在监控区域检测所述待验证对象；
接收图像采集系统针对所述待验证对象采集得到的所述待识别图像。
11.如权利要求9所述的方法，其特征在于，所述方法还包括：
当所述识别结果表示存在所述待验证对象的参考图像时，向监控系统发送存在所述待验证对象的参考图像；
当所述识别结果表示不存在所述待验证对象的参考图像时，从所述监控系统接收重新采集的待识别图像以更新识别结果。
12.一种图像处理装置，其特征在于，包括：
第一特征模型处理单元，用于接收待识别图像，并提取所述待识别图像所承载对象的第一图像特征，以及将所述第一图像特征进行特征映射得到第二图像特征，所述第二图像特征的特征维度多于所述第一图像特征的特征维度；
第二特征模型处理单元，用于接收参考图像，并提取所述参考图像所承载对象的第三图像特征，所述参考图像的分辨率高于所述待识别图像的分辨率；
分类模型处理单元，用于基于接收的所述第二图像特征和所述第三图像特征进行分类处理，以确定所述待识别图像所承载对象与所述参考图像所承载对象之间的相似度。
13.一种图像处理装置，其特征在于，包括：
接收单元，用于接收待识别图像；
提取单元，用于提取所述待识别图像中待验证对象的第一图像特征；
映射单元，用于将所述第一图像特征进行特征映射得到第二图像特征，所述第二图像特征的特征维度多于所述第一图像特征的特征维度；
确定单元，用于基于所述第二图像特征和参考图像中参考对象的第三图像特征，确定所述待验证对象与所述参考对象之间的相似度；
输出单元，用于基于所述相似度输出识别结果，所述识别结果表示是否存在所述待验证对象的参考图像。
14.一种图像处理装置，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述可执行指令时，实现如权利要求1至8任一项所述的图像处理方法，或者如权利要求9至11任一项所述的图像处理方法。
15.一种存储介质，其特征在于，存储有可执行指令，所述可执行指令被执行时，用于实现如权利要求1至8任一项所述的图像处理方法，或者如权利要求9至11任一项所述的图像处理方法。
CN201910206834.0A 2019-03-19 2019-03-19 一种图像处理方法、装置及存储介质 Active CN109977832B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910206834.0A CN109977832B (zh) 2019-03-19 2019-03-19 一种图像处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910206834.0A CN109977832B (zh) 2019-03-19 2019-03-19 一种图像处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN109977832A true CN109977832A (zh) 2019-07-05
CN109977832B CN109977832B (zh) 2024-03-29

Family

ID=67079452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910206834.0A Active CN109977832B (zh) 2019-03-19 2019-03-19 一种图像处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN109977832B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705469A (zh) * 2019-09-30 2020-01-17 重庆紫光华山智安科技有限公司 一种人脸匹配方法、装置及服务器
CN111161166A (zh) * 2019-12-16 2020-05-15 西安交通大学 一种基于深度多分辨率网络的图像摩尔纹消除方法
WO2021012508A1 (zh) * 2019-07-19 2021-01-28 平安科技（深圳）有限公司 Ai影像识别方法、装置、设备及存储介质
US20220108425A1 (en) * 2020-04-01 2022-04-07 Boe Technology Group Co., Ltd. Computer-implemented method, apparatus, and computer-program product
CN116912631A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 目标识别方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710386A (zh) * 2009-12-25 2010-05-19 西安交通大学 一种基于相关特征和非线性映射的超分辨率人脸识别方法
US20140270536A1 (en) * 2013-03-13 2014-09-18 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
JP2016167164A (ja) * 2015-03-09 2016-09-15 キヤノン株式会社 画像認識装置、画像認識方法、及び画像認識プログラム
CN107633218A (zh) * 2017-09-08 2018-01-26 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置
CN108475414A (zh) * 2015-10-27 2018-08-31 华为技术有限公司 图像处理方法和装置
CN108776787A (zh) * 2018-06-04 2018-11-09 北京京东金融科技控股有限公司 图像处理方法及装置、电子设备、存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710386A (zh) * 2009-12-25 2010-05-19 西安交通大学 一种基于相关特征和非线性映射的超分辨率人脸识别方法
US20140270536A1 (en) * 2013-03-13 2014-09-18 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
JP2016167164A (ja) * 2015-03-09 2016-09-15 キヤノン株式会社 画像認識装置、画像認識方法、及び画像認識プログラム
CN108475414A (zh) * 2015-10-27 2018-08-31 华为技术有限公司 图像处理方法和装置
CN107633218A (zh) * 2017-09-08 2018-01-26 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置
CN108776787A (zh) * 2018-06-04 2018-11-09 北京京东金融科技控股有限公司 图像处理方法及装置、电子设备、存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021012508A1 (zh) * 2019-07-19 2021-01-28 平安科技（深圳）有限公司 Ai影像识别方法、装置、设备及存储介质
CN110705469A (zh) * 2019-09-30 2020-01-17 重庆紫光华山智安科技有限公司 一种人脸匹配方法、装置及服务器
CN111161166A (zh) * 2019-12-16 2020-05-15 西安交通大学 一种基于深度多分辨率网络的图像摩尔纹消除方法
US20220108425A1 (en) * 2020-04-01 2022-04-07 Boe Technology Group Co., Ltd. Computer-implemented method, apparatus, and computer-program product
US11900563B2 (en) * 2020-04-01 2024-02-13 Boe Technology Group Co., Ltd. Computer-implemented method, apparatus, and computer-program product
CN116912631A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 目标识别方法、装置、电子设备及存储介质
CN116912631B (zh) * 2023-09-12 2023-12-12 深圳须弥云图空间科技有限公司 目标识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109977832B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN109977832A (zh) 一种图像处理方法、装置及存储介质
CN112215180B (zh) 一种活体检测方法及装置
Kadam et al. Detection and localization of multiple image splicing using MobileNet V1
CN108229335A (zh) 关联人脸识别方法和装置、电子设备、存储介质、程序
CN112733802B (zh) 图像的遮挡检测方法、装置、电子设备及存储介质
CN108229325A (zh) 人脸检测方法和系统、电子设备、程序和介质
CN107545241A (zh) 神经网络模型训练及活体检测方法、装置及存储介质
US20200279358A1 (en) Method, device, and system for testing an image
CN109871845B (zh) 证件图像提取方法及终端设备
CN110490238A (zh) 一种图像处理方法、装置及存储介质
CN107832684A (zh) 一种具有自主学习能力的智能静脉认证方法和系统
CN105654066A (zh) 一种车辆识别方法及装置
CN109711416A (zh) 目标识别方法、装置、计算机设备和存储介质
CN112507922A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN107808358A (zh) 图像水印自动检测方法
CN112651333B (zh) 静默活体检测方法、装置、终端设备和存储介质
CN112419326B (zh) 图像分割数据处理方法、装置、设备及存储介质
CN110046617A (zh) 一种基于深度学习的数字电表读数自适应识别方法
Fu et al. CCNet: CNN model with channel attention and convolutional pooling mechanism for spatial image steganalysis
Li et al. Image manipulation localization using attentional cross-domain CNN features
CN109377441A (zh) 具有隐私保护功能的舌像采集方法和系统
CN109670517A (zh) 目标检测方法、装置、电子设备和目标检测模型
CN108628993A (zh) 电子地图自适应分类方法、装置、设备及存储介质
CN110321908A (zh) 图像识别方法、终端设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant