CN114648548A - 图像处理方法、描述子提取方法及其装置、电子设备 - Google Patents

图像处理方法、描述子提取方法及其装置、电子设备 Download PDF

Info

Publication number
CN114648548A
CN114648548A CN202011502579.3A CN202011502579A CN114648548A CN 114648548 A CN114648548 A CN 114648548A CN 202011502579 A CN202011502579 A CN 202011502579A CN 114648548 A CN114648548 A CN 114648548A
Authority
CN
China
Prior art keywords
image
original
original image
processed
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011502579.3A
Other languages
English (en)
Inventor
朱明铭
张国华
王进
林奶养
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rainbow Software Co ltd
Original Assignee
Rainbow Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rainbow Software Co ltd filed Critical Rainbow Software Co ltd
Priority to CN202011502579.3A priority Critical patent/CN114648548A/zh
Priority to PCT/CN2021/139279 priority patent/WO2022127916A1/zh
Publication of CN114648548A publication Critical patent/CN114648548A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像处理方法、描述子提取方法及其装置、电子设备。其中，该图像处理方法，包括：采集第一原始图像和第二原始图像，其中，所述第一原始图像是原始目标图像和背景图像中的一种，所述第二原始图像是所述原始目标图像和所述背景图像中的另一种；对所述第一原始图像进行局部亮度对齐处理，获得第一处理图像；基于所述第一处理图像与所述第二原始图像，获得去除背景的目标图像。本发明可以解决了现有技术中在不同环境下无法通过去除背景纹理获得清晰的目标图像的技术问题。

Description

图像处理方法、描述子提取方法及其装置、电子设备
技术领域
本发明涉及图像处理技术，具体而言，涉及一种图像处理方法、描述子提取方法及其装置、电子设备。
背景技术
随着电子技术和通信技术的发展，电子图像的使用范围越来越广，但电子图像中往往会存在用户不希望出现的背景内容。例如，在屏下光学指纹识别领域，传感器位于屏幕特定区域的下方，当用户手指按压到该区域时，手机屏幕点亮，传感器接收到来自用户手指表面的反光，形成指纹图像。由于传感器与手指之间隔着显示屏，因此成像结果中不仅包含指纹信息，还包含显示屏自身的纹理信息(即背景纹理)，而且背景纹理通常比指纹信息更明显。为了得到准确的指纹识别结果，我们需要将背景纹理去除，得到清晰的指纹图像。
因此，能够在各种环境下都将电子图像中包含的背景纹理去除，得到清晰的去除背景图像的图像处理技术也变得日益重要。
发明内容
本发明实施例提供了一种图像处理方法、描述子提取方法及其装置、电子设备，以至少解决了现有技术中在不同环境下无法通过去除背景纹理获得清晰的目标图像的技术问题。
根据本发明实施例的一个方面，提供了一种图像处理方法，包括：采集第一原始图像和第二原始图像，其中，第一原始图像是原始目标图像和背景图像中的一种，第二原始图像是原始目标图像和背景图像中的另一种；对第一原始图像进行局部亮度对齐处理，获得第一处理图像；基于第一处理图像与第二原始图像，获得去除背景的目标图像。
可选地，原始目标图像是目标物按压在电子设备的显示屏表面时采集到的目标物图像，背景图像是使用一个与目标物反射率接近且表面光滑的模拟物按压在电子设备的显示屏表面时采集到的显示屏自身的纹理图像。
可选地，目标物为手指，模拟物是肤色橡胶块。
可选地，图像处理方法在目标物完全按压屏幕时，连续采集多帧目标物图像，根据多帧目标物图像的整体质量或局部质量对多帧目标物图像进行整体或局部的加权融合，得到融合后的目标图像作为原始目标图像。
可选地，对第一原始图像进行局部亮度对齐处理，获得第一处理图像包括：分别计算第一原始图像中每个像素点的像素值和每个像素点邻域窗口内的所有像素点的像素平均值，以及第二原始图像中每个像素点的像素值和每个像素点邻域窗口内的所有像素点的像素平均值；根据第一原始图像中每个像素点的像素值和每个像素点邻域窗口内的所有像素点的像素平均值，以及第二原始图像中每个像素点的像素值和每个像素点邻域窗口内的所有像素点的像素平均值，获得与第二原始图像局部亮度对齐的第一处理图像。
可选地，基于第一处理图像与第二原始图像，获得第一结果图像包括：对第一处理图像和第二原始图像做减法运算，获得第一结果图像。
可选地，图像处理方法还包括在局部亮度对齐处理之前或之后进行整体亮度对齐处理。
可选地，在对第一原始图像进行局部亮度对齐处理，获得第一处理图像之后，对第一处理图像进行整体亮度对齐处理，获得第二处理图像；其中，对第一处理图像进行整体亮度对齐处理，获得第二处理图像包括：分别计算第一处理图像的最大像素值和最小像素值，以及第二原始图像的最大像素值和最小像素值；根据第一处理图像的最大像素值和最小像素值，以及第二原始图像的最大像素值和最小像素值，获取第一处理图像相对第二原始图像的整体亮度尺度系数和整体亮度偏移系数；基于整体亮度尺度系数和整体亮度偏移系数对第一处理图像进行线性变换，得到与第二原始图像整体亮度对齐的第二处理图像。
可选地，对第二原始图像进行整体亮度对齐处理，获得第三处理图像，包括：分别计算第一处理图像的最大像素值和最小像素值，以及第二原始图像的最大像素值和最小像素值；根据第一处理图像的最大像素值和最小像素值，以及第二原始图像的最大像素值和最小像素值，获取第二原始图像相对第一处理图像的整体亮度尺度系数和整体亮度偏移系数；基于整体亮度尺度系数和所述整体亮度偏移系数对第二原始图像进行线性变换，得到与第一处理图像整体亮度对齐的第三处理图像。
可选地，图像处理方法还包括，在整体亮度对齐之前进行平滑处理。
可选地，平滑处理包括以下至少一项：均值滤波、高斯滤波。
可选地，图像处理方法还包括：将目标物刚接触屏幕但未完全按压显示屏时采集到的目标物图像作为背景图像。
可选地，图像处理方法还包括：在局部亮度对齐处理之前或之后进行形状对齐处理。
可选地，在对第一原始图像进行局部亮度对齐处理，获得第一处理图像之后，对第一处理图像进行形状对齐处理，获得第四处理图像；其中，第一处理图像进行形状对齐处理，获得第四处理图像包括：计算第一处理图像中每个像素点到第二原始图像中对应目标像素点的位置偏移；根据位置偏移拟合出第一处理图像相对第二原始图像的位移参数和尺度参数；根据位移参数和尺度参数对第一处理图像进行形状对齐处理，获得与第二原始图像形状对齐的第四处理图像。
可选地，对第二原始图像进行形状对齐处理，获得第五处理图像，包括：计算第一处理图像中每个像素点到第二原始图像中对应目标像素点的位置偏移；根据位置偏移拟合出第二原始图像相对第一处理图像的位移参数和尺度参数；根据位移参数和尺度参数对第二原始图像进行形状对齐处理，获得与第一处理图像形状对齐的第五处理图像。
可选地，图像处理方法还包括：对去除背景的目标图像进行以下至少一项处理：局部对比度增强、快速非局部均值去噪、三维块匹配滤波。
可选地，图像处理方法还包括：在进行形状对齐处理之前，判断背景图像是否存在形变。
可选地，图像处理方法还包括：采集候选背景图像，其中，候选背景图像为自目标物刚接触屏幕至目标物完全按压屏幕期间采样的多帧目标物图像。
可选地，图像处理方法还包括：基于候选背景图像和经过局部亮度对齐处理的第一原始图像或第二原始图像，获得去除候选背景后的结果图像。
可选地，图像处理方法还包括：将去除背景后的结果图像和去除候选背景后的结果图像中较好的一个作为去除背景的目标图像。
根据本发明实施例的另一个方面，提供了一种图像处理方法，包括：采集第三原始图像和第四原始图像，其中，第三原始图像是原始目标图像和背景图像中的一种，第四原始图像是原始目标图像和背景图像中的另一种；根据第三原始图像和第四原始图像，获得输入图像；对初始的图像生成网络进行训练，构建经过训练的图像生成网络；其中，图像生成网络以模板图像为参考对象进行训练，模板图像为使用上述任一项图像处理方法获得的去除背景的目标图像；将输入图像输入至经过训练的图像生成网络，获得去除背景的目标图像。
可选地，根据第三原始图像和第四原始图像，获得输入图像包括：对第三原始图像和第四原始图像进行局部亮度对齐处理，将处理结果作为输入图像。
可选地，对初始的图像生成网络进行训练，构建经过训练的图像生成网络包括：获取第一样本图像和第二样本图像；将第一样本图像和所述第二样本图像输入至初始的图像生成网络，获得第一训练图像；将第一训练图像和模板图像输入至第一损失函数模块，根据第一损失函数模块输出的第一损失值训练初始的图像生成网络，构建经过训练的图像生成网络。
可选地，对初始的图像生成网络进行训练，构建经过训练的图像生成网络还包括：将第一训练图像和模板图像输入至特征提取网络，获得第一训练图像的高层语义特征和模板图像的高层语义特征；将第一训练图像的高层语义特征和模板图像的高层语义特征输入至第二损失函数模块，根据第二损失函数模块输出的第二损失值训练图像生成网络和/或所述特征提取网络。
根据本发明实施例的另一个方面，提供了一种描述子提取方法，包括：获取目标图像的关键点，其中，所述目标图像为使用上述任一项图像处理方法获得的去除背景的目标图像；将具有相同关键点的多张目标图像归为同一个类别，标注类别信息作为图像标签；以关键点为中心，在具有表示同一个类别的图像标签的多张目标图像中截取图像块；对初始的描述子提取网络进行训练，构建经过训练的描述子提取网络；将图像块输入经过训练的描述子提取网络，获得特征描述子。
可选地，在将图像块输入经过训练的描述子提取网络，获得特征描述子之前，描述子提取方法还包括：获取关键点的方向和角度；根据关键点的方向和角度，对图像块进行旋转拉平，获得对齐的图像块。
可选地，描述子提取方法使用端到端训练的方法训练图像生成网络、特征提取网络和描述子提取网络。
根据本发明实施例的另一个方面，提供了一种图像处理装置，包括：图像采集单元，用于采集第一原始图像和第二原始图像，其中，所述第一原始图像是原始目标图像和背景图像中的一种，所述第二原始图像是所述原始目标图像和所述背景图像中的另一种；局部亮度对齐单元，用于对所述第一原始图像进行局部亮度对齐处理，获得第一处理图像；结果获取单元，用于基于所述第一处理图像与所述第二原始图像，获得第一结果图像。
可选地，局部亮度对齐单元包括：第一像素值计算单元，用于分别计算第一原始图像中每个像素点的像素值和每个像素点邻域窗口内的所有像素点的像素平均值，以及第二原始图像中每个像素点的像素值和每个像素点邻域窗口内的所有像素点的像素平均值；第一处理图像获得单元，用于根据第一原始图像中每个像素点的像素值和每个像素点邻域窗口内的所有像素点的像素平均值，以及第二原始图像中每个像素点的像素值和每个像素点邻域窗口内的所有像素点的像素平均值，获得与第二原始图像局部亮度对齐的第一处理图像。
可选地，结果获取单元，通过对第一处理图像和第二原始图像做减法运算，获得第一结果图像。
可选地，图像处理装置还包括整体亮度对齐单元，用于在局部亮度对齐处理之前或之后进行整体亮度对齐处理。
可选地，整体亮度对齐单元包括：第二像素值计算单元，用于分别计算第一处理图像的最大像素值和最小像素值，以及第二原始图像的最大像素值和最小像素值；整体亮度系数计算单元，根据第一处理图像的最大像素值和最小像素值，以及第二原始图像的最大像素值和最小像素值，获取第一处理图像相对所述第二原始图像的整体亮度尺度系数和整体亮度偏移系数；线性变换单元，基于整体亮度尺度系数和整体亮度偏移系数对第一处理图像进行线性变换，得到与第二原始图像整体亮度对齐的第二处理图像。
可选地，整体亮度对齐单元包括：第二像素值计算单元，用于分别计算第一处理图像的最大像素值和最小像素值，以及第二原始图像的最大像素值和最小像素值；整体亮度系数计算单元，根据第一处理图像的最大像素值和最小像素值，以及第二原始图像的最大像素值和最小像素值，获取第二原始图像相对第一处理图像的整体亮度尺度系数和整体亮度偏移系数；线性变换单元，基于整体亮度尺度系数和整体亮度偏移系数对第二原始图像进行线性变换，得到与第一处理图像整体亮度对齐的第三处理图像。
可选地，图像处理装置还包括平滑处理单元，用于在整体亮度对齐之前进行平滑处理。
可选地，图像处理装置还包括形状对齐单元，用于在局部亮度对齐处理之前或之后进行形状对齐处理。
可选地，形状对齐单元包括：位置计算单元，用于计算第一处理图像中每个像素点到第二原始图像中对应目标像素点的位置偏移；拟合单元，用于根据位置偏移拟合出第一处理图像相对第二原始图像的位移参数和尺度参数；对齐单元，用于根据位移参数和尺度参数对第一处理图像进行形状对齐处理，获得与第二原始图像形状对齐的第四处理图像。
可选地，形状对齐单元包括：位置计算单元，用于计算第一处理图像中每个像素点到第二原始图像中对应目标像素点的位置偏移；拟合单元，用于根据位置偏移拟合出第二原始图像相对第一处理图像的位移参数和尺度参数；对齐单元，用于根据位移参数和尺度参数对第二原始图像进行形状对齐处理，获得与第一处理图像形状对齐的第五处理图像。
根据本发明实施例的另一个方面，提供了一种图像处理装置，包括：图像采集单元，采集第三原始图像和第四原始图像，其中，第三原始图像是原始目标图像和背景图像中的一种，第四原始图像是原始目标图像和背景图像中的另一种；输入图像获取单元，根据第三原始图像和第四原始图像，获得输入图像；网络构建单元，对初始的图像生成网络进行训练，构建经过训练的图像生成网络；其中，图像生成网络以模板图像为参考对象进行训练，模板图像为使用上述任一项图像处理方法获得的去除背景的目标图像；结果获取单元，将输入图像输入至经过训练的图像生成网络，获得去除背景的目标图像。
可选地，输入图像获取单元，用于对第三原始图像和第四原始图像进行局部亮度对齐处理，将处理结果作为所述输入图像。
可选地，网络构建单元包括：样本获取单元，用于获取第一样本图像和第二样本图像；训练图像获取单元，用于将第一样本图像和第二样本图像输入至初始的图像生成网络，获得第一训练图像；第一训练单元，用于将第一训练图像和模板图像输入至第一损失函数模块，根据第一损失函数模块输出的第一损失值训练初始的图像生成网络，构建所述经过训练的图像生成网络。
可选地，网络构建单元还包括：特征提取单元，用于将第一训练图像和模板图像输入至特征提取网络，获得第一训练图像的高层语义特征和模板图像的高层语义特征；第二训练单元，用于将第一训练图像的高层语义特征和模板图像的高层语义特征输入至第二损失函数模块，根据第二损失函数模块输出的第二损失值训练图像生成网络和/或特征提取网络。
根据本发明实施例的另一个方面，提供了一种描述子提取装置，包括：关键点获取单元，用于获取目标图像的关键点，其中，目标图像为使用上述任一项图像处理方法获得的去除背景的目标图像；归类单元，用于将具有相同关键点的多张目标图像归为同一个类别，标注类别信息作为图像标签；截图单元，用于以关键点为中心，在具有表示同一个类别的图像标签的多张目标图像中截取图像块；描述子提取网络构建单元，用于对初始的描述子提取网络进行训练，构建经过训练的描述子提取网络；特征描述子获取单元，用于将图像块输入经过训练的描述子提取网络，获得特征描述子。
可选地，描述子提取装置还包括：方向角度获取单元，用于获取关键点的方向和角度；旋转拉平单元，用于根据关键点的方向和角度，对图像块进行旋转拉平，获得对齐的图像块。
可选地，描述子提取装置，使用端到端训练的方法训练图像生成网络、特征提取网络和描述子提取网络。
根据本发明实施例的另一方面，还提供了一种存储介质，包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的图像处理方法。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的图像处理方法。
在本发明实施例中，通过执行以下步骤：采集第一原始图像和第二原始图像，其中，所述第一原始图像是原始目标图像和背景图像中的一种，所述第二原始图像是所述原始目标图像和所述背景图像中的另一种；对所述第一原始图像进行局部亮度对齐处理，获得第一处理图像；基于所述第一处理图像与所述第二原始图像，获得去除背景的目标图像，以实现在各种环境下都能将原始图像中包含的背景纹理去除，得到清晰的目标图像。解决了现有技术中在不同环境下无法通过去除背景纹理获得清晰的目标图像的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的图像处理方法的流程图；
图2是根据本发明实施例的另一种可选的图像处理方法的流程图；
图3是根据本发明实施例的又一种可选的图像处理方法的流程图；
图4是根据本发明实施例的又一种可选的图像处理方法的流程图；
图5是根据本发明实施例的又一种可选的图像处理方法的流程图；
图6是根据本发明实施例的一种可选的基于深度学习的图像处理方法的流程图；
图7是根据本发明实施例的一种可选的描述子提取方法的流程图；
图8是根据本发明实施例的一种可选的图像处理装置的结构框图；
图9是根据本发明实施例的另一种可选的图像处理装置的结构框图；
图10是根据本发明实施例的又一种可选的图像处理装置的结构框图；
图11是根据本发明实施例的又一种可选的基于深度学习的图像处理装置的结构框图；
图12是根据本发明实施例的又一种可选的描述子提取装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的顺序在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面说明本发明实施例的一种可选的图像处理方法的流程图。需要说明的是，在附图流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
需要说明的是，为了更清楚地进行说明，在下述图像处理方法的不同实施例中，原始目标图像中去除背景的目标图像分别以第一结果图像、第二结果图像、第三结果图像、第四结果图像、第五结果图像、第六结果图像进行描述。
参考图1，是根据本发明实施例的一种可选的图像处理方法的流程图。如图1所示，该图像处理方法包括如下步骤：
S100，采集第一原始图像和第二原始图像，其中，第一原始图像是原始目标图像和背景图像中的一种，第二原始图像是原始目标图像和背景图像中的另一种。
在一种可选的实施例中，原始目标图像是指目标物按压在电子设备的显示屏表面时采集到的目标物图像，背景图像是指使用一个与目标物反射率接近且表面光滑的模拟物按压在电子设备的显示屏表面时采集到的显示屏自身的纹理图像。当图像处理方法具体应用于处理指纹图像时，目标物可以是手指，模拟物可以是肤色橡胶块。
在另一种可选的实施例中，由于噪声信号的分布具有一定随机性，而目标物图像信号是相对固定的，为了提高目标物图像的质量，还采用了多帧图像融合的方法降低噪声信号，同时保持目标物图像信号强度不变。例如，在目标物完全按压屏幕时，连续采集多帧目标物图像，然后根据多帧目标物图像的整体质量或局部质量对多帧目标物图像进行整体或局部的加权融合，得到融合后的目标图像作为原始目标图像。与采集单帧目标物图像作为原始目标图像相比，采用多帧图像融合方法获得的原始目标图像整体噪声更小，为后续目标图像处理步骤提供更好的基础。
S102，对第一原始图像进行局部亮度对齐处理，获得第一处理图像。
虽然模拟物的反射率与目标物接近，但实际与模拟物的反射率仍然不完全相同，导致第一原始图像与第二原始图像之间的局部亮度不均匀，在一种可选的实施例中，步骤S102包括：
S1020：分别计算第一原始图像中每个像素点的像素值r和每个像素点邻域窗口内的所有像素点的像素平均值
Figure BDA0002844041690000091
以及第二原始图像中每个像素点的像素值b和每个像素点邻域窗口内的所有像素点的像素平均值
Figure BDA0002844041690000092
其中，邻域窗口可以根据实际情况进行设置，例如，在图像处理方法具体应用于处理指纹图像时，选择以每个像素点为中心的11*11窗口范围作为邻域窗口；
S1022:根据第一原始图像中每个像素点的像素值r和每个像素点邻域窗口内的所有像素点的像素平均值
Figure BDA0002844041690000093
以及第二原始图像中每个像素点邻域窗口内的所有像素点的像素平均值
Figure BDA0002844041690000094
获得与第二原始图像局部亮度对齐的第一处理图像，其中，第一处理图像中每个像素点的像素值r1可依据公式1得到，公式1：
Figure BDA0002844041690000095
由此，通过上述步骤S1020和S1022，可以实现对第一原始图像进行局部亮度对齐处理，使得经过局部亮度对齐处理的第一处理图像与第二原始图像的局部亮度保持一致。
S104：基于第一处理图像与第二原始图像，获得第一结果图像。
在一种可选的实施例中，可以对第一处理图像和第二原始图像做减法运算，获得第一结果图像。例如，当第一原始图像为原始目标图像，第二原始图像为背景图像时，第一处理图像为经过局部亮度对齐处理的原始目标图像，将第一处理图像减去第二原始图像，即可获得第一结果图像，该第一结果图像为去除背景的目标图像。又例如，当第一原始图像为背景图像，第二原始图像为原始目标图像时，第一处理图像为经过局部亮度对齐处理的背景图像，将第二原始图像减去第一处理图像，同样可获得第一结果图像，该第一结果图像同样为去除背景的目标图像。
需要说明的是，在本申请的实施例中，第一处理图像和第二原始图像做减法运算代表将第一处理图像的各个像素点的像素值与第二原始图像的各个像素点的像素值做减法运算。
依据本发明实施例提供的图像处理方法，不仅能够去除了主要的背景纹理，且解决了背景图像与原始目标图像之间的局部亮度不均匀的问题，使得去除背景的目标图像局部亮度相对均匀且清晰，在具体应用于处理指纹图像时，能够获得清晰的去除显示屏背景纹理的指纹图像。
但是，由于硬件成像异常或受外界环境影响，有时得到的第一原始图像与第二原始图像整体亮度差异较大，经过上述步骤S100-S104获得的第一结果图像仍然会有明显的背景纹理残留，因此，可以在局部亮度对齐处理之前或之后进行整体亮度对齐处理。参考图2，提供了根据本发明实施例的另一种可选的图像处理方法的流程图。如图2所示，该图像处理方法包括如下步骤：
S200，采集第一原始图像和第二原始图像，其中，第一原始图像是原始目标图像和背景图像中的一种，第二原始图像是原始目标图像和背景图像中的另一种。
S202,对第一原始图像进行局部亮度对齐处理，获得第一处理图像。
S204，对第一处理图像进行整体亮度对齐处理，获得第二处理图像。
S206：基于第二处理图像与第二原始图像，获得第二结果图像。
上述步骤S200，S202与图1所描述的实施例中的步骤S100和S102相同，具体可参见图1的相应描述，在此不再详细说明。图2所描述的实施例与图1的不同之处在于，该图像处理方法还包括步骤S204,对第一处理图像进行整体亮度对齐处理，获得第二处理图像，以及步骤S206是基于经过整体亮度对齐处理的第二处理图像与第二原始图像，获得第二结果图像。
在一种可选的实施例中，步骤S204包括：
S2042：分别计算第一处理图像的最大像素值rmax和最小像素值rmin，以及第二原始图像的最大像素值bmax和最小像素值bmin；
S2044：根据第一处理图像的最大像素值rmax和最小像素值rmin，以及第二原始图像的最大像素值bmax和最小像素值bmin，获取第一处理图像相对第二原始图像的整体亮度尺度系数α和整体亮度偏移系数β；其中，整体亮度尺度系数α可以根据公式2计算得到，公式2：
Figure BDA0002844041690000111
整体亮度偏移系数β可以根据公式3计算得到，公式3：β＝(bmin·rmax-bmax·rmin)/(rmax-rmin)；
S2046：基于整体亮度尺度系数α和整体亮度偏移系数β对第一处理图像进行线性变换，得到与第二原始图像整体亮度对齐的第二处理图像；其中，第二处理图像中每个像素点的像素值r2基于公式4通过线性变换得到，公式4：r2＝α·r+β。
在另一种可选的实施例中，也可以对第二原始图像进行整体亮度对齐处理，参考图3，提供了根据本发明实施例的又一种可选的图像处理方法的流程图。如图3所示，该图像处理方法包括如下步骤：
S300，采集第一原始图像和第二原始图像，其中，第一原始图像是原始目标图像和背景图像中的一种，第二原始图像是原始目标图像和背景图像中的另一种。
S302，对第一原始图像进行局部亮度对齐处理，获得第一处理图像。
S304，对第二原始图像进行整体亮度对齐处理，获得第三处理图像。
S306：基于第一处理图像与第三处理图像，获得第三结果图像。
在一种可选的实施例中，步骤S304包括：
S3042：分别计算第一处理图像的最大像素值rmax和最小像素值rmin，以及第二原始图像的最大像素值bmax和最小像素值bmin；
S3044：根据第一处理图像的最大像素值rmax和最小像素值rmin，以及第二原始图像的最大像素值bmax和最小像素值bmin，获取第二原始图像相对第一处理图像的整体亮度尺度系数α′和整体亮度偏移系数β′；其中，整体亮度尺度系数α′可以根据公式2计算得到，公式4：
Figure BDA0002844041690000112
整体亮度偏移系数β′可以根据公式3计算得到，公式5：β′＝(rmin·bmax-rmax·bmin)/(bmax-bmin)；
S3046：基于整体亮度尺度系数α′和整体亮度偏移系数β′对第二原始图像进行线性变换，得到与第一处理图像整体亮度对齐的第三处理图像；其中，第三处理图像中每个像素点的像素值b2基于公式4通过线性变换得到，公式4：b2＝α′·b+β′。
需要说明的是，上述实施例是先进行局部亮度对齐处理，再进行整体亮度对齐处理的。但上述步骤顺序仅仅是作为一种示例而非严格的限制，本领域技术人员可以基于上述实施例的原理进行相应的调整和变换，例如，先进行整体亮度对齐处理再进行局部亮度对齐处理。
此外，为了避免局部噪声对参数计算的影响，在包含整体亮度对齐处理步骤的实施例中，图像处理方法还可以包含在整体亮度对齐处理之前进行平滑处理，例如，针对第一原始图像和第二原始图像进行平滑处理；又例如，针对第一处理图像和第二原始图像进行平滑处理等等，本领域技术人员可以根据具体的实施例进行合理的调整。具体地，平滑处理可以采用均值滤波、高斯滤波等方法进行平滑处理。
此外，由于外界环境变化以及按压方式不同，原始目标图像中包含的背景纹理可能与背景图像差异较大，即存在背景纹理的形变，比如当外界温度变化较大时，显示屏内部结构会发生不同程度的热胀冷缩效应，此时背景纹理在原始目标图像中的成像与背景图像具有明显差异；又如目标图像采集时由于目标物按压显示屏的力度不同，导致显示屏发生不同程度的形变，且与成像传感器之间的距离也有所改变，进而引起背景纹理的成像变化。此时通过上述实施例可能无法将背景纹理去除。
为了解决背景纹理存在形变的问题，在一种可选的实施例中，将目标物刚接触屏幕但未完全按压显示屏时采集到的目标物图像作为背景图像。在目标物刚刚接触显示屏时，屏幕点亮，而目标物尚未完全按压下去，传感器的成像中目标图像信号微弱而背景纹理清晰，因此可以把该时刻采集到的目标物图像近似作为背景图像。通过精确控制图像采集时刻，可以得到与当前原始目标图像中的背景纹理基本一致的背景图像，由此，可以较好的解决背景纹理形变问题。但是该方法对采图时机要求较高，如果采图过早则屏幕尚未点亮或目标物距屏幕较远而反光不足，导致成像强度太弱；如果采图过晚则目标物已完全按压，无法得到纯净的背景图像。
为了在不严格要求采图时机的情况下解决背景纹理存在形变的问题，可以在局部亮度对齐处理之前或之后进行形状对齐处理。参考图4，提供了根据本发明实施例的又一种可选的图像处理方法的流程图。如图4所示，该图像处理方法包括如下步骤：
S400，采集第一原始图像和第二原始图像，其中，第一原始图像是原始目标图像和背景图像中的一种，第二原始图像是原始目标图像和背景图像中的另一种。
S402，对第一原始图像进行局部亮度对齐处理，获得第一处理图像。
S404：对第一处理图像进行形状对齐处理，获得第四处理图像。
S406：基于第四处理图像与第二原始图像，获得第四结果图像。
上述步骤S400，S402与图1所描述的实施例相同，具体可参见图1的相应描述，在此不再详细说明。图4所描述的实施例与图1的不同之处在于，该图像处理方法包括还包括步骤S404，对第一处理图像进行形状对齐处理，获得第四处理图像，以及步骤S406是基于经过形状对齐处理的第四处理图像与第二原始图像，获得第四结果图像。
在另一种可选的实施例中，在进行形状对齐处理步骤之前还可以包括：判断背景图像是否存在形变；可选地，判断背景图像是否存在形变包括：判断第一处理图像与第二原始图像的相似度，具体地，可以采用例如零均值归一化互相关系数ZNCC(zero-meannormalized cross-correlation)判断；当相似度小于第一阈值时，判断背景图像存在形变。
在一种可选的实施例中，步骤S404包括：
S4042：计算第一处理图像中每个像素点到第二原始图像中对应目标像素点的位置偏移；可选地，可以采用Lucas-Kanade算法计算；
S4044：根据位置偏移拟合出第一处理图像相对第二原始图像的位移参数(Δx，Δy)和尺度参数6；可选地，可以采用最小二乘法拟合；
S4046：根据位移参数(Δx，Δy)和尺度参数δ对第一处理图像进行形状对齐处理，获得与第二原始图像形状对齐的第四处理图像。
在另一种可选的实施例中，也可以对第二原始图像进行形状对齐处理，参考图5，提供了根据本发明实施例的另一种可选的图像处理方法的流程图。如图5所示，该图像处理方法包括如下步骤：
S500，采集第一原始图像和第二原始图像，其中，第一原始图像是原始目标图像和背景图像中的一种，第二原始图像是原始目标图像和背景图像中的另一种。
S502，对第一原始图像进行局部亮度对齐处理，获得第一处理图像。
S504：对第二原始图像进行形状对齐处理，获得第五处理图像。
S506：基于第一处理图像与第五处理图像，获得第五结果图像。
上述步骤S400，S402与图1所描述的实施例相同，具体可参见图1的相应描述，在此不再详细说明。图5所描述的实施例与图1的不同之处在于，该图像处理方法包括还包括步骤S504，对第二原始图像进行形状对齐处理，获得第五处理图像，以及步骤S506是第一处理图像与基于经过形状对齐处理的第五处理图像，获得第五结果图像。
在一种可选的实施例中，步骤S504包括：
S5042：计算第一处理图像中每个像素点到第二原始图像中对应目标像素点的位置偏移；可选地，可以采用Lucas-Kanade算法计算；
S5044：根据位置偏移拟合出第二原始图像相对第一处理图像之间的位移参数(Δx′，Δy′)和尺度参数δ′；可选地，可以采用最小二乘法拟合；
S5046：根据位移参数(Δx′，Δy′)和尺度参数δ′对第二原始图像进行形状对齐处理，获得与第一处理图像形状对齐的第五处理图像。
需要说明的是，上述实施例是先进行局部亮度对齐处理，再进行形状对齐处理的。但上述步骤顺序仅仅是作为一种示例而非严格的限制，本领域技术人员可以基于上述实施例的原理进行相应的调整和变换，例如，先进行形状对齐处理再进行局部亮度对齐处理；在包含整体亮度对齐处理步骤的图像处理方法中，整体亮度对齐处理、局部亮度对齐处理以及形状对齐处理这三个步骤的顺序可以具有不同的排列方式，例如，先进行整体亮度对齐处理，再进行局部亮度对齐处理，最后进行形状对齐处理；又例如，先进行局部亮度对齐处理，再进行整体亮度对齐处理，最后进行形状对齐处理；再例如，先进行形状亮度对齐处理，再进行整体亮度对齐处理，最后进行局部亮度对齐处理等等。
在一种可选的实施例中，在采集第一原始图像和第二原始图像的步骤中还可以包括采集候选背景图像，即自目标物刚接触屏幕至目标物完全按压屏幕期间采样多帧目标物图像作为候选背景图像。对应于该步骤，图像处理方法还包括基于该候选背景图像和至少经过局部亮度对齐处理的第一原始图像或第二原始图像，获得去除候选背景后的结果图像；以及，选取图1-图5所描述的实施例中获得的去除背景后的结果图像和去除候选背景后的结果图像中较好的一个作为去除背景的目标图像。
由于传感器本身的成像特性，得到的去除背景的目标图像可能会存在局部质量不均的情况，通常表现为中心区域质量较好，而边缘区域质量较差，因此需要对去除背景的目标图像进行质量增强，提高边缘区域的质量。相对中心区域而言，边缘区域质量较差主要表现为指纹纹路对比度较低，对此可用局部对比度增强进行改善，但是原有的噪声也会同时被放大，所以在局部对比度增强后还可以进行去噪处理，可选地，去噪方法包括快速非局部均值去噪(Fast Non-Local Means Denoising)和三维块匹配滤波BM3D(Block-matchingand 3D filtering)等。经过局部对比度增强和去噪处理后，可以得到更加清晰的目标图像。
经过上述图像处理方法，可以得到去除背景的目标图像，整体图像清晰、整体及局部亮度均匀、噪声小、没有明显的背景纹理残留，且对外界环境变化具有较好的适应性。在具体应用于处理指纹图像时，能够获得清晰的去除显示屏背景纹理的指纹图像，指纹纹路清晰、亮度均匀、没有明显的背景纹理残留，可以克服因外界环境变化以及手指按压力度导致的背景形变所带来的影响，对指纹采集时机也没有严格要求，具有较好的适应性。
通过上述图1-图5所描述的图像处理方法获得了清晰的去除背景的目标图像，若将其作为参考图像，也可以使用深度学习的方法将图像中的背景去除。参考图6，是根据本发明实施例的一种可选的基于深度学习的图像处理方法的流程图。如图6所示，该图像处理方法包括如下步骤：
S600，采集第三原始图像和第四原始图像；其中，第三原始图像是原始目标图像和背景图像中的一种，第四原始图像是原始目标图像和背景图像中的另一种；
在一种可选的实施例中，第三原始图像是指目标物按压在电子设备的显示屏表面时采集到的目标物图像，背景图像是指使用一个与目标物反射率接近且表面光滑的模拟物按压在电子设备的显示屏表面时采集到的显示屏自身的纹理图像。当图像处理方法具体应用于处理指纹图像时，目标物可以是手指，模拟物可以是肤色橡胶块。
S602，根据第三原始图像和第四原始图像，获得输入图像；
在一种可选的实施例中，可以将第三原始图像和第四原始图像作为多通道的输入图像；
在另一种可选的实施例中，根据第三原始图像和第四原始图像，获得输入图像包括：对第三原始图像和第四原始图像进行减法运算，将运算结果作为输入图像；具体地，可以将第三原始图像减去第四原始图像，即获得去除背景的图像作为输入图像。
在另一种可选的实施例中，根据第三原始图像和第四原始图像，获得输入图像包括：对第三原始图像和第四原始图像进行局部亮度对齐处理，将处理结果作为输入图像；具体地，局部亮度对齐处理可以根据如图1中所描述的步骤S102实现。
S604，对初始的图像生成网络进行训练，构建经过训练的图像生成网络；其中，图像生成网络以模板图像为参考对象进行训练，模板图像为使用图1-图5所述的实施例中描述的图像处理方法获得的去除背景的目标图像。
在一种可选的实施例中，图像生成网络为U-net网络。具体地，图像生成网络可以包括三个部分，第一部分包括两个卷积模块，第二部分包括四个简单残差模块，第三部分包括两个反卷积模块，该结构可以保证图像生成网络的输出图像大小跟输入图像保持一致。
在一种可选的实施例中，对初始的图像生成网络进行训练，构建经过训练的图像生成网络包括：
S6042：获取第一样本图像和第二样本图像；
S6044：将第一样本图像和第二样本图像输入至初始的图像生成网络，获得第一训练图像；
S6046：将第一训练图像和模板图像输入至第一损失函数模块，根据第一损失函数模块输出的第一损失值训练初始的图像生成网络，构建经过训练的图像生成网络。其中，第一损失函数模块可以为L2-LOSS函数。
在另一种可选的实施例中，对初始的图像生成网络进行训练，构建经过训练的图像生成网络还包括：
S6048：将第一训练图像和模板图像输入至特征提取网络，获得第一训练图像的高层语义特征和模板图像的高层语义特征；
在一种可选的实施例中，特征提取网络可以选择VGG网络。
S6050：将第一训练图像的高层语义特征和模板图像的高层语义特征输入至第二损失函数模块，根据第二损失函数模块输出的第二损失值训练图像生成网络和/或特征提取网络。其中，第二损失函数模块可以为L2-LOSS函数。
在本实施例中，通过添加特征提取网络获取高层语义特征，以及通过第二损失函数训练图像生成网络和/或特征提取网络，可以使得最终生成的目标图像更接近模板图像。
S606，将输入图像输入至经过训练的图像生成网络，获得第六结果图像。
依据上述步骤S600-S606提供的实施例，可以在各种环境下通过深度学习的方法将第三原始图像或第四原始图像中的背景纹理去除，且不对第三原始图像或第四原始图像的质量有严格要求。
当然，本领域技术人员可知，在图6对应的基于深度学习的图像处理方法中也可以直接使用质量较高的清晰图像作为训练的参考对象，而不使用可以图1-图5所述的实施例中描述的图像处理方法获得的去除背景的结果图像作为训练的参考对象。
通过上述图1-图6所描述的图像处理方法获得了清晰的去除背景的目标图像，因此，可以从去除背景的目标图像中提取更为准确的描述子。参考图7，是根据本发明实施例的一种可选的描述子提取方法的流程图。如图7所示，该描述子提取方法包括如下步骤：
S700，获取目标图像的关键点，其中，目标图像为使用图1-图6所述的实施例中描述的图像处理方法获得的去除背景的目标图像；
在一种可选的实施例中，使用SIFT算法确定目标图像的关键点。
S702,将具有相同关键点的多张目标图像归为同一个类别，标注类别信息作为图像标签；
S704,以关键点为中心，在具有表示同一个类别的图像标签的多张目标图像中截取图像块；
在一种可选的实施例中，在具体应用于处理指纹图像时，可以以关键点为中心截取32*32大小的图像块。
S706,对初始的描述子提取网络进行训练，构建经过训练的描述子提取网络；
在一种可选的实施例中，根据第三损失函数模块输出的第三损失值训练所述描述子提取网络。第三损失函数可以由多种函数实现，例如，tiplet loss,N-pairs loss,histogram loss,contrastive loss,circle loss等。
S708，将图像块输入经过训练的描述子提取网络，获得特征描述子。
在具体应用于处理指纹图像时，由于指纹的重复纹理信息太多，若直接将图像块输入经过训练的描述子提取网络，会降低描述子提取方法的鲁棒性，针对该问题，本发明提供了一种可选的实施例，在将图像块输入至经过训练的描述子提取网络，获得特征描述子之前，描述子提取方法还包括：获取关键点的方向和角度；根据关键点的方向和角度，对图像块进行旋转拉平，获得对齐的图像块。
在一种可选的实施例中，可以先分别训练图像生成网络、特征提取网络，然后再训练描述子提取网络，最后使用端到端训练的方法训练图像生成网络、特征提取网络和描述子提取网络，对网络参数进行微调，获得更鲁棒的特征描述子。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的图像处理方法。
根据本发明实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一项的图像处理方法。
根据本发明实施例的另一方面，还提供了一种图像处理装置。参考图8，是根据本发明实施例的一种可选的图像处理装置的结构框图。如图8所示，图像处理装置80包括图像采集单元800、局部亮度对齐单元802和结果获取单元804。
下面对图像处理装置80包含的各个单元进行具体描述。
图像采集单元800，用于采集第一原始图像和第二原始图像，其中，第一原始图像是原始目标图像和背景图像中的一种，第二原始图像是原始目标图像和背景图像中的另一种。
在一种可选的实施例中，原始目标图像是指目标物按压在电子设备的显示屏表面时采集到的目标物图像，背景图像是指使用一个与目标物反射率接近且表面光滑的模拟物按压在电子设备的显示屏表面时采集到的显示屏自身的纹理图像。当图像采集单元800具体应用于处理指纹图像时，目标物可以是手指，模拟物可以是肤色橡胶块。
在另一种可选的实施例中，由于噪声信号的分布具有一定随机性，而目标物图像信号是相对固定的，为了提高目标物图像的质量，图像采集单元800还采用了多帧图像融合的方法降低噪声信号，同时保持目标物图像信号强度不变。例如，在目标物完全按压屏幕时，连续采集多帧目标物图像，然后根据多帧目标物图像的整体质量或局部质量对多帧目标物图像进行整体或局部的加权融合，得到融合后的目标图像作为原始目标图像。与采集单帧目标物图像作为原始目标图像相比，采用多帧图像融合方法获得的原始目标图像整体噪声更小，为后续目标图像处理步骤提供更好的基础。
局部亮度对齐单元802，用于对第一原始图像进行局部亮度对齐处理，获得第一处理图像。
虽然模拟物的反射率与目标物接近，但实际与模拟物的反射率仍然不完全相同，导致第一原始图像与第二原始图像之间的局部亮度不均匀，在一种可选的实施例中，局部亮度对齐单元802包括：
第一像素值计算单元8022，用于计算第一原始图像中每个像素点的像素值r和每个像素点邻域窗口内的所有像素点的像素平均值
Figure BDA0002844041690000181
以及第二原始图像中每个像素点的像素值b和每个像素点邻域窗口内的所有像素点的像素平均值
Figure BDA0002844041690000191
其中，邻域窗口可以根据实际情况进行设置，例如，在图像处理方法具体应用于处理指纹图像时，选择以每个像素点为中心的11*11窗口范围作为邻域窗口；
第一处理图像获得单元8024，用于根据第一原始图像中每个像素点的像素值r和每个像素点邻域窗口内的所有像素点的像素平均值
Figure BDA0002844041690000192
以及第二原始图像中每个像素点邻域窗口内的所有像素点的像素平均值
Figure BDA0002844041690000193
获得与第二原始图像局部亮度对齐的第一处理图像,其中，第一处理图像中每个像素点的像素值r1可依据公式1得到，公式1：
Figure BDA0002844041690000194
由此，通过上述像素值计算单元8022和第一处理图像获得单元8024，可以实现对第一原始图像进行局部亮度对齐处理，使得经过局部亮度对齐处理的第一处理图像与第二原始图像的局部亮度保持一致。
结果获取单元804，用于基于第一处理图像与第二原始图像，获得第一结果图像。
在一种可选的实施例中，结果获取单元804可以对第一处理图像和第二原始图像做减法运算，获得第一结果图像。例如，当第一原始图像为原始目标图像，第二原始图像为背景图像时，第一处理图像为经过局部亮度对齐处理的原始目标图像，结果获取单元804将第一处理图像减去第二原始图像，即可获得第一结果图像，该第一结果图像为去除背景的目标图像。又例如，当第一原始图像为背景图像，第二原始图像为原始目标图像时，第一处理图像为经过局部亮度对齐处理的背景图像，结果获取单元804将第二原始图像减去第一处理图像，同样可获得第一结果图像，该第一结果图像同样为去除背景的目标图像。
需要说明的是，在本申请的实施例中，第一处理图像和第二原始图像做减法运算代表将第一处理图像的各个像素点的像素值与第二原始图像的各个像素点的像素值做减法运算。
依据本发明实施例提供的图像处理装置，不仅能够去除了主要的背景纹理，且解决了背景图像与原始目标图像之间的局部亮度不均匀的问题，使得去除背景的目标图像局部亮度相对均匀且清晰，在具体应用于处理指纹图像时，能够获得清晰的去除显示屏背景纹理的指纹图像。
但是，由于硬件成像异常或受外界环境影响，有时图像采集单元800得到的第一原始图像与第二原始图像整体亮度差异较大，经过上述步骤S102-S104获得的第一结果图像仍然会有明显的背景纹理残留，因此，可以在局部亮度对齐处理之前或之后进行整体亮度对齐处理。参考图9，提供了根据本发明实施例的另一种可选的图像处理装置的结构框图。如图9所示，图像处理装置90包括：
图像采集单元900，用于采集第一原始图像和第二原始图像，其中，第一原始图像是原始目标图像和背景图像中的一种，第二原始图像是原始目标图像和背景图像中的另一种。
局部亮度对齐单元902，用于对第一原始图像进行局部亮度对齐处理，获得第一处理图像。
整体亮度对齐单元904，用于对第一处理图像进行整体亮度对齐处理，获得第二处理图像。
结果获取单元906：基于第二处理图像与第二原始图像，获得第二结果图像。
上述图像采集单元900，局部亮度对齐单元902与图8所描述的实施例中的图像采集单元800和局部亮度对齐单元802相同，具体可参见图8的相应描述，在此不再详细说明。图9所描述的实施例与图8的不同之处在于，图像处理装置90还包括整体亮度对齐单元904，用于对第一处理图像进行整体亮度对齐处理，获得第二处理图像，以及结果获取单元906是基于经过整体亮度对齐处理的第二处理图像与第二原始图像，获得第二结果图像。
在一种可选的实施例中，整体亮度对齐单元904包括：
第二像素值计算单元9042，用于计算第一处理图像的最大像素值rmax和最小像素值rmin，以及第二原始图像的最大像素值bmax和最小像素值bmin；
整体亮度系数计算单元9044，用于根据第一处理图像的最大像素值rmax和最小像素值rmin，以及第二原始图像的最大像素值bmax和最小像素值bmin，获取第一处理图像相对第二原始图像的整体亮度尺度系数α和整体亮度偏移系数β；其中，整体亮度尺度系数α可以根据公式2计算得到，公式2：
Figure BDA0002844041690000201
整体亮度偏移系数β可以根据公式3计算得到，公式3：β＝(bmin·rmax-bmax·rmin)/(rmax-rmin)；
线性变换单元9046，用于基于整体亮度尺度系数α和整体亮度偏移系数β对第一处理图像进行线性变换，得到与第二原始图像整体亮度对齐的第二处理图像；其中，第二处理图像中每个像素点的像素值r2基于公式4通过线性变换得到，公式4：r2＝α·r+β。
在另一种可选的实施例中，也可以对第二原始图像进行整体亮度对齐处理，此时，图像处理装置90包括图像采集单元900、局部亮度对齐单元902、整体亮度对齐单元904’和结果获取单元906′。其中，图像采集单元900，局部亮度对齐单元902与图8所描述的实施例中的图像采集单元800和局部亮度对齐单元802相同，具体可参见图8的相应描述，在此不再详细说明。
与整体亮度对齐单元904不同的是，在本实施例中，整体亮度对齐单元904’，用于对第二原始图像进行整体亮度对齐处理，获得第三处理图像；结果获取单元906′，用于基于第一处理图像与第三处理图像，获得第三结果图像。
在一种可选的实施例中，整体亮度对齐单元904′包括：
第二像素值计算单元9042，用于计算第一处理图像的最大像素值rmax和最小像素值rmin，以及第二原始图像的最大像素值bmax和最小像素值bmin；
整体亮度系数计算单元9044′，用于根据第一处理图像的最大像素值rmax和最小像素值rmin，以及第二原始图像的最大像素值bmax和最小像素值bmin，获取第二原始图像相对第一处理图像的整体亮度尺度系数α′和整体亮度偏移系数β′；其中，整体亮度尺度系数α′可以根据公式2计算得到，公式4：
Figure BDA0002844041690000211
整体亮度偏移系数β′可以根据公式3计算得到，公式5：β′＝(rmin·bmax-rmax·bmin)/(bmax-bmin)；
线性变换单元9046′，用于基于整体亮度尺度系数α′和整体亮度偏移系数β′对第二原始图像进行线性变换，得到与第一处理图像整体亮度对齐的第三处理图像；其中，第三处理图像中每个像素点的像素值b2基于公式4通过线性变换得到，公式4：b2＝α′·b+β′。
需要说明的是，上述实施例是先进行局部亮度对齐处理，再进行整体亮度对齐处理的。但上述步骤顺序仅仅是作为一种示例而非严格的限制，本领域技术人员可以基于上述实施例的原理进行相应的调整和变换，例如，先进行整体亮度对齐处理再进行局部亮度对齐处理。
此外，为了避免局部噪声对参数计算的影响，在包含整体亮度对齐处理步骤的实施例中，图像处理装置还可以包含平滑处理单元，用于在整体亮度对齐处理之前进行平滑处理，例如，针对第一原始图像和第二原始图像进行平滑处理；又例如，针对第一处理图像和第二原始图像进行平滑处理等等，本领域技术人员可以根据具体的实施例进行合理的调整。具体地，平滑处理单元可以采用均值滤波、高斯滤波等方法进行平滑处理。
此外，由于外界环境变化以及按压方式不同，原始目标图像中包含的背景纹理可能与背景图像差异较大，即存在背景纹理的形变，比如当外界温度变化较大时，显示屏内部结构会发生不同程度的热胀冷缩效应，此时背景纹理在原始目标图像中的成像与背景图像具有明显差异；又如目标图像采集时由于目标物按压显示屏的力度不同，导致显示屏发生不同程度的形变，且与成像传感器之间的距离也有所改变，进而引起背景纹理的成像变化。此时通过上述实施例可能无法将背景纹理去除。
为了解决背景纹理存在形变的问题，在一种可选的实施例中，将目标物刚接触屏幕但未完全按压显示屏时采集到的目标物图像作为背景图像。在目标物刚刚接触显示屏时，屏幕点亮，而目标物尚未完全按压下去，传感器的成像中目标图像信号微弱而背景纹理清晰，因此可以把该时刻采集到的目标物图像近似作为背景图像。通过精确控制图像采集时刻，可以得到与当前原始目标图像中的背景纹理基本一致的背景图像，由此，可以较好的解决背景纹理形变问题。但是该方法对采图时机要求较高，如果采图过早则屏幕尚未点亮或目标物距屏幕较远而反光不足，导致成像强度太弱；如果采图过晚则目标物已完全按压，无法得到纯净的背景图像。
为了在不严格要求采图时机的情况下解决背景纹理存在形变的问题，可以在局部亮度对齐处理之前或之后进行形状对齐处理。参考图10，提供了根据本发明实施例的又一种可选的图像处理装置的结构框图。如图10所示，该图像处理装置100包括如下步骤：
图像采集单元1000，用于采集第一原始图像和第二原始图像，其中，第一原始图像是原始目标图像和背景图像中的一种，第二原始图像是原始目标图像和背景图像中的另一种。
局部亮度对齐单元1002，用于对第一原始图像进行局部亮度对齐处理，获得第一处理图像。
形状对齐单元1004，用于对第一处理图像进行形状对齐处理，获得第四处理图像。
结果获取单元1006：基于第四处理图像与第二原始图像，获得第四结果图像。
上述图像采集单元1000，局部亮度对齐单元1002与图8所描述的实施例相同，具体可参见图8的相应描述，在此不再详细说明。图10所描述的实施例与图8的不同之处在于，图像处理装置100还包括形状对齐单元1004,用于对第一处理图像进行形状对齐处理，获得第四处理图像，以及结果获取单元1006是基于经过形状对齐处理的第四处理图像与第二原始图像，获得第四结果图像。
在另一种可选的实施例中，图像处理装置100还包括形变判断单元，用于在形状对齐单元1004进行形状对齐处理步骤之前，判断背景图像是否存在形变；可选地，判断背景图像是否存在形变包括：判断第一处理图像与第二原始图像的相似度，具体地，可以采用例如零均值归一化互相关系数ZNCC(zero-mean normalized cross-correlation)判断；当相似度小于第一阈值时，判断背景图像存在形变。
在一种可选的实施例中，形状对齐单元1004包括：
位置计算单元10042，用于计算第一处理图像中每个像素点到第二原始图像中对应目标像素点的位置偏移；可选地，可以采用Lucas-Kanade算法计算；
拟合单元10044，用于根据位置偏移拟合出第一处理图像相对第二原始图像的位移参数(Δx,Δy)和尺度参数δ；可选地，可以采用最小二乘法拟合；
对齐单元10046，用于根据位移参数(Δx,Δy)和尺度参数δ对第一处理图像进行形状对齐处理，获得与第二原始图像形状对齐的第四处理图像。
在另一种可选的实施例中，也可以对第二原始图像进行形状对齐处理，此时，图像处理装置100包括图像采集单元1000、局部亮度对齐单元1002、形状对齐单元1004’和结果获取单元1006'。其中，图像采集单元1000，局部亮度对齐单元1002与图8所描述的实施例中的图像采集单元800和局部亮度对齐单元802相同，具体可参见图8的相应描述，在此不再详细说明。
与形状对齐单元1004不同的是，在本实施例中，形状对齐单元1004'，用于对第二原始图像进行形状对齐处理，获得第五处理图像；结果获取单元1006'，用于基于第一处理图像与第五处理图像，获得第五结果图像。
在一种可选的实施例中，形状对齐单元1004'包括：
位置计算单元10042，用于计算第一处理图像中每个像素点到第二原始图像中对应目标像素点的位置偏移；可选地，可以采用Lucas-Kanade算法计算；
拟合单元10044'，用于根据位置偏移拟合出第二原始图像相对第一处理图像之间的位移参数(Δx′,Δy′)和尺度参数δ′；可选地，可以采用最小二乘法拟合；
对齐单元10046'，用于根据位移参数(Δx′,Δy′)和尺度参数δ′对第二原始图像进行形状对齐处理，获得与第一处理图像形状对齐的第五处理图像。
需要说明的是，上述实施例是先进行局部亮度对齐处理，再进行形状对齐处理的。但上述步骤顺序仅仅是作为一种示例而非严格的限制，本领域技术人员可以基于上述实施例的原理进行相应的调整和变换，例如，先进行形状对齐处理再进行局部亮度对齐处理；在包含整体亮度对齐处理步骤的图像处理方法中，整体亮度对齐处理、局部亮度对齐处理以及形状对齐处理这三个步骤的顺序可以具有不同的排列方式，例如，先进行整体亮度对齐处理，再进行局部亮度对齐处理，最后进行形状对齐处理；又例如，先进行局部亮度对齐处理，再进行整体亮度对齐处理，最后进行形状对齐处理；再例如，先进行形状亮度对齐处理，再进行整体亮度对齐处理，最后进行局部亮度对齐处理等等。
在一种可选的实施例中，图像采集单元还可以包括采集候选背景图像，即自目标物刚接触屏幕至目标物完全按压屏幕期间采样多帧目标物图像作为候选背景图像。对应于该步骤，图像处理装置还包括基于该候选背景图像和至少经过局部亮度对齐处理的第一原始图像或第二原始图像，获得去除候选背景后的结果图像；以及，选取图8-图10所描述的实施例中获得的去除背景后的结果图像和去除候选背景后的结果图像中较好的一个作为去除背景的目标图像。
由于传感器本身的成像特性，得到的去除背景的目标图像可能会存在局部质量不均的情况，通常表现为中心区域质量较好，而边缘区域质量较差，因此需要对去除背景的目标图像进行质量增强，提高边缘区域的质量。相对中心区域而言，边缘区域质量较差主要表现为指纹纹路对比度较低，对此，图像处理装置可以包括局部对比度增强单元用于改善局部对比度，但是原有的噪声也会同时被放大，所以，图像处理装置还可以包括去噪单元，用于在局部对比度增强后还进行去噪处理，可选地，可以采用快速非局部均值去噪(FastNon-Local Means Denoising)和三维块匹配滤波BM3D(Block-matching and 3Dfiltering)等去噪方法。经过局部对比度增强和去噪处理后，可以得到更加清晰的目标图像。
使用上述图像处理装置，可以得到去除背景的目标图像，整体图像清晰、整体及局部亮度均匀、噪声小、没有明显的背景纹理残留，且对外界环境变化具有较好的适应性。上述图像处理装置在具体应用于处理指纹图像时，能够获得清晰的去除显示屏背景纹理的指纹图像，指纹纹路清晰、亮度均匀、没有明显的背景纹理残留，可以克服因外界环境变化以及手指按压力度导致的背景形变所带来的影响，对指纹采集时机也没有严格要求，具有较好的适应性。
使用上述图8-图10所描述的图像处理装置可以获得清晰的去除背景的目标图像，若将其作为参考图像，也可以使用深度学习的方法将图像中的背景去除。参考图11，是根据本发明实施例的一种可选的基于深度学习的图像处理装置的结构框图。如图11所示，该图像处理装置110包括：
图像采集单元1100，用于采集第三原始图像和第四原始图像；其中，第三原始图像是原始目标图像和背景图像中的一种，第四原始图像是原始目标图像和背景图像中的另一种；
在一种可选的实施例中，第三原始图像是指目标物按压在电子设备的显示屏表面时采集到的目标物图像，背景图像是指使用一个与目标物反射率接近且表面光滑的模拟物按压在电子设备的显示屏表面时采集到的显示屏自身的纹理图像。当图像处理方法具体应用于处理指纹图像时，目标物可以是手指，模拟物可以是肤色橡胶块。
输入图像获取单元1102，根据第三原始图像和第四原始图像，获得输入图像；
在一种可选的实施例中，输入图像获取单元1102可以将第三原始图像和第四原始图像作为多通道的输入图像；
在另一种可选的实施例中，输入图像获取单元1102，用于对第三原始图像和第四原始图像进行减法运算，将运算结果作为输入图像；具体地，可以将第三原始图像减去第四原始图像，即获得去除背景的图像作为输入图像。
在另一种可选的实施例中，输入图像获取单元1102，用于对第三原始图像和第四原始图像进行局部亮度对齐处理，将处理结果作为输入图像；具体地，局部亮度对齐处理可以根据如图1中所描述的步骤S104实现。
网络构建单元1104，用于对初始的图像生成网络进行训练，构建经过训练的图像生成网络；其中，图像生成网络以模板图像为参考对象进行训练，模板图像为使用图1-图5所述的实施例中描述的图像处理方法获得的去除背景的目标图像。
在一种可选的实施例中，图像生成网络为U-net网络。具体地，图像生成网络可以包括三个部分，第一部分包括两个卷积模块，第二部分包括四个简单残差模块，第三部分包括两个反卷积模块，该结构可以保证图像生成网络的输出图像大小跟输入图像保持一致。
在一种可选的实施例中，网络构建单元1104包括：
样本获取单元11042，用于获取第一样本图像和第二样本图像；
训练图像获取单元11044，用于将第一样本图像和第二样本图像输入至初始的图像生成网络，获得第一训练图像；
第一训练单元11046，用于将第一训练图像和模板图像输入至第一损失函数模块，根据第一损失函数模块输出的第一损失值训练初始的图像生成网络，构建经过训练的图像生成网络。其中，第一损失函数模块可以为L2-LOSS函数。
在另一种可选的实施例中，网络构建单元1104还包括：
特征提取单元11048，用于将第一训练图像和模板图像输入至特征提取网络，获得第一训练图像的高层语义特征和模板图像的高层语义特征。在一种可选的实施例中，特征提取网络可以选择VGG网络。
第二训练单元11050，用于将第一训练图像的高层语义特征和模板图像的高层语义特征输入至第二损失函数模块，根据第二损失函数模块输出的第二损失值训练图像生成网络和/或特征提取网络。其中，第二损失函数模块可以为L2-LOSS函数。
在本实施例中，通过添加特征提取网络获取高层语义特征，以及通过第二损失函数训练图像生成网络和/或特征提取网络，可以使得最终生成的目标图像更接近模板图像。
结果获取单元1106，用于将输入图像输入至经过训练的图像生成网络，获得第六结果图像。
依据上述实施例，可以在各种环境下通过深度学习的方法将第三原始图像或第四原始图像中的背景纹理去除，且不对第三原始图像或第四原始图像的质量有严格要求。
当然，本领域技术人员可知，在图11对应的基于深度学习的图像处理装置中也可以直接使用质量较高的清晰图像作为训练的参考对象，而不使用可以图1-图5所述的实施例中描述的图像处理方法获得的去除背景的结果图像作为训练的参考对象。
通过上述图8-图11所描述的图像处理装置获得了清晰的去除背景的目标图像，因此，可以从去除背景的目标图像中提取更为准确的描述子。参考图12，是根据本发明实施例的一种可选的描述子提取装置的结构框图。如图12所示，该描述子提取装置120包括：
关键点获取单元1200，用于获取目标图像的关键点，其中，目标图像为使用图1-图6所述的实施例中描述的图像处理方法获得的去除背景的目标图像；
在一种可选的实施例中，使用SIFT算法确定目标图像的关键点。
归类单元1202,将具有相同关键点的多张目标图像归为同一个类别，标注类别信息作为图像标签；
截图单元1204,以关键点为中心，在具有表示同一个类别的图像标签的多张目标图像中截取图像块；
在一种可选的实施例中，在具体应用于处理指纹图像时，可以以关键点为中心截取32*32大小的图像块。
描述子提取网络构建单元1206,用于对初始的描述子提取网络进行训练，构建经过训练的描述子提取网络；
在一种可选的实施例中，根据第三损失函数模块输出的第三损失值训练所述描述子提取网络。第三损失函数可以由多种函数实现，例如，tiplet loss,N-pairs loss,histogram loss,contrastive loss,circle loss等。
特征描述子获取单元1208，将图像块输入经过训练的描述子提取网络，获得特征描述子。
在具体应用于处理指纹图像时，由于指纹的重复纹理信息太多，若直接将图像块输入经过训练的描述子提取网络，会降低描述子提取方法的鲁棒性，针对该问题，描述子提取装置120还包括：方向角度获取单元，用于获取关键点的方向和角度；旋转拉平单元，用于根据关键点的方向和角度，对图像块进行旋转拉平，获得对齐的图像块。
在一种可选的实施例中，可以先分别训练图像生成网络、特征提取网络，然后再训练描述子提取网络，最后使用端到端训练的方法训练图像生成网络、特征提取网络和描述子提取网络，对网络参数进行微调，获得更鲁棒的特征描述子。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (46)

1.一种图像处理方法，包括：
采集第一原始图像和第二原始图像，其中，所述第一原始图像是原始目标图像和背景图像中的一种，所述第二原始图像是所述原始目标图像和所述背景图像中的另一种；
对所述第一原始图像进行局部亮度对齐处理，获得第一处理图像；
基于所述第一处理图像与所述第二原始图像，获得去除背景的目标图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述原始目标图像是目标物按压在电子设备的显示屏表面时采集到的目标物图像，所述背景图像是使用一个与所述目标物反射率接近且表面光滑的模拟物按压在所述电子设备的显示屏表面时采集到的显示屏自身的纹理图像。
3.根据权利要求1所述的图像处理方法，其特征在于，所述目标物为手指，所述模拟物是肤色橡胶块。
4.根据权利要求1所述的图像处理方法，其特征在于，在所述目标物完全按压屏幕时，连续采集多帧目标物图像，根据所述多帧目标物图像的整体质量或局部质量对所述多帧目标物图像进行整体或局部的加权融合，得到融合后的目标图像作为所述原始目标图像。
5.根据权利要求1所述的图像处理方法，其特征在于，对所述第一原始图像进行局部亮度对齐处理，获得第一处理图像包括：
分别计算所述第一原始图像中每个像素点的像素值和每个像素点邻域窗口内的所有像素点的像素平均值，以及所述第二原始图像中每个像素点的像素值和每个像素点邻域窗口内的所有像素点的像素平均值；
根据所述第一原始图像中每个像素点的像素值和每个像素点邻域窗口内的所有像素点的像素平均值，以及所述第二原始图像中每个像素点的像素值和每个像素点邻域窗口内的所有像素点的像素平均值，获得与所述第二原始图像局部亮度对齐的所述第一处理图像。
6.根据权利要求1所述的图像处理方法，其特征在于，所述基于第一处理图像与第二原始图像，获得第一结果图像包括：对所述第一处理图像和所述第二原始图像做减法运算，获得所述第一结果图像。
7.根据权利要求1所述的图像处理方法，还包括在所述局部亮度对齐处理之前或之后进行整体亮度对齐处理。
8.根据权利要求7所述的图像处理方法，其特征在于，在对所述第一原始图像进行局部亮度对齐处理，获得第一处理图像之后，对所述第一处理图像进行整体亮度对齐处理，获得第二处理图像；
其中，对所述第一处理图像进行整体亮度对齐处理，获得第二处理图像包括：
分别计算所述第一处理图像的最大像素值和最小像素值，以及所述第二原始图像的最大像素值和最小像素值；
根据所述第一处理图像的最大像素值和最小像素值，以及所述第二原始图像的最大像素值和最小像素值，获取所述第一处理图像相对所述第二原始图像的整体亮度尺度系数和整体亮度偏移系数；
基于所述整体亮度尺度系数和所述整体亮度偏移系数对所述第一处理图像进行线性变换，得到与所述第二原始图像整体亮度对齐的所述第二处理图像。
9.根据权利要求7所述的图像处理方法，其特征在于，对所述第二原始图像进行整体亮度对齐处理，获得第三处理图像，包括：
分别计算所述第一处理图像的最大像素值和最小像素值，以及所述第二原始图像的最大像素值和最小像素值；
根据所述第一处理图像的最大像素值和最小像素值，以及所述第二原始图像的最大像素值和最小像素值，获取所述第二原始图像相对所述第一处理图像的整体亮度尺度系数和整体亮度偏移系数；
基于所述整体亮度尺度系数和所述整体亮度偏移系数对所述第二原始图像进行线性变换，得到与所述第一处理图像整体亮度对齐的所述第三处理图像。
10.根据权利要求7所述的图像处理方法，还包括，在所述整体亮度对齐之前进行平滑处理。
11.根据权利要求10所述的图像处理方法，其特征在于，所述平滑处理包括以下至少一项：均值滤波、高斯滤波。
12.根据权利要求1所述的图像处理方法，其特征在于，将所述目标物刚接触屏幕但未完全按压显示屏时采集到的目标物图像作为所述背景图像。
13.根据权利要求1所述的图像处理方法，还包括：在所述局部亮度对齐处理之前或之后进行形状对齐处理。
14.根据权利要求13所述的图像处理方法，其特征在于，在对所述第一原始图像进行局部亮度对齐处理，获得第一处理图像之后，对所述第一处理图像进行形状对齐处理，获得第四处理图像；
其中，所述第一处理图像进行形状对齐处理，获得第四处理图像包括：
计算所述第一处理图像中每个像素点到所述第二原始图像中对应目标像素点的位置偏移；
根据所述位置偏移拟合出所述第一处理图像相对所述第二原始图像的位移参数和尺度参数；
根据所述位移参数和所述尺度参数对所述第一处理图像进行形状对齐处理，获得与所述第二原始图像形状对齐的所述第四处理图像。
15.根据权利要求13所述的图像处理方法，其特征在于：对第二原始图像进行形状对齐处理，获得第五处理图像，包括：
计算所述第一处理图像中每个像素点到所述第二原始图像中对应目标像素点的位置偏移；
根据所述位置偏移拟合出所述第二原始图像相对所述第一处理图像的位移参数和尺度参数；
根据所述位移参数和所述尺度参数对所述第二原始图像进行形状对齐处理，获得与所述第一处理图像形状对齐的所述第五处理图像。
16.根据权利要求1所述的图像处理方法，还包括：对所述去除背景的目标图像进行以下至少一项处理：局部对比度增强、快速非局部均值去噪、三维块匹配滤波。
17.根据权利要求13所述的图像处理方法，还包括：在进行所述形状对齐处理之前，判断所述背景图像是否存在形变。
18.根据权利要求1所述的图像处理方法，还包括：采集候选背景图像，其中，所述候选背景图像为自目标物刚接触屏幕至目标物完全按压屏幕期间采样的多帧目标物图像。
19.根据权利要求18所述的图像处理方法，还包括：基于所述候选背景图像和经过局部亮度对齐处理的所述第一原始图像或所述第二原始图像，获得去除候选背景后的结果图像。
20.根据权利要求19所述的图像处理方法，还包括：将去除背景后的结果图像和所述去除候选背景后的结果图像中较好的一个作为所述去除背景的目标图像。
21.一种图像处理方法，包括：
采集第三原始图像和第四原始图像，其中，所述第三原始图像是原始目标图像和背景图像中的一种，所述第四原始图像是所述原始目标图像和所述背景图像中的另一种；
根据所述第三原始图像和所述第四原始图像，获得输入图像；
对初始的图像生成网络进行训练，构建经过训练的图像生成网络；其中，所述图像生成网络以模板图像为参考对象进行训练，模板图像为使用权利要求1至20中任一项所述的图像处理方法获得的去除背景的目标图像；
将输入图像输入至经过训练的图像生成网络，获得所述去除背景的目标图像。
22.根据权利要求21所述的图像处理方法，其特征在于，根据第三原始图像和第四原始图像，获得输入图像包括：
对所述第三原始图像和所述第四原始图像进行局部亮度对齐处理，将处理结果作为所述输入图像。
23.根据权利要求21所述的图像处理方法，其特征在于，对初始的图像生成网络进行训练，构建经过训练的图像生成网络包括：
获取第一样本图像和第二样本图像；
将所述第一样本图像和所述第二样本图像输入至所述初始的图像生成网络，
获得第一训练图像；
将所述第一训练图像和所述模板图像输入至第一损失函数模块，根据所述第一损失函数模块输出的第一损失值训练所述初始的图像生成网络，构建所述经过训练的图像生成网络。
24.根据权利要求23所述的图像处理方法，其特征在于，对初始的图像生成网络进行训练，构建经过训练的图像生成网络还包括：
将所述第一训练图像和所述模板图像输入至特征提取网络，获得所述第一训练图像的高层语义特征和所述模板图像的高层语义特征；
将所述第一训练图像的高层语义特征和所述模板图像的高层语义特征输入至第二损失函数模块，根据所述第二损失函数模块输出的第二损失值训练所述图像生成网络和/或所述特征提取网络。
25.一种描述子提取方法，包括：
获取目标图像的关键点，其中，所述目标图像为使用权利要求1至20中任一项所述的图像处理方法获得的所述去除背景的目标图像；
将具有相同关键点的多张所述目标图像归为同一个类别，标注类别信息作为图像标签；
以所述关键点为中心，在具有表示所述同一个类别的所述图像标签的多张所述目标图像中截取图像块；
对初始的描述子提取网络进行训练，构建经过训练的描述子提取网络；
将所述图像块输入经过所述训练的描述子提取网络，获得特征描述子。
26.根据权利要求25所述的描述子提取方法，其特征在于，在将所述图像块输入经过所述训练的描述子提取网络，获得特征描述子之前，所述描述子提取方法还包括：
获取所述关键点的方向和角度；
根据所述关键点的方向和角度，对所述图像块进行旋转拉平，获得对齐的图像块。
27.根据权利要求25所述的描述子提取方法，其特征在于，使用端到端训练的方法训练所述图像生成网络、所述特征提取网络和所述描述子提取网络。
28.一种图像处理装置，包括：
图像采集单元，用于采集第一原始图像和第二原始图像，其中，所述第一原始图像是原始目标图像和背景图像中的一种，所述第二原始图像是所述原始目标图像和所述背景图像中的另一种；
局部亮度对齐单元，用于对所述第一原始图像进行局部亮度对齐处理，获得第一处理图像；
结果获取单元，用于基于所述第一处理图像与所述第二原始图像，获得第一结果图像。
29.根据权利要求28所述的图像处理装置，其特征在于，所述局部亮度对齐单元包括：
第一像素值计算单元，用于分别计算所述第一原始图像中每个像素点的像素值和每个像素点邻域窗口内的所有像素点的像素平均值，以及所述第二原始图像中每个像素点的像素值和每个像素点邻域窗口内的所有像素点的像素平均值；
第一处理图像获得单元，用于根据所述第一原始图像中每个像素点的像素值和每个像素点邻域窗口内的所有像素点的像素平均值，以及所述第二原始图像中每个像素点的像素值和每个像素点邻域窗口内的所有像素点的像素平均值，获得与所述第二原始图像局部亮度对齐的所述第一处理图像。
30.根据权利要求28所述的图像处理装置，其特征在于，所述结果获取单元，通过对所述第一处理图像和所述第二原始图像做减法运算，获得所述第一结果图像。
31.根据权利要求28所述的图像处理装置，还包括整体亮度对齐单元，用于在所述局部亮度对齐处理之前或之后进行整体亮度对齐处理。
32.根据权利要求31所述的图像处理装置，其特征在于，所述整体亮度对齐单元包括：
第二像素值计算单元，用于分别计算所述第一处理图像的最大像素值和最小像素值，以及所述第二原始图像的最大像素值和最小像素值；
整体亮度系数计算单元，根据所述第一处理图像的最大像素值和最小像素值，以及所述第二原始图像的最大像素值和最小像素值，获取所述第一处理图像相对所述第二原始图像的整体亮度尺度系数和整体亮度偏移系数；
线性变换单元，基于所述整体亮度尺度系数和所述整体亮度偏移系数对所述第一处理图像进行线性变换，得到与所述第二原始图像整体亮度对齐的所述第二处理图像。
33.根据权利要求31所述的图像处理装置，其特征在于，所述整体亮度对齐单元包括：
第二像素值计算单元，用于分别计算所述第一处理图像的最大像素值和最小像素值，以及所述第二原始图像的最大像素值和最小像素值；
整体亮度系数计算单元，根据所述第一处理图像的最大像素值和最小像素值，以及所述第二原始图像的最大像素值和最小像素值，获取所述第二原始图像相对所述第一处理图像的整体亮度尺度系数和整体亮度偏移系数；
线性变换单元，基于所述整体亮度尺度系数和所述整体亮度偏移系数对所述第二原始图像进行线性变换，得到与所述第一处理图像整体亮度对齐的所述第三处理图像。
34.根据权利要求31所述的图像处理装置，还包括平滑处理单元，用于在所述整体亮度对齐之前进行平滑处理。
35.根据权利要求28所述的图像处理装置，还包括形状对齐单元，用于在所述局部亮度对齐处理之前或之后进行形状对齐处理。
36.根据权利要求35所述的图像处理装置，其特征在于，所述形状对齐单元包括：
位置计算单元，用于计算所述第一处理图像中每个像素点到所述第二原始图像中对应目标像素点的位置偏移；
拟合单元，用于根据所述位置偏移拟合出所述第一处理图像相对所述第二原始图像的位移参数和尺度参数；
对齐单元，用于根据所述位移参数和所述尺度参数对所述第一处理图像进行形状对齐处理，获得与所述第二原始图像形状对齐的所述第四处理图像。
37.根据权利要求35所述的图像处理装置，其特征在于，所述形状对齐单元包括：
位置计算单元，用于计算所述第一处理图像中每个像素点到所述第二原始图像中对应目标像素点的位置偏移；
拟合单元，用于根据所述位置偏移拟合出所述第二原始图像相对所述第一处理图像的位移参数和尺度参数；
对齐单元，用于根据所述位移参数和所述尺度参数对所述第二原始图像进行形状对齐处理，获得与所述第一处理图像形状对齐的所述第五处理图像。
38.一种图像处理装置，包括：
图像采集单元，采集第三原始图像和第四原始图像，其中，所述第三原始图像是原始目标图像和背景图像中的一种，所述第四原始图像是所述原始目标图像和所述背景图像中的另一种；
输入图像获取单元，根据所述第三原始图像和所述第四原始图像，获得输入图像；
网络构建单元，对初始的图像生成网络进行训练，构建经过训练的图像生成网络；其中，所述图像生成网络以模板图像为参考对象进行训练，模板图像为使用权利要求1至24中任一项所述的图像处理方法获得的去除背景的目标图像；
结果获取单元，将所述输入图像输入至所述经过训练的图像生成网络，获得所述去除背景的目标图像。
39.根据权利要求38的图像处理装置，其特征在于，所述输入图像获取单元，用于对所述第三原始图像和所述第四原始图像进行局部亮度对齐处理，将处理结果作为所述输入图像。
40.根据权利要求38的图像处理装置，其特征在于，所述网络构建单元包括：
样本获取单元，用于获取第一样本图像和第二样本图像；
训练图像获取单元，用于将所述第一样本图像和所述第二样本图像输入至所述初始的图像生成网络，获得第一训练图像；
第一训练单元，用于将所述第一训练图像和所述模板图像输入至第一损失函数模块，根据所述第一损失函数模块输出的第一损失值训练所述初始的图像生成网络，构建所述经过训练的图像生成网络。
41.根据权利要求38的图像处理装置，其特征在于，所述网络构建单元还包括：
特征提取单元，用于将所述第一训练图像和所述模板图像输入至特征提取网络，获得所述第一训练图像的高层语义特征和所述模板图像的高层语义特征；
第二训练单元，用于将所述第一训练图像的高层语义特征和所述模板图像的高层语义特征输入至第二损失函数模块，根据所述第二损失函数模块输出的第二损失值训练所述图像生成网络和/或所述特征提取网络。
42.一种描述子提取装置，包括：
关键点获取单元，用于获取目标图像的关键点，其中，所述目标图像为使用权利要求1至24中任一项所述的图像处理方法获得的所述去除背景的目标图像；
归类单元，用于将具有相同关键点的多张所述目标图像归为同一个类别，标注类别信息作为图像标签；
截图单元，用于以所述关键点为中心，在具有表示所述同一个类别的所述图像标签的多张所述目标图像中截取图像块；
描述子提取网络构建单元，用于对初始的描述子提取网络进行训练，构建经过训练的描述子提取网络；
特征描述子获取单元，用于将所述图像块输入经过所述训练的描述子提取网络，获得特征描述子。
43.根据权利要求42所述的描述子提取装置，还包括：
方向角度获取单元，用于获取所述关键点的方向和角度；
旋转拉平单元，用于根据所述关键点的方向和角度，对所述图像块进行旋转拉平，获得对齐的图像块。
44.根据权利要求42所述的描述子提取装置，其特征在于，使用端到端训练的方法训练所述图像生成网络、所述特征提取网络和所述描述子提取网络。
45.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至24中任意一项所述的图像处理方法。
46.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至24中任意一项所述的图像处理方法。
CN202011502579.3A 2020-12-17 2020-12-17 图像处理方法、描述子提取方法及其装置、电子设备 Pending CN114648548A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011502579.3A CN114648548A (zh) 2020-12-17 2020-12-17 图像处理方法、描述子提取方法及其装置、电子设备
PCT/CN2021/139279 WO2022127916A1 (zh) 2020-12-17 2021-12-17 图像处理方法、描述子提取方法及其装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011502579.3A CN114648548A (zh) 2020-12-17 2020-12-17 图像处理方法、描述子提取方法及其装置、电子设备

Publications (1)

Publication Number Publication Date
CN114648548A true CN114648548A (zh) 2022-06-21

Family

ID=81990863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011502579.3A Pending CN114648548A (zh) 2020-12-17 2020-12-17 图像处理方法、描述子提取方法及其装置、电子设备

Country Status (2)

Country Link
CN (1) CN114648548A (zh)
WO (1) WO2022127916A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117473105B (zh) * 2023-12-28 2024-04-05 浪潮电子信息产业股份有限公司 基于多模态预训练模型的三维内容生成方法及相关组件

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105590099B (zh) * 2015-12-22 2019-02-01 中国石油大学(华东) 一种基于改进卷积神经网络的多人行为识别方法
US9971929B2 (en) * 2016-01-28 2018-05-15 University Of The West Indies Fingerprint classification system and method using regular expression machines
CN109446954A (zh) * 2018-10-17 2019-03-08 长安大学 一种基于超短二值描述子的快速指纹匹配方法和装置
CN111695386B (zh) * 2019-03-15 2024-04-26 虹软科技股份有限公司 一种指纹图像增强、指纹识别和应用程序启动方法
CN110400335B (zh) * 2019-07-25 2022-05-24 广西科技大学 基于深度学习的纹理图像质量估计方法

Also Published As

Publication number Publication date
WO2022127916A1 (zh) 2022-06-23

Similar Documents

Publication Publication Date Title
JP4772839B2 (ja) 画像識別方法および撮像装置
KR101538935B1 (ko) 깊이 차이를 이용한 얼굴 구성요소의 자동 분류 방법
CN111881913A (zh) 图像识别方法及装置、存储介质和处理器
US20150003740A1 (en) Image processing device, method of controlling image processing device, and program for enabling computer to execute same method
JP4597391B2 (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
JP5229050B2 (ja) 画像からの文書領域抽出装置、方法、及びプログラム
CN103201769A (zh) 图像处理装置、图像处理方法、程序、集成电路
CN111444744A (zh) 活体检测方法、装置以及存储介质
JP5779089B2 (ja) エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法
CN111695386A (zh) 一种指纹图像增强、指纹识别和应用程序启动方法
CN112802033B (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN112258404A (zh) 图像处理方法、装置、电子设备和存储介质
CN112967264A (zh) 缺陷检测方法及装置、电子设备和存储介质
CN113947613B (zh) 目标区域检测方法、装置、设备及存储介质
CN112529846A (zh) 图像处理方法及装置、电子设备和存储介质
JP2010211498A (ja) 画像処理プログラム及び画像処理システム
CN116152166A (zh) 基于特征相关性的缺陷检测方法及相关装置
CN114648548A (zh) 图像处理方法、描述子提取方法及其装置、电子设备
CN117313364A (zh) 一种数字孪生三维场景构建方法及装置
Canedo-Rodríguez et al. Efficient text extraction algorithm using color clustering for language translation in mobile phone
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
Lizarraga-Morales et al. Integration of color and texture cues in a rough set–based segmentation method
CN113989481A (zh) 一种合同文本图像印章检测和去除方法
CN113592928A (zh) 图像处理方法、图像处理装置及存储介质
CN112329572A (zh) 一种基于边框和闪光点的快速静态活体检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination