CN113506332B - 目标对象识别的方法、电子设备及存储介质 - Google Patents

目标对象识别的方法、电子设备及存储介质 Download PDF

Info

Publication number
CN113506332B
CN113506332B CN202111052670.4A CN202111052670A CN113506332B CN 113506332 B CN113506332 B CN 113506332B CN 202111052670 A CN202111052670 A CN 202111052670A CN 113506332 B CN113506332 B CN 113506332B
Authority
CN
China
Prior art keywords
image
loss function
network
target object
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111052670.4A
Other languages
English (en)
Other versions
CN113506332A (zh
Inventor
保长存
陈智超
朱海涛
江坤
户磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd, Hefei Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202111052670.4A priority Critical patent/CN113506332B/zh
Publication of CN113506332A publication Critical patent/CN113506332A/zh
Application granted granted Critical
Publication of CN113506332B publication Critical patent/CN113506332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及图像识别领域，公开了一种目标对象识别的方法、电子设备及存储介质。本发明中目标对象识别的方法，包括：获取包含目标对象的目标图像；将目标图像输入预设的色彩校准网络，获得与目标图像匹配的色彩校准矩阵，色彩校准矩阵为N*3的矩阵，N为大于等于3的整数，色彩校准网络是基于预先训练的目标对象识别网络训练获得；根据色彩校准矩阵，逐像素点对目标图像的色彩进行校准，获得目标校准图像；将目标校准图像输入至目标对象识别网络中，获得识别结果。采用本实施例，提高目标对象识别网络对目标对象识别的准确性。

Description

目标对象识别的方法、电子设备及存储介质
技术领域
本发明实施例涉及图像识别领域，特别涉及一种目标对象识别的方法、电子设备及存储介质。
背景技术
目标对象识别的方法是基于物体的特征进行识别的识别技术，例如，人脸识别技术。随着人脸识别技术的发展，由于其具有数据准确、安全系数高、使用方便等诸多特点，人脸识别技术被广泛地应用于各行各业，比如应用于无人零售机、考勤机以及门禁系统等设备。具有人脸识别技术的电子设备通常会存储同一个人在不同时间、不同场景下的图像；电子设备在人脸识别场景中采集该人的人脸图像，将采集的人脸图像与存储的该人的人脸图像进行比对，将对比结果作为人脸识别的结果。
然而，同一人在不同环境的图像，通常在颜色、亮度、饱和度上有差异，导致电子设备采集的某人的图像与存储的该人的不同图像的相似度之间差异大，降低了对人脸识别的准确度。
发明内容
本发明实施方式的目的在于提供一种目标对象识别的方法、电子设备及存储介质，提高目标对象识别网络对目标对象识别的准确性。
为解决上述技术问题，第一方面，本申请的实施方式提供了一种目标对象识别的方法，包括：获取包含目标对象的目标图像；将目标图像输入预设的色彩校准网络，获得与目标图像匹配的色彩校准矩阵，色彩校准矩阵为N*3的矩阵，N为大于等于3的整数，色彩校准网络是基于预先训练的目标对象识别网络训练获得；根据色彩校准矩阵，逐像素点对目标图像的色彩进行校准，获得目标校准图像；将目标校准图像输入至目标对象识别网络中，获得识别结果。
第二方面，本申请的实施方式提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的目标对象识别的方法。
第三方面，本申请的实施方式提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的目标对象识别的方法。
本申请实施例中，将目标图像输入至预设的色彩校准网络中，获得与该目标图像匹配的色彩校准矩阵，不同的目标图像的色彩校准矩阵不同，使得色彩校准矩阵对目标图像进行色彩校准的准确性，校准后的目标对象的亮度、色调等方面趋向于统一，从而使得目标对象识别网络在对目标对象进行识别时，不会因为色调、亮度的影响而导致识别不准确的问题，提高目标对象识别网络识别目标对象的准确性；由于校准过程中是通过色彩校准矩阵进行，计算量小，且采用逐像素点的方式对目标图像的色彩进行校准，可以减少图像细节的丢失，提高后续识别目标对象的准确性。此外，色彩校准网络是基于预先训练的目标对象识别网络训练获得，由于目标对象识别网络已经预先训练完成，即该目标对象识别网络已经固定，使得色彩校准网络与目标对象识别网络的训练解耦。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本申请实施例提供的一种目标对象识别的方法的流程图；
图2是根据本申请实施例提供的一种训练色彩校准网络的具体实现的示意图；
图3是根据本申请实施例提供的样本图像与样本图像的图像区域的示意图；
图4是根据本申请实施例提供的一种根据各样本对象的图像以及对应的标准色彩数据，训练初始的色彩校准网络至收敛的具体实现的示意图；
图5是根据本申请实施例提供的确定分类损失函数的具体实现的示意图；
图6是根据本申请实施例提供的色彩校准网络训练的具体实现的示意图；
图7是根据本申请实施例提供的获取色彩校准损失函数的示意图；
图8是根据本申请实施例提供的另一确定分类损失函数的具体实现的示意图；
图9是根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
目前对图像中的目标对象进行识别，识别的准确性与图像中目标对象的亮度、色调相关，而传统的色彩校准是在图像信号处理（Image Signal Processing，ISP）层面进行的，即相机在完成拍摄后对图片进行的后处理。传统的色彩校准常用的方法有两种：一、针对相机的校准。拍摄标准色板，根据拍摄颜色和实际颜色计算一个颜色校准矩阵，基于颜色校正矩阵对拍摄的图像进行校准。二、针对场景的自适应校准，如通过自动曝光、白平衡算法等实现。
以上两种方法不是针对特定目标对象进行的校准，例如，在人脸识别中，由于不是针对人脸进行的色彩校准，故经过传统的色彩校准后人脸区域仍然会出现亮度、色调等不一致的情况。同一人的不同人脸图片颜色外观差异越大，存储的同一人的不同人脸图像与采集的人脸图像之间相似度差异大，导致对人脸识别的准确度越低。
本申请的实施方式涉及一种目标对象识别的方法。该目标对象识别的方法可以由电子设备执行，如机器人、人脸识别装置、无人售货机等。该目标对象识别的方法的流程如图1所示：
步骤101：获取包含目标对象的目标图像。
具体地，目标对象可以是物体，如可乐、矿泉水等；还可以是人体，如人脸。电子设备可以通过自身的摄像头采集包含目标对象的目标图像，也可以接收其他设备采集的包含目标对象的目标图像。为了便于理解，本申请中目标对象以人脸为例进行说明。
步骤102：将目标图像输入预设的色彩校准网络，获得与目标图像匹配的色彩校准矩阵，色彩校准矩阵为N*3的矩阵，N为大于等于3的整数，色彩校准网络是基于预先训练的目标对象识别网络训练获得。
具体地，预先训练色彩校准网络，该色彩校准网络可以采用卷积神经网络（Convolutional Neural Networks，CNN）结构的网络，如CCNet网络，该色彩校准网络的输入数据为图像，输出数据为与该输入图像匹配的色彩校准矩阵，色彩校准矩阵的维度可以是N*3，N可以是3以及以上，如N为10。训练该色彩校准网络的训练集中包括不同目标对象的样本图像。若目标图像为人脸图像，即将人脸图像输入至该色彩校准网络，该色彩校准网络输出与该人脸图像匹配的色彩校准矩阵，该色彩校准矩阵的维度为10*3。
步骤103：根据色彩校准矩阵，逐像素点对目标图像的色彩进行校准，获得目标校准图像。
具体地，电子设备对目标图像逐像素点进行色彩校准，针对每个像素点的处理如下：按照预设规则将当前像素点填充为至N的长度，形成1*N的新矩阵，将该新矩阵与色彩校准矩阵相乘，获得新的像素点。例如，若色彩校准图像为10*3维度，记为C，当前像素点记为（r,g,b）；新的像素点记为（r new ,g new ,b new ）；填充后的新矩阵为1*10的矩阵，如公式（1）所示：
[r g b r*r g*g b*b r*g r*b b*g r*g*b] 公式（1）；
校准可以如公式（2）所示：
[r new g new b new ]=[r g b r*r g*g b*b r*g r*b b*g r*g*b]*C公式（2）；
电子设备对原像素点进行填充，可以丰富原像素的表达，从而使得校准后的像素点更准确。
步骤104：将目标校准图像输入至目标对象识别网络中，获得识别结果。
通过预先训练至收敛的目标对象识别网络对目标校准图像进行识别，获得识别结果。假设该目标对象识别的方法应用于人脸识别场景下，校准后的人脸图像的亮度、色调等方面趋于标准图像的亮度和色调，使得目标对象识别网络在进行人脸识别时，不会因为图像的色彩不同而导致识别错误的问题。
该方法可以提高在光照环境差的场景中图像的质量，也提高了对目标对象识别的准确性。
本申请实施例中，将目标图像输入至预设的色彩校准网络中，获得与该目标图像匹配的色彩校准矩阵，不同的目标图像的色彩校准矩阵不同，使得色彩校准矩阵对目标图像进行色彩校准的准确性，校准后的目标对象的亮度、色调等方面趋向于统一，从而使得目标对象识别网络在对目标对象进行识别时，不会因为色调、亮度的影响而导致识别不准确的问题，提高目标对象识别网络识别目标对象的准确性；由于校准过程中是通过色彩校准矩阵进行，计算量小，且采用逐像素点的方式对目标图像的色彩进行校准，可以减少图像细节的丢失，提高后续识别目标对象的准确性。此外，色彩校准网络是基于预先训练的目标对象识别网络训练获得，由于目标对象识别网络已经预先训练完成，即该目标对象识别网络已经固定，使得色彩校准网络与目标对象识别网络的训练解耦。
在一个实施例中，在将目标图像输入预设的色彩校准网络之前，本实施例提供了训练色彩校准网络的方式，其训练过程如图2所示。
步骤101-1：获取各样本对象的标准色彩数据，标准色彩数据包括：标准RGB均值和标准RGB方差。
电子设备针对每个样本对象进行如下处理：获取质量评分最高的样本对象的图像作为该样本对象的标准图像；获取标准图像中样本对象覆盖的区域作为标准图像区域；确定标准图像区域的RGB均值作为该样本对象的标准RGB均值，以及确定标准图像区域的RGB方差作为该样本对象的标准RGB方差。
具体地，图像训练集中包括不同的样本对象各自不同的图像，例如，图像训练集中包括1万个不同的人的不同图像，其中，每个人均有1000张不同的图像。为了便于训练，可以将每个人设置唯一的标识信息，例如，图像训练集中有一万个人的图像，则可以为每个人设置ID号。获取各样本对象的标准色彩数据，每个样本对象的处理过程均相同。
假设图像训练集中包括3个不同的样本图像，分别对应ID1、ID2以及ID3；现以获取ID2的标准色彩数据为例进行介绍。
电子设备从该ID2的所有图像中获取一张质量评分最高的样本图像作为该ID2的标准图像，质量评分高的标准为：图像清晰、ID2为正面照、无遮挡、无阴影等。电子设备可以通过接收用户选出的质量评分最高的样本图像；还可以通过预先训练的质量评分网络分别对ID2中的每张样本图像进行质量评分，将各质量评分进行排序，获取质量评分最高的样本图像作为该ID2的标准图像。电子设备获取标准图像中该ID2覆盖的区域作为该ID2的标准图像区域，即该标准图像区域为仅有该样本对象，而无背景图像等。电子设备获取标准图像区域的方式可以通过获取样本对象的关键点，将无关键点的区域作为非标准图像区域，将该样本对象中的所有关键点所在位置组成该标准图像区域。电子设备获取标准图像区域的方式可以预先训练分割标准图像区域的分割网络，该分割网络的输入数据为图像，输出数据为标准图像区域。例如，若样本对象为人脸，电子设备将样本图像输入分割网络，获得包含人脸轮廓的图像，即该标准图像区域即为该人脸的轮廓区域，如图3所示，箭头左侧为标准图像，箭头右侧为标准图像区域。电子设备计算该标准图像区域的RGB均值作为ID2的标准RBG均值，将该标准图像区域的RGB方差作为该ID2的标准RGB方差。
电子设备获取的是每个样本对象中质量评分最高的样本图像作为标准图像，获取该标准图像中样本对象覆盖的区域作为标准图像区域，基于标准图像区域的RGB均值和RGB方差可以客观地反映出该样本对象在标准图像中的色彩，且由于质量评分最高，目标对象识别网络识别出目标对象的准确度高；因而基于该标准色彩数据训练色彩校准网络，使得该色彩校准网络得到的色彩校准矩阵更准确。
步骤101-2：根据各样本对象的图像以及对应的标准色彩数据，训练初始的色彩校准网络至收敛，获得色彩校准网络。
具体地，色彩校准网络的输入数据为图像，输出数据为色彩校准矩阵，训练过程中电子设备将样本对象的图像输入该色彩校准网络，根据输出的训练校准矩阵对输入的图像进行校准，获取校准后该样本对象覆盖的区域作为样本对象区域，获取样本对象区域的RGB均值和RGB方差，判断该样本对象区域的RGB均值与该样本对象的标准RGB均值之间的第一差值，且获取该样本对象区域的RGB方差与该样本对象的RGB方差之间的第二差值，若第一差值和第二差值均小于预设阈值，则该色彩校准网络收敛，否则，迭代训练该色彩校准网络。
本实施例中，由于RGB均值和RGB方差可以较为准确地反映该图像中的色彩、色调等；且由于图像的质量将影响目标对象识别网络识别的准确率，而获取样本对象的标准色彩数据，使得训练获得的该色彩校准网络准确；由于质量评分最高，目标对象识别网络识别出目标对象的准确度高；因而基于该标准色彩数据训练色彩校准网络，使得该色彩校准网络得到的色彩校准矩阵更准确。
在一个实施例中，将具体介绍该步骤101-2根据各样本对象的图像以及对应的标准色彩数据，训练初始的色彩校准网络至收敛，获得色彩校准网络的方式，其实现过程如图4所示：
步骤101-1：获取各样本对象的标准色彩数据，标准色彩数据包括：标准RGB均值和标准RGB方差。
步骤101-21：根据各样本对象的标准色彩数据，分别确定均值损失函数和方差损失函数。
具体地，均值损失函数表示为：Loss mean = | mean rgb - Mean rgb | ，其中，Loss mean 表示均值损失函数，mean rgb 表示样本对象的图像区域的RGB均值，即本实施例中该mean rgb 表示人脸区域的RGB均值，Mean rgb 表示标准RGB均值；方差损失函数表示为：Loss var = | var rgb -Var rgb |，其中，Loss var 表示方差损失函数，var rgb 表示样本对象的图像区域的RGB方差，本实施例中即为人脸区域的RGB方差，Var rgb 表示标准RGB方差。
其中，mean rgb 可以采用公式（3）的方式计算：
Figure 389000DEST_PATH_IMAGE001
公式（3）；
mean rgb 表示样本对象的图像区域的RGB均值，即在本实施例中该mean rgb 表示人脸区域的RGB均值，CCNet表示色彩校准网络，CCNet（I）表示色彩校准后的图像，Mask表示样本对象的图像区域。
方差的计算公式可以如公式（4）：
Figure 903158DEST_PATH_IMAGE002
公式（4）；
var rgb 表示样本对象的图像区域的RGB方差，即本实施例中该var rgb 表示人脸区域的RGB方差，Var rgb 表示标准RGB方差，CCNet表示色彩校准网络，CCNet（I）表示色彩校准后的图像，Mask表示样本对象的图像区域，即本实施例中的人脸区域。
例如，在人脸识别领域，每张训练过程中被校准后的图像根据其对应的人脸的图像区域统计人脸区域的RGB均值和RGB方差，约束每张图像中的人脸区域RGB均值和RGB方差向统一的标准RGB均值和标准RGB方差靠近。
该方差损失函数和均值损失函数只统计人脸区域的RGB的均值和方差，并约束校准后人脸区域的RGB的均值和方差向标准值靠近；使得校准后的人脸图片亮度、色调等方面趋向于标准图像。电子设备采用质量评分高的标准图像计算其标准RGB均值和RGB方差，并以该标准RGB均值和RGB方差进行训练，可以提高色彩校准网络的准确性。
步骤101-22：根据各样本对象的图像和目标对象识别网络，确定分类损失函数。
具体地，分类损失函数可以通过目标对象识别网络确定。
步骤101-23：融合分类损失函数、均值损失函数和方差损失函数，生成色彩校准网络的色彩校准损失函数。
具体地，融合的方式可以是电子设备将分类损失函数、均值损失函数和方差损失函数进行叠加，得到色彩校准网络的色彩校准损失函数。
步骤101-24：根据色彩校准损失函数，对初始的色彩校准网络训练至收敛。
电子设备根据图像训练集，对初始的色彩校准网络进行训练，在色彩校准损失函数值最小时，获得色彩校准网络。
本实施例中，提供了均值损失函数和方差损失函数的获取方式。
在一个实施例中，提供了一种确定分类损失函数的具体实现，其示意图如图5所示：
步骤101-1：获取各样本对象的标准色彩数据，标准色彩数据包括：标准RGB均值和标准RGB方差。
步骤101-21：根据各样本对象的标准色彩数据，分别确定均值损失函数和方差损失函数。
步骤101-221：初始化目标对象识别网络中的分类器。
目标对象识别网络可以预先训练至收敛，为了提高训练的色彩校准网络的准确度，可以通过标准图像初始化该目标对象识别网络中的分类器，例如，对每个人脸ID，电子设备获取该人脸ID的标准图像，之后用FRNet网络提取的识别特征来初始化分类器Classfier。分类器Classfier只是作为一个辅助层，其在训练过程中保持固定不变，FRNet为训练至收敛的目标对象识别网络。
电子设备利用每个样本对象的标准图像的识别特征对分类器进行初始化，并计算最简单的softmax形式的分类损失，可以模拟实际多个场景下的识别。分类器的初始化方式类似于电子设备将每个样本对象的标准图像进行入库操作。初始化操作可以确保彩色校准后的样本图像的识别效果更好。
步骤101-222：将各样本对象的图像输入至初始的色彩校准网络，获得初始校准图像。
步骤101-223：将初始校准图像输入至初始化处理后的目标对象识别网络，获得样本对象的校准识别特征。
电子设备借助一个训练好的目标对象识别网络FRNet来计算分类损失，以确保彩色校准后的人脸图片识别效果更好。目标对象识别网络作为一个辅助网络，其在训练过程中保持固定。该色彩校准网络训练的流程如图6所示，即样本图像经过训练中的CCNet网络，得到该样本图像的色彩校准矩阵，电子设备根据色彩校准矩阵对样本图像进行色彩校准，获得校准后的样本图像，将校准后的样本图像输入至目标对象识别网络FRNet中，获得该校准后的样本图像的识别特征，其中，I表示样本图像，CCNet表示训练中的色彩校准网络，I Aligned 表示校准后的样本图像，Embedding表示经过校准后的样本图像的识别特征。
需要说明的是，当前使用的图像训练集与用于训练FRNet的图像训练集不相同，可以提高目标对象识别网络的验证的效果，进而提高色彩校准网络的准确性。
步骤101-224：将标准图像输入至初始化处理后的目标对象识别网络，获得样本对象的标准识别特征。
步骤101-225：根据校准识别特征以及标准识别特征，确定分类损失函数。
分类损失函数的公式可以如公式（5）所示：
Figure 95104DEST_PATH_IMAGE003
公式（5）；
其中，Embedding =FRNet（CCNet（I）），即Embedding表示经过校准后的样本图像的识别特征，w i 、w j 表示分类器中第i、j个的标准识别特征；上式I表示样本图像对应的目标对象在分类器中的索引号i。w i 、w j 和Embedding都做了模归一化处理，w i * Embedding表示余弦相似度，用于表征样本图像与标准图像之间的相似度。
步骤101-23：融合分类损失函数、均值损失函数和方差损失函数，生成色彩校准网络的色彩校准损失函数。
步骤101-24：根据色彩校准损失函数，对初始的色彩校准网络训练至收敛。
本实施例中，通过目标对象识别网络作为辅助层，可以辅助提高训练中色彩校准网络的准确性。
在一个实施例中，色彩校准损失函数还包括闭环损失函数，本示例中提供了获得色彩校准损失函数的具体实现，其示意图如图7所示：
步骤101-1：获取各样本对象的标准色彩数据，标准色彩数据包括：标准RGB均值和标准RGB方差。
步骤101-21：根据各样本对象的标准色彩数据，分别确定均值损失函数和方差损失函数。
步骤101-221：初始化目标对象识别网络中的分类器。
步骤101-222：将各样本对象的图像输入至初始的色彩校准网络，获得初始校准图像。
步骤101-223：将初始校准图像输入至初始化处理后的目标对象识别网络，获得样本对象的校准识别特征。
步骤101-224：将标准图像输入至初始化处理后的目标对象识别网络，获得样本对象的标准识别特征。
步骤101-225：根据校准识别特征以及标准识别特征，确定分类损失函数。
步骤101-231：获取闭环损失函数。
色彩损失函数包括：用于指示第一校准图像与第二校准图像之间差值的闭环损失函数，第一校准图像为样本图像经过训练的色彩校准网络的图像，第二校准图像为第一校准图像经过训练的色彩校准网络的图像。闭环损失函数的公式可以如公式（6）所示：
Loss cycle = | CCNet（CCNet（I））-CCNet（I）|公式（6）；
其中，CCNet表示训练中的色彩校准网络，CCNet（I）表示第一校准图像，CCNet（CCNet（I））表示第二校准图像。训练色彩校准网络的目的是将图像的色彩校准至标准图像中的色彩；增加一个闭环约束，可以增加校准网络的鲁棒性，提高色彩校准网络的准确度。
步骤101-232：分别设置均值损失函数、方差损失函数、分类损失函数以及闭环损失函数各自的权重。
损失函数、方差损失函数、分类损失函数以及闭环损失函数各自的权重可以根据需要进行设置。
步骤101-233：按照均值损失函数、方差损失函数、分类损失函数以及闭环损失函数各自的权重进行叠加，生成色彩校准损失函数。
色彩校准损失函数可以如公式（7）所示：
Loss all =Loss classify +w 1*Loss cycle +w 2*Loss mean +w 3*Loss var 公式（7）；
其中，Loss all 表示色彩校准损失函数，Loss classify 表示分类损失函数，Loss cycle 表示闭环损失函数，Loss mean 表示均值损失函数；Loss var 表示方差损失函数，w 1为闭环损失函数的权重，w 2为均值损失函数的权重，w 3为方差损失函数的权重，分类损失函数的权重固定为1。
步骤101-24：根据色彩校准损失函数，对初始的色彩校准网络训练至收敛。
训练色彩校准损失网络的整体而言，训练包括两个阶段，如图8所示，第一阶段为：即样本图像经过训练中的CCNet网络，得到该样本图像的色彩校准矩阵，电子设备根据色彩校准矩阵对样本图像进行色彩校准，获得校准后的样本图像，将校准后的样本图像输入至目标对象识别网络FRNet中，获得该校准后的样本图像的识别特征，其中，I表示样本图像，CCNet表示训练中的色彩校准网络，I Aligned 表示校准后的样本图像，Embedding表示经过校准后的样本图像的识别特征，Classfier表示目标对象识别网络中的分类器。第二阶段，即电子设备将校准后的样本图像经过该CCNet网络得到新的校准后的样本图像，其中，I Aligned2 表示得到新的校准后的样本图像。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第申请实施方式涉及一种电子设备，电子设备的结构如图所示，包括：至少一个处理器201；以及，与至少一个处理器201通信连接的存储器202；其中，存储器202存储有可被至少一个处理器201执行的指令，指令被至少一个处理器201执行，以使至少一个处理器能够执行上述的目标对象识别的方法。
其中，存储器202和处理器201采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器201处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器201负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本申请的实施方式涉及一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的目标对象识别的方法。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (8)

1.一种目标对象识别的方法，其特征在于，包括：
获取包含目标对象的目标图像；其中，所述目标对象包括人脸；
将所述目标图像输入预设的色彩校准网络，获得与所述目标图像匹配的色彩校准矩阵，所述色彩校准矩阵为N*3的矩阵，N为大于等于3的整数，所述色彩校准网络是基于预先训练的目标对象识别网络训练获得；
根据所述色彩校准矩阵，逐像素点对所述目标图像的色彩进行校准，获得目标校准图像；
将所述目标校准图像输入至所述目标对象识别网络中，获得识别结果；
所述色彩校准网络通过以下步骤基于预先训练的目标对象识别网络训练获得：
获取各样本对象的标准色彩数据，所述标准色彩数据包括：标准RGB均值和标准RGB方差；
根据各所述样本对象的所述标准色彩数据，分别确定均值损失函数和方差损失函数；
根据各所述样本对象的图像和所述目标对象识别网络，确定分类损失函数；
融合所述分类损失函数、所述均值损失函数和所述方差损失函数，生成所述色彩校准网络的色彩校准损失函数；
根据所述色彩校准损失函数，对初始的色彩校准网络训练至收敛。
2.根据权利要求1所述的目标对象识别的方法，其特征在于，所述获取各样本对象的标准色彩数据，包括：
针对每个样本对象进行如下处理：
获取质量评分最高的所述样本对象的图像作为所述样本对象的标准图像；
获取所述标准图像中所述样本对象覆盖的区域作为的标准图像区域；
确定所述标准图像区域的RGB均值作为所述样本对象的所述标准RGB均值，以及确定所述标准图像区域的RGB方差作为所述样本对象的所述标准RGB方差。
3.根据权利要求1所述的目标对象识别的方法，其特征在于，所述均值损失函数表示为：Loss mean = | mean rgb - Mean rgb |，其中，Loss mean 表示均值损失函数，mean rgb 表示样本对象的图像区域的RGB均值，Mean rgb 表示所述标准RGB均值；
所述方差损失函数表示为：Loss var = | var rgb -Var rgb | ，其中，Loss var 表示方差损失函数，var rgb 表示样本对象的图像区域的RGB方差，Var rgb 表示所述标准RGB方差。
4.根据权利要求1所述的目标对象识别的方法，其特征在于，所述根据各所述样本对象的图像和所述目标对象识别网络，确定分类损失函数，包括：
初始化所述目标对象识别网络中的分类器；
将各所述样本对象的图像输入至所述初始的色彩校准网络，获得初始校准图像；
将所述初始校准图像输入至初始化处理后的所述目标对象识别网络，获得所述样本对象的校准识别特征；
将所述标准图像输入至初始化处理后的所述目标对象识别网络，获得所述样本对象的标准识别特征；
根据所述校准识别特征以及所述标准识别特征，确定所述分类损失函数。
5.根据权利要求3至4中任一项所述的目标对象识别的方法，其特征在于，色彩损失函数包括：用于指示第一校准图像与第二校准图像之间差值的闭环损失函数，所述第一校准图像为所述样本图像经过训练的所述色彩校准网络的图像，所述第二校准图像为所述第一校准图像经过训练的所述色彩校准网络的图像。
6.根据权利要求5所述的目标对象识别的方法，其特征在于，所述融合所述分类损失函数、所述均值损失函数和所述方差损失函数，生成所述色彩校准网络的色彩校准损失函数，包括：
分别设置所述均值损失函数、所述方差损失函数、所述分类损失函数以及闭环损失函数各自的权重，其中，所述分类损失函数的权重为1；
按照所述均值损失函数、所述方差损失函数、所述分类损失函数以及所述闭环损失函数各自的权重进行叠加，生成所述色彩校准损失函数。
7.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一所述的目标对象识别的方法。
8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的目标对象识别的方法。
CN202111052670.4A 2021-09-09 2021-09-09 目标对象识别的方法、电子设备及存储介质 Active CN113506332B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111052670.4A CN113506332B (zh) 2021-09-09 2021-09-09 目标对象识别的方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111052670.4A CN113506332B (zh) 2021-09-09 2021-09-09 目标对象识别的方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113506332A CN113506332A (zh) 2021-10-15
CN113506332B true CN113506332B (zh) 2021-12-17

Family

ID=78017025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111052670.4A Active CN113506332B (zh) 2021-09-09 2021-09-09 目标对象识别的方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113506332B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003299115A (ja) * 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd 画像信号処理装置
CN105827897A (zh) * 2015-11-16 2016-08-03 维沃移动通信有限公司 调整卡制作方法、系统、调试色彩校正矩阵方法及设备
CN108712639A (zh) * 2018-05-29 2018-10-26 凌云光技术集团有限责任公司 图像颜色校正方法、装置及系统
CN108764306A (zh) * 2018-05-15 2018-11-06 深圳大学 图像分类方法、装置、计算机设备和存储介质
CN109523485A (zh) * 2018-11-19 2019-03-26 Oppo广东移动通信有限公司 图像颜色校正方法、装置、存储介质及移动终端
CN109525749A (zh) * 2018-11-07 2019-03-26 厦门亿联网络技术股份有限公司 一种校正图像色彩偏差的方法及装置
CN112884682A (zh) * 2021-01-08 2021-06-01 福州大学 一种基于匹配与融合的立体图像颜色校正方法及系统
WO2021114184A1 (zh) * 2019-12-12 2021-06-17 华为技术有限公司 神经网络模型的训练方法、图像处理方法及其装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102905140B (zh) * 2012-09-21 2014-11-05 宁波大学 一种彩色显微立体图像对颜色校正方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003299115A (ja) * 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd 画像信号処理装置
CN105827897A (zh) * 2015-11-16 2016-08-03 维沃移动通信有限公司 调整卡制作方法、系统、调试色彩校正矩阵方法及设备
CN108764306A (zh) * 2018-05-15 2018-11-06 深圳大学 图像分类方法、装置、计算机设备和存储介质
CN108712639A (zh) * 2018-05-29 2018-10-26 凌云光技术集团有限责任公司 图像颜色校正方法、装置及系统
CN109525749A (zh) * 2018-11-07 2019-03-26 厦门亿联网络技术股份有限公司 一种校正图像色彩偏差的方法及装置
CN109523485A (zh) * 2018-11-19 2019-03-26 Oppo广东移动通信有限公司 图像颜色校正方法、装置、存储介质及移动终端
WO2021114184A1 (zh) * 2019-12-12 2021-06-17 华为技术有限公司 神经网络模型的训练方法、图像处理方法及其装置
CN112884682A (zh) * 2021-01-08 2021-06-01 福州大学 一种基于匹配与融合的立体图像颜色校正方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Applications of digital signal processing, fuzzy logic, and neural nets to computational color;Trussell, HJ;《TEXTILE CHEMIST AND COLORIST》;19981231;第30卷(第02期);第28-32页 *
基于深度学习的高动态范围图像质量评价算法研究;王靖婷;《万方数据知识服务平台》;20210204;第1-68页 *

Also Published As

Publication number Publication date
CN113506332A (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN108229509B (zh) 用于识别物体类别的方法及装置、电子设备
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN108921057B (zh) 基于卷积神经网络的对虾形态测量方法、介质、终端设备及装置
CN111178120B (zh) 一种基于作物识别级联技术的害虫图像检测方法
CN111986785B (zh) 医学影像标注方法和装置、设备及存储介质
US10929978B2 (en) Image processing apparatus, training apparatus, image processing method, training method, and storage medium
CN111597933B (zh) 人脸识别方法和装置
CN111047543A (zh) 图像增强方法、装置和存储介质
CN107633237A (zh) 图像背景分割方法、装置、设备及介质
CN112200057A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
JP2008004123A (ja) 特定形状領域の抽出装置及び方法、特定領域の抽出装置及び方法、複写条件決定装置及び方法
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN112036260A (zh) 一种自然环境下多尺度子块聚合的表情识别方法及系统
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
CN111046893A (zh) 图像相似性确定方法和装置、图像处理方法和装置
CN114565602A (zh) 基于多通道融合的图像识别方法、装置和存储介质
CN109344758B (zh) 基于改进局部二值模式的人脸识别方法
CN112396016B (zh) 一种基于大数据技术的人脸识别系统
CN111080754B (zh) 一种头部肢体特征点连线的人物动画制作方法及装置
JP6600288B2 (ja) 統合装置及びプログラム
CN113506332B (zh) 目标对象识别的方法、电子设备及存储介质
CN108549899A (zh) 一种图像识别方法及装置
CN112463999A (zh) 视觉位置识别方法及装置、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211015

Assignee: Anhui Xingtai Financial Leasing Co.,Ltd.

Assignor: Hefei lushenshi Technology Co.,Ltd.

Contract record no.: X2022980006062

Denomination of invention: Target object recognition method, electronic device and storage medium

Granted publication date: 20211217

License type: Exclusive License

Record date: 20220523

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Target object recognition method, electronic device and storage medium

Effective date of registration: 20220525

Granted publication date: 20211217

Pledgee: Anhui Xingtai Financial Leasing Co.,Ltd.

Pledgor: Hefei lushenshi Technology Co.,Ltd.

Registration number: Y2022980006214

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230404

Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province

Patentee after: Hefei lushenshi Technology Co.,Ltd.

Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing

Patentee before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Patentee before: Hefei lushenshi Technology Co.,Ltd.

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230719

Granted publication date: 20211217

Pledgee: Anhui Xingtai Financial Leasing Co.,Ltd.

Pledgor: Hefei lushenshi Technology Co.,Ltd.

Registration number: Y2022980006214

EC01 Cancellation of recordation of patent licensing contract
EC01 Cancellation of recordation of patent licensing contract

Assignee: Anhui Xingtai Financial Leasing Co.,Ltd.

Assignor: Hefei lushenshi Technology Co.,Ltd.

Contract record no.: X2022980006062

Date of cancellation: 20230720