CN116468973B - 用于低照度图像的目标检测模型的训练方法、装置 - Google Patents
用于低照度图像的目标检测模型的训练方法、装置 Download PDFInfo
- Publication number
- CN116468973B CN116468973B CN202310682626.4A CN202310682626A CN116468973B CN 116468973 B CN116468973 B CN 116468973B CN 202310682626 A CN202310682626 A CN 202310682626A CN 116468973 B CN116468973 B CN 116468973B
- Authority
- CN
- China
- Prior art keywords
- sample
- loss function
- function value
- image data
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 155
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012549 training Methods 0.000 title claims abstract description 43
- 238000005286 illumination Methods 0.000 title claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000010586 diagram Methods 0.000 claims description 13
- 238000003708 edge detection Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 98
- 239000000047 product Substances 0.000 description 20
- 230000008569 process Effects 0.000 description 16
- 238000004590 computer program Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种用于低照度图像的目标检测模型的训练方法，包括：获取低照度下来自感光元件的样本原始图像数据，对样本原始图像数据进行图像处理，得到经图像处理后的样本图像数据，获取样本图像数据中样本目标的第一轮廓信息，将样本原始图像数据输入至待训练目标检测模型，经该待训练目标检测模型提取出样本图像特征，基于样本图像特征，确定样本图像特征中样本目标的第二轮廓信息，确定用于表征第一轮廓信息与第二轮廓信息之间差异的第一损失函数值，确定用于表征样本目标检测结果与期望结果之间差异的第二损失函数值，根据第一损失函数值和第二损失函数值，调整待训练目标检测模型的模型参数。本申请解决暗光场景下的图像目标检测的问题。
Description
技术领域
本发明涉及基于图像的目标检测领域，特别地，涉及一种用于低照度图像的目标检测模型的训练方法。
背景技术
随着算力的提升和深度学习技术的发展，基于图像的目标检测得以广泛应用，例如，越来越多的智能摄像头采用了基于图像的目标检测技术。
目前，基于图像的目标检测技术主要集中在对正常光照条件下的图像处理单元（ISP）输出的图像数据进行目标检测，其中，图像处理单元将感光元件所获取的原始图像数据转换为通常所看到的彩色图像，感光元件所获取的原始图像数据又称为未加工图像数据（RAW图像数据）。
受外界环境照度的影响，在低照度条件下，例如照度小于0.1勒克斯（LUX）场景下，图像质量大大降低，目前对正常光照条件下的图像进行目标检测技术并不适用于低照度条件下图像目标检测。
发明内容
本发明提供一种用于低照度图像的目标检测模型的训练方法，以解决暗光场景下的图像目标检测的问题。
本申请第一方面提供一种用于低照度图像的目标检测模型的训练方法，该方法包括：
获取低照度下来自感光元件的样本原始图像数据，
对样本原始图像数据进行图像处理，得到经图像处理后的样本图像数据，
获取样本图像数据中样本目标的第一轮廓信息，
将样本原始图像数据输入至待训练目标检测模型，经该待训练目标检测模型提取出样本图像特征，
基于样本图像特征，确定样本图像特征中样本目标的第二轮廓信息，
确定用于表征第一轮廓信息与第二轮廓信息之间轮廓信息差异的第一损失函数值，
确定用于表征样本目标检测结果与期望目标检测结果之间差异的第二损失函数值，
根据第一损失函数值和第二损失函数值，调整待训练目标检测模型的模型参数，直至待训练目标检测模型达到预期，使得训练后的目标检测模型从输入的原始图像数据中提取出具有类内相似且类间相异的特征图，
所述具有类内相似且类间相异为：以目标轮廓为界线，界线内特征值差异小于设定的第一阈值，且界线两侧特征值差异大于设定的第二阈值。
较佳地，所述第一损失函数值满足：第一轮廓信息与第二轮廓信息之间轮廓信息差异越大，第一损失函数值越大，
所述获取低照度下来自感光元件的样本原始图像数据，包括：
在低照度环境下采集感光元件输出的样本原始图像数据，并对样本原始图像数据中的目标进行标注，得到该样本原始图像数据中的样本目标；
所述对样本原始图像数据进行图像处理，得到经图像处理后的样本图像数据，包括：
对样本原始图像数据进行转换，得到样本RGB图像数据；
所述获取样本图像数据中样本目标的第一轮廓信息，包括：
对样本RGB图像进行边缘检测或语义分割，并过滤掉非样本目标的轮廓信息， 得到样本RGB图像数据中样本目标的第一轮廓信息。
较佳地，所述基于样本图像特征，确定样本图像特征中样本目标的第二轮廓信息，包括：
基于样本图像特征中的每一特征值，计算样本图像特征的梯度信息，得到第二轮廓信息，
所述确定用于表征第一轮廓信息与第二轮廓信息之间轮廓信息差异的第一损失函数值，包括：
利用损失函数，确定第一损失函数值，
其中，
损失函数使得样本RGB图像中梯度信息小但样本图像特征中梯度信息大的区域产生趋于增大的损失值。
较佳地，所述样本图像特征对应为样本特征图，
所述基于样本图像特征中的每一特征值，计算样本图像特征的梯度信息，包括：
对于样本特征图中的每一特征点，
计算该特征点与其在第一方向相邻特征点之间的2范数，与，该特征点与其在第二方向相邻特征点之间的2范数之和的平方根，得到该特征点的梯度值，
其中，
第一方向与第二方向垂直；
所述利用所述损失函数，确定第一损失函数值，包括：
对于每一特征点，计算以自然对数为底数、以该特征点对应的第一轮廓信息的负数为指数的指数函数值，并计算该特征点的梯度值与该指数函数值的乘积，得到该特征点的损失值，
累加所有特征点的损失值，或者，基于所累加的所有特征点的损失值计算所有特征点的平均损失值，得到第一损失函数值。
较佳地，所述样本图像特征对应为样本特征图，
所述基于样本图像特征中的每一特征值，计算样本图像特征的梯度信息，包括：
对于样本特征图中的每一特征点，
计算该特征点与其在第一方向相邻特征点之间的1范数，得到该特征点第一方向的梯度值，
计算该特征点与其在第二方向相邻特征点之间的1范数，得到该特征点第二方向的梯度值，
其中，
第一方向与第二方向垂直；
所述利用损失函数，确定第一损失函数值，包括：
对于每一特征点：
计算以自然对数为底数、以该特征点对应的第一轮廓信息第一方向的梯度值的负数为指数的指数函数值，并计算该梯度值与该指数函数值的乘积，得到第一乘积结果，
计算以自然对数为底数、以该特征点对应的第一轮廓信息第二方向的梯度值的负数为指数的指数函数值，并计算该梯度值与该指数函数值的乘积，得到第二乘积结果，
累加第一乘积结果和第二乘积结果，得到该特征点的损失值；
将所有特征点的损失值进行累加，或者，基于所累加的所有特征点的损失值计算所有特征点的平均损失值，得到第一损失函数值。
较佳地，所述确定用于表征样本目标检测结果与期望目标检测结果之间差异的第二损失函数值，包括：
计算样本目标检测结果与样本原始图像数据中的样本目标之间差异，得到第二损失函数值，
所述根据第一损失函数值和第二损失函数值，调整待训练目标检测模型的模型参数，包括：
计算第一权重与第一损失函数值的乘积，得到加权第一损失函数值，
计算第二权重与第二损失函数值的乘积，得到加权第二损失函数值，
将加权第一损失函数值与加权第二损失函数值进行累加，得到总损失函数值，
根据总损失函数值，调整待训练目标检测模型的模型参数。
本申请第二方面提供一种基于低照度图像的目标检测方法，该方法包括：
获取低照度下来自感光元件的原始图像数据，其中，原始图像数据为未进行图像处理的未加工数据，
利用训练后的用于低照度图像的目标检测模型，从所述原始图像数据提取出具有类内相似且类间相异的特征图，并基于所提取的图像图，识别出目标，
其中，具有类内相似且类间相异为：以目标轮廓为界线，界线内特征值差异小于设定的第一阈值，且界线两侧特征值差异大于设定的第二阈值。
本申请第三方面提供一种用于低照度图像的目标检测模型的训练装置，该装置包括：
第一图像采集模块，用于获取低照度下来自感光元件的样本原始图像数据，
图像处理模块，用于对样本原始图像数据进行图像处理，得到经图像处理后的样本图像数据，
样本目标轮廓获取模块，用于获取样本图像数据中样本目标的第一轮廓信息，
训练模块，用于训练将样本原始图像数据输入至待训练目标检测模型，经该待训练目标检测模型提取出样本图像特征，
基于样本图像特征，确定样本图像特征中样本目标的第二轮廓信息，
确定用于表征第一轮廓信息与第二轮廓信息之间轮廓信息差异的第一损失函数值，
确定用于表征样本目标检测结果与期望目标检测结果之间差异的第二损失函数值，
根据第一损失函数值和第二损失函数值，调整待训练目标检测模型的模型参数，直至待训练目标检测模型达到预期，使得训练后的目标检测模型从输入的原始图像数据中提取出具有类内相似且类间相异的特征图，
所述具有类内相似且类间相异为：以目标轮廓为界线，界线内特征值差异小于设定的第一阈值，且界线两侧特征值差异大于设定的第二阈值。
本申请第四方面提供一种基于低照度图像的目标检测装置，该装置包括：
第二图像采集模块， 用于获取低照度下来自感光元件的原始图像数据，其中，原始图像数据为未进行图像处理的未加工数据，
目标检测模块，用于利用训练后的用于低照度图像的目标检测模型，从所述原始图像数据提取出具有类内相似且类间相异的特征图，并基于所提取的图像图，识别出目标，
其中，具有类内相似且类间相异为：以目标轮廓为界线，界线内特征值差异小于设定的第一阈值，且界线两侧特征值差异大于设定的第二阈值。
本申请第五方面提供一种电子设备，该电子设备包括上述目标检测装置。
本申请实施例通过训练过程中引入样本目标的第一轮廓信息，并确定第一轮廓信息与待训练目标检测模型所提取的样本图像特征中样本目标的第二轮廓信息之间的第一损失函数，使得第一轮廓信息对待训练目标检测模型所提取的样本图像特征进行引导，由此，训练后的目标检测模型从输入的原始图像数据中提取出具有类内相似且类间相异的特征图，既有效提升暗光下对于RAW图像目标检测的精度，又无需增加额外的硬件设计，大大降低了功耗。
附图说明
图1为本申请实施例一种用于低照度图像的目标检测模型的训练方法的流程示意图。
图2为目标轮廓类内相似、类间相异的一种示意图。
图3为本申请实施例目标检测模型训练的一种示意图。
图4 为本申请实施例基于低照度图像的目标检测方法的一种流程示意图。
图5为本申请实施例用于低照度图像的目标检测模型的训练装置的一种示意图。
图6为本申请实施例基于低照度图像的目标检测装置的一种示意图。
图7为基于低照度图像的目标检测装置和/或用于低照度图像的目标检测模型的训练装置的另一示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
申请人研究发现，在感光元件获取的原始图像数据上进行目标检测时，由于RAW图像通常包含有大量的噪声，特别是在暗光场景下，这些噪声会将图像中的目标完全淹没。为了减小感光元件带来的噪声，市面上涌现了一些高端镜头模组，但其价格通常十分高昂；对于目标检测模型的目标检测任务而言，过多的噪声会导致目标检测的能力严重下降，降低用户体验，因此很多镜头模组会增加电机，以便在暗光场景下移开红外滤光片（IR-CUT），使得感光元件能够接收到近红外波段的光来获取近红外图像，同时发射红色光源进行补光来获得高信噪比的图像，以用于目标检测。但增加电机以及补光光源会带来较大的电量消耗，且近红外图像是灰度图，导致丢失了大量有效的颜色信息；为了弥补近红外图像的缺陷，若使用复杂且冗长的图像处理流程对RAW图像进行处理，尽管能够提高图像的亮度同时降低图像的噪声，从而获得和正常光照条件下类似对比度以及鲜艳度的彩色图像，但这带来的运算时间消耗和功耗消耗非常高。
暗光场景下，目标检测的最主要难点在于目标轮廓不清晰，导致无法准确地分辨出目标。因此，通常会在获取到RAW图像之后，会使用一个复杂且冗长的ISP流程来对RAW图像/>进行处理得到彩色图像，即：/>，其中/>就是我们通常所说的RGB图像。通常经过ISP流程处理后得到的图像有着较高的图像质量，目标轮廓清晰可辨，非常有利于进行目标检测等任务。但ISP流程会带来较大的电量消耗，例如，如果集成在智能相机中，将导致智能相机电量很快消耗殆尽。本申请实施例通过对目标检测模型进行训练，使得训练后的目标检测模型在暗光条件下具备对RAW图像分辨目标轮廓的能力，从而实现在暗光条件下检测出RAW图像中的目标。
本申请实施例提供一种用于低照度图像的目标检测模型的训练方法，附加图像轮廓信息来对目标检测模型进行训练，从而提升暗光场景下目标检测模型对RAW图像的目标检测能力。
参见图1所示，图1为本申请实施例一种用于低照度图像的目标检测模型的训练方法的流程示意图。该训练方法包括：
步骤101，获取低照度下来自感光元件的样本原始图像数据，
作为一种示例，在低照度环境下采集感光元件输出的样本原始图像数据，并对样本原始图像数据中的目标进行标注，得到该样本原始图像数据中的样本目标，
步骤102，对样本原始图像数据进行图像处理，得到经图像处理后的样本图像数据，
作为一种示例，将样本原始图像数据输入至ISP单元，ISP单元对样本原始图像数据进行处理和转换，得到样本RGB数据，
步骤103，获取样本图像数据中样本目标的第一轮廓信息，
作为一种示例，对样本RGB图像进行边缘检测或语义分割，例如，采用边缘检测模型或语义分割模型对样本RGB图像进行边缘检测或语义分割，并过滤掉非样本目标的轮廓信息，例如，背景区域的轮廓信息，结合所标注的样本目标，得到样本RGB图像数据中样本目标的第一轮廓信息。
步骤104，将样本原始图像数据输入至待训练目标检测模型，经该待训练目标检测模型提取出样本图像特征，
作为一种示例，样本图像特征可对应为样本特征图。
步骤105，基于样本图像特征，确定样本图像特征中样本目标的第二轮廓信息，
作为一种示例，基于样本图像特征中的每一特征值，计算样本图像特征的梯度信息，得到第二轮廓信息，
步骤106，确定用于表征第一轮廓信息与第二轮廓信息之间轮廓信息差异的第一损失函数值，其中，第一损失函数值满足：第一轮廓信息与第二轮廓信息之间轮廓信息差异越大，第一损失函数值越大，
作为一种示例，构造损失函数，使得样本RGB图像中梯度信息小但样本图像特征中梯度信息大的区域产生趋于增大的损失值，将第一轮廓信息、第二轮廓信息代入损失函数进行计算，得到第一损失函数值，
步骤107，确定用于表征样本目标检测结果与期望目标检测结果之间差异的第二损失函数值，
作为一种示例，计算样本目标检测结果与样本原始图像数据中所标注的样本目标之间差异，得到第二损失函数值，
步骤108，根据第一损失函数值和第二损失函数值，调整待训练目标检测模型的模型参数，直至待训练目标检测模型达到预期，
作为一种示例，计算第一权重与第一损失函数值的乘积，得到加权第一损失函数值，计算第二权重与第二损失函数值的乘积，得到加权第二损失函数值，
将加权第一损失函数值与加权第二损失函数值进行累加，得到总损失函数值，
根据总损失函数值，调整待训练目标检测模型的模型参数。
反复执行步骤101~108，直至待训练目标检测模型达到预期。
训练后的目标检测模型可从输入的原始图像数据中提取出具有类内相似且类间相异的特征图，所述具有类内相似且类间相异为：以目标轮廓为界线，界线内特征值差异趋于相近，例如，特征值差异小于设定的第一阈值，且界线两侧特征值差异趋于增大，例如，特征值差异大于设定的第二阈值。
所应理解的是，步骤101~103为样本数据的处理步骤，其与步骤104~108可以无严格次序，对于目标检测模型的具体结构不做限定，本申请的训练方法可使用于任何结构的目标检测模型。
本申请实施例在训练过程中通过使用样本目标轮廓信息对目标检测模型提取出的特征进行引导，使得训练后的目标检测模型能够在暗光条件下直接基于RAW图像进行目标检测，从而提升暗光场景下目标检测模型在RAW图像上的目标检测能力，既不需要经过冗长且复杂的ISP流程来增强图像信息，又不需要增加电机以及额外的光源，极大程度地节省了功耗，对于电池类电子设备能够延长使用时间，对于电子设备都能减少设备发热。
为便于理解本申请，以下进行具体说明。
本申请实施例的构思是，使得训练后的目标检测模型从输入的RAW图像中所提取的图像特征在目标的轮廓附近产生梯度，而在其余地方尽可能平滑，即，在图像特征中，如图2所示，以目标轮廓为界线，在目标轮廓内部的图像特征应该尽可能相似（类内相似），而目标轮廓两侧设定区域范围内的特征差异应该尽可能大（类间相异），这样，更有利于目标检测模型/>中的检测头（Header）部分基于图像特征去判断哪部分是目标哪部分是背景。鉴于ISP流程得到的RGB图像通常有着较高的图像质量，因此在训练目标检测模型之前，基于样本RGB图像/>来获取样本目标的第一轮廓信息/>，训练过程中利用第一轮廓信息/>来对样本图像特征/>进行引导，使得训练后的目标检测模型/>能够提取出具有类内相似以及类间相异的图像特征。
参见图3所示，图3为本申请实施例目标检测模型训练的一种示意图。对于训练集中的样本RAW图像，使用ISP流程/>来对样本RAW图像/>处理，即/>，使得样本RGB图像/>有着较高的清晰度和丰富的轮廓信息，所应理解的是，ISP流程可以是既有的任何图像处理流程。
基于样本RGB图像获取第一轮廓信息，作为一种示例，可以采用边缘检测或者语义分割等方式来获取第一轮廓信息，结合训练集中的所标注的样本目标检测框标签，滤除掉非目标样本的轮廓信息，例如，滤除掉样本背景区域的轮廓信息，得到样本目标的第一轮廓信息。在第一轮廓信息/>中，样本目标的轮廓附近会有大于0且较大的梯度值，而在样本目标内部以及背景区域，则是接近于0的梯度值。
将样本RAW图像数据输入至待训练目标检测模型/>，得到样本图像特征/>，即：/>，作为一种示例，样本图像特征为输入至检测头之前的图像特征数据，也就是说，检测头的输入数据为样本图像特征。得到样本图像特征/>后，通过任意求取梯度的方式得到其梯度值，作为第二轮廓信息。其中，样本图像特征/>可以对应为样本特征图，每个特征点具有相应的坐标和特征值。
作为一种示例，对于样本特征图中的每一特征点，计算该特征点与其在第一方向相邻特征点之间的2范数，与，该特征点与其在第二方向相邻特征点之间的2范数之和的平方根，得到该特征点的梯度值，其中，第一方向与第二方向垂直；
例如，用数学式表示为：
其中，为特征点/>的梯度值，则/>是/>对应的梯度信息，即，样本特征图对应的样本梯度图像，/>和/>对应/>的横坐标和纵坐标，符号/>表示2范数。
利用第一轮廓信息、第二轮廓信息/>，确定用于描述第一轮廓信息与第二轮廓信息之间轮廓差异的第一损失函数值，用于计算第一损失函数值的损失函数使得样本RGB图像中梯度信息小但样本图像特征中梯度信息大的区域产生趋于增大的损失值，这样，第一轮廓信息与第二轮廓信息之间轮廓信息差异越大，第一损失函数值越大。
作为一种示例，对于每一特征点，计算以自然对数为底数、以该特征点对应的第一轮廓信息的负数为指数的指数函数值，并计算该特征点的梯度值与该指数函数值的乘积，得到该特征点的损失值；累加所有特征点的损失值，得到第一损失函数值，进一步地，还可将累加的所有特征点损失值对特征点的总数求平均，得到特征点的平均损失值，将该平均损失值作为第一损失函数值。
用数学式表达为：
其中，为第一损失函数值，该函数值越大，说明两者的轮廓差异越大，W为样本梯度图像的宽度，H为样本梯度图像的高度，轮廓信息均采用梯度值表征，/>为样本RGB图像中像素点/>的梯度值，表征第一轮廓信息，/>为特征点/>的梯度值，表征第二轮廓信息。
作为另一示例，对于样本特征图中的每一特征点，计算该特征点与其在第一方向相邻特征点之间的1范数，得到该特征点第一方向的梯度值，计算该特征点与其在第二方向相邻特征点之间的1范数，得到该特征点第二方向的梯度值，
其中，
第一方向与第二方向垂直；
例如，如果包含有/>和/>两个方向的梯度信息，即/>和/>，可以使用如下方法分别求取样本图像特征/>在/>轴和/>轴方向的梯度：，
其中，是特征点/>在/>轴上对应的梯度值，/>是在/>轴上对应的梯度值，两个方向的梯度值用于表征第二轮廓信息，/>是/>在/>轴上对应的样本梯度图像，/>是/>在/>轴上对应的样本梯度图像，符号/>表示1范数。
利用第一轮廓信息、以及第二轮廓信息的两个方向的样本梯度信息，确定用于描述第一轮廓信息与第二轮廓信息之间轮廓信息差异的第一损失函数值。
作为一种示例，对于每一特征点：
计算以自然对数为底数、以该特征点对应的第一轮廓信息第一方向的梯度值的负数为指数的指数函数值，并计算该特征点的梯度值与该指数函数值的乘积，得到第一乘积结果，
计算以自然对数为底数、以该特征点对应的第一轮廓信息第二方向的梯度值的负数为指数的指数函数值，并计算该特征点的梯度值与该指数函数值的乘积，得到第二乘积结果，
累加第一乘积结果和第二乘积结果，得到该特征点的损失值；
将所有特征点的损失值进行累加，得到第一损失函数值，
进一步地，还可累加的所有特征点损失值对特征点的总数求平均，得到特征点的平均损失值，将该平均损失值作为第一损失函数值。
用数学式表达为：
其中和/>为/>的宽和高。
上述第一损失函数值的计算公式使得：中梯度较小但/>中梯度较大的区域，会产生较大的损失，由此，训练过程中可使得目标检测模型尽可能估计出梯度信息和第一轮廓的梯度信息相近的特征/>。
训练过程中，结合第一损失函数以及用于表征样本目标检测结果与期望目标检测结果之间差异的第二损失函数值，确定总损失函数。
作为一种示例，计算样本目标检测结果与样本原始图像数据中所标注的样本目标之间差异，得到第二损失函数值，
计算第一权重与第一损失函数值的乘积，得到加权第一损失函数值，
计算第二权重与第二损失函数值的乘积，得到加权第二损失函数值，
将加权第一损失函数值与加权第二损失函数值进行累加，得到总损失函数值，
根据第一损失函数值和第二损失函数值，调整待训练目标检测模型的模型参数，直至待训练目标检测模型达到预期，
总损失函数值用数学式表达为：
其中，和/>是权重参数，可以根据实际训练情况进行调整，/>为第二损失函数值。
按照上述方式训练后的目标检测模型便具备了能够对于输入RAW图像数据提取出具有类内相似且类间相异特征的能力，同时有效提升暗光下对于RAW图像目标检测的精度。
参见图4所示，图4为本申请实施例基于低照度图像的目标检测方法的一种流程示意图，该方法包括：
步骤401，获取低照度下来自感光元件的原始图像数据，其中，原始图像数据为未进行图像处理的未加工数据，
步骤402，利用训练后的用于低照度图像的目标检测模型，从所述原始图像数据提取出具有类内相似且类间相异的特征图，并基于所提取的图像图，识别出目标，
其中，具有类内相似且类间相异为：以目标轮廓为界线，界线内特征值差异小于设定的第一阈值，且界线两侧特征值差异大于设定的第二阈值。
本实施例基于低照度图像的目标检测方法，通过用于低照度图像的目标检测模型，对RAW图像数据直接进行目标检测，由于输入目标检测模型的数据不必经过图像处理，避免了冗长且复杂的图像增强处理过程，使得硬件设计更加简单，并有利于降低功耗，同时也无需增加电机、以及额外光源，有利于延长电池的使用时间，降低设备的发热。
本申请实施例所述的目标检测方法可部署于任一电子设备中，包括且不限于摄像机等，也可以部署于服务器，例如，将获取的RAW数据传输上云服务器进行处理并返回检测结果，这样，将计算资源的消耗都放至服务器侧，从而减少设备端的资源消耗。
参见图5所示，图5为本申请实施例用于低照度图像的目标检测模型的训练装置的一种示意图，该装置包括：
第一图像采集模块，用于获取低照度下来自感光元件的样本原始图像数据，
图像处理模块，用于对样本原始图像数据进行图像处理，得到经图像处理后的样本图像数据，
样本目标轮廓获取模块，用于获取样本图像数据中样本目标的第一轮廓信息，
训练模块，用于将样本原始图像数据输入至待训练目标检测模型，经该待训练目标检测模型提取出样本图像特征，
基于样本图像特征，确定样本图像特征中样本目标的第二轮廓信息，
确定用于表征第一轮廓信息与第二轮廓信息之间轮廓信息差异的第一损失函数值，其中，第一损失函数值满足：第一轮廓信息与第二轮廓信息之间轮廓信息差异越大，第一损失函数值越大，
确定用于表征样本目标检测结果与期望目标检测结果之间差异的第二损失函数值，
根据第一损失函数值和第二损失函数值，调整待训练目标检测模型的模型参数，直至待训练目标检测模型达到预期。
参见图6所示，图6为本申请实施例基于低照度图像的目标检测装置的一种示意图，该装置包括：
第二图像采集模块，用于获取低照度下来自感光元件的原始图像数据，其中，原始图像数据为未进行图像处理的未加工数据，
目标检测模块，用于利用训练后的用于低照度图像的目标检测模型，从所述原始图像数据提取出具有类内相似且类间相异的特征图，并基于所提取的图像图，识别出目标。
参见图7所示，图7为基于低照度图像的目标检测装置和/或用于低照度图像的目标检测模型的训练装置的另一示意图。该装置包括存储器和处理器，所述存储器存储有计算机程序，所述处理器被配置执行所述计算机程序以实现本申请实施例所述用于低照度图像的目标检测模型的训练方法的步骤和/或基于低照度图像的目标检测方法的步骤。
存储器可以包括随机存取存储器（Random Access Memory，RAM），也可以包括非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessing，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述用于低照度图像的目标检测模型的训练方法的步骤和/或基于低照度图像的目标检测方法的步骤。
对于装置/网络侧设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (10)
1.一种用于低照度图像的目标检测模型的训练方法，其特征在于，该方法包括：
获取低照度下来自感光元件的样本原始图像数据，
对样本原始图像数据进行图像处理，得到经图像处理后的样本图像数据，
获取样本图像数据中样本目标的第一轮廓信息，
将样本原始图像数据输入至待训练目标检测模型，经该待训练目标检测模型提取出样本图像特征，
基于样本图像特征，确定样本图像特征中样本目标的第二轮廓信息，
确定用于表征第一轮廓信息与第二轮廓信息之间轮廓信息差异的第一损失函数值，
确定用于表征样本目标检测结果与期望目标检测结果之间差异的第二损失函数值，
根据第一损失函数值和第二损失函数值，调整待训练目标检测模型的模型参数，直至待训练目标检测模型达到预期，使得训练后的目标检测模型从输入的原始图像数据中提取出具有类内相似且类间相异的特征图，所述具有类内相似且类间相异为：以目标轮廓为界线，界线内特征值差异小于设定的第一阈值，且界线两侧特征值差异大于设定的第二阈值；
其中，
第二轮廓信息为样本图像特征的梯度信息，
所述确定用于表征第一轮廓信息与第二轮廓信息之间轮廓信息差异的第一损失函数值，包括：
利用损失函数，确定第一损失函数值，其中，损失函数使得样本图像数据中梯度信息小但样本图像特征中梯度信息大的区域产生趋于增大的损失值。
2.如权利要求1所述的训练方法，其特征在于，所述第一损失函数值满足：第一轮廓信息与第二轮廓信息之间轮廓信息差异越大，第一损失函数值越大，
所述获取低照度下来自感光元件的样本原始图像数据，包括：
在低照度环境下采集感光元件输出的样本原始图像数据，并对样本原始图像数据中的目标进行标注，得到该样本原始图像数据中的样本目标；
所述对样本原始图像数据进行图像处理，得到经图像处理后的样本图像数据，包括：
对样本原始图像数据进行转换，得到样本RGB图像数据；
所述获取样本图像数据中样本目标的第一轮廓信息，包括：
对样本RGB图像进行边缘检测或语义分割，并过滤掉非样本目标的轮廓信息， 得到样本RGB图像数据中样本目标的第一轮廓信息。
3.如权利要求2所述的训练方法，其特征在于，所述基于样本图像特征，确定样本图像特征中样本目标的第二轮廓信息，包括：
基于样本图像特征中的每一特征值，计算样本图像特征的梯度信息，得到第二轮廓信息。
4.如权利要求3所述的训练方法，其特征在于，所述样本图像特征对应为样本特征图，
所述基于样本图像特征中的每一特征值，计算样本图像特征的梯度信息，包括：
对于样本特征图中的每一特征点，
计算该特征点与其在第一方向相邻特征点之间的2范数，与，该特征点与其在第二方向相邻特征点之间的2范数之和的平方根，得到该特征点的梯度值，
其中，
第一方向与第二方向垂直；
所述利用所述损失函数，确定第一损失函数值，包括：
对于每一特征点，计算以自然对数为底数、以该特征点对应的第一轮廓信息的负数为指数的指数函数值，并计算该特征点的梯度值与该指数函数值的乘积，得到该特征点的损失值，
累加所有特征点的损失值，或者，基于所累加的所有特征点的损失值计算所有特征点的平均损失值，得到第一损失函数值。
5.如权利要求3所述的训练方法，其特征在于，所述样本图像特征对应为样本特征图，
所述基于样本图像特征中的每一特征值，计算样本图像特征的梯度信息，包括：
对于样本特征图中的每一特征点，
计算该特征点与其在第一方向相邻特征点之间的1范数，得到该特征点第一方向的梯度值，
计算该特征点与其在第二方向相邻特征点之间的1范数，得到该特征点第二方向的梯度值，
其中，
第一方向与第二方向垂直；
所述利用损失函数，确定第一损失函数值，包括：
对于每一特征点：
计算以自然对数为底数、以该特征点对应的第一轮廓信息第一方向的梯度值的负数为指数的指数函数值，并计算该梯度值与该指数函数值的乘积，得到第一乘积结果，
计算以自然对数为底数、以该特征点对应的第一轮廓信息第二方向的梯度值的负数为指数的指数函数值，并计算该梯度值与该指数函数值的乘积，得到第二乘积结果，
累加第一乘积结果和第二乘积结果，得到该特征点的损失值；
将所有特征点的损失值进行累加，或者，基于所累加的所有特征点的损失值计算所有特征点的平均损失值，得到第一损失函数值。
6.如权利要求1所述的训练方法，其特征在于，所述确定用于表征样本目标检测结果与期望目标检测结果之间差异的第二损失函数值，包括：
计算样本目标检测结果与样本原始图像数据中的样本目标之间差异，得到第二损失函数值，
所述根据第一损失函数值和第二损失函数值，调整待训练目标检测模型的模型参数，包括：
计算第一权重与第一损失函数值的乘积，得到加权第一损失函数值，
计算第二权重与第二损失函数值的乘积，得到加权第二损失函数值，
将加权第一损失函数值与加权第二损失函数值进行累加，得到总损失函数值，
根据总损失函数值，调整待训练目标检测模型的模型参数。
7.一种基于低照度图像的目标检测方法，其特征在于，该方法包括：
获取低照度下来自感光元件的原始图像数据，其中，原始图像数据为未进行图像处理的未加工数据，
利用训练后的用于低照度图像的目标检测模型，从所述原始图像数据提取出具有类内相似且类间相异的特征图，并基于所提取的特征图，识别出目标，
其中，具有类内相似且类间相异为：以目标轮廓为界线，界线内特征值差异小于设定的第一阈值，且界线两侧特征值差异大于设定的第二阈值；
所述目标检测模型按照如权利要求1至6任一所述用于低照度图像的目标检测模型的训练方法的步骤训练。
8.一种用于低照度图像的目标检测模型的训练装置，其特征在于，该装置包括：
第一图像采集模块，用于获取低照度下来自感光元件的样本原始图像数据，
图像处理模块，用于对样本原始图像数据进行图像处理，得到经图像处理后的样本图像数据，
样本目标轮廓获取模块，用于获取样本图像数据中样本目标的第一轮廓信息，
训练模块，用于训练将样本原始图像数据输入至待训练目标检测模型，经该待训练目标检测模型提取出样本图像特征，
基于样本图像特征，确定样本图像特征中样本目标的第二轮廓信息，
确定用于表征第一轮廓信息与第二轮廓信息之间轮廓信息差异的第一损失函数值，
确定用于表征样本目标检测结果与期望目标检测结果之间差异的第二损失函数值，
根据第一损失函数值和第二损失函数值，调整待训练目标检测模型的模型参数，直至待训练目标检测模型达到预期，使得训练后的目标检测模型从输入的原始图像数据中提取出具有类内相似且类间相异的特征图，
所述具有类内相似且类间相异为：以目标轮廓为界线，界线内特征值差异小于设定的第一阈值，且界线两侧特征值差异大于设定的第二阈值；
其中，
第二轮廓信息为样本图像特征的梯度信息，
所述确定用于表征第一轮廓信息与第二轮廓信息之间轮廓信息差异的第一损失函数值，包括：
利用损失函数，确定第一损失函数值，其中，损失函数使得样本图像数据中梯度信息小但样本图像特征中梯度信息大的区域产生趋于增大的损失值。
9.一种基于低照度图像的目标检测装置，其特征在于，该装置包括：
第二图像采集模块， 用于获取低照度下来自感光元件的原始图像数据，其中，原始图像数据为未进行图像处理的未加工数据，
目标检测模块，用于利用训练后的用于低照度图像的目标检测模型，从所述原始图像数据提取出具有类内相似且类间相异的特征图，并基于所提取的特征图，识别出目标，
其中，具有类内相似且类间相异为：以目标轮廓为界线，界线内特征值差异小于设定的第一阈值，且界线两侧特征值差异大于设定的第二阈值；
所述目标检测模型按照如权利要求1至6任一所述用于低照度图像的目标检测模型的训练方法的步骤训练。
10.一种电子设备，其特征在于，该电子设备包括如权利要求9所述的目标检测装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310682626.4A CN116468973B (zh) | 2023-06-09 | 2023-06-09 | 用于低照度图像的目标检测模型的训练方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310682626.4A CN116468973B (zh) | 2023-06-09 | 2023-06-09 | 用于低照度图像的目标检测模型的训练方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116468973A CN116468973A (zh) | 2023-07-21 |
| CN116468973B true CN116468973B (zh) | 2023-10-10 |
Family
ID=87177406
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310682626.4A Active CN116468973B (zh) | 2023-06-09 | 2023-06-09 | 用于低照度图像的目标检测模型的训练方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116468973B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111695633A (zh) * | 2020-06-12 | 2020-09-22 | 桂林电子科技大学 | 基于rpf-cam的低照度目标检测方法 |
| WO2021087985A1 (zh) * | 2019-11-08 | 2021-05-14 | 深圳市欢太科技有限公司 | 模型训练方法、装置、存储介质及电子设备 |
| CN113284112A (zh) * | 2021-05-27 | 2021-08-20 | 中国科学院国家空间科学中心 | 一种基于深度神经网络的熔滴图像轮廓提取方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931857B (zh) * | 2020-08-14 | 2022-09-02 | 桂林电子科技大学 | 一种基于mscff的低照度目标检测方法 |
| CN112487947A (zh) * | 2020-11-26 | 2021-03-12 | 西北工业大学 | 基于图像融合与目标检测网络的低照度图像目标检测方法 |
-
2023
- 2023-06-09 CN CN202310682626.4A patent/CN116468973B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021087985A1 (zh) * | 2019-11-08 | 2021-05-14 | 深圳市欢太科技有限公司 | 模型训练方法、装置、存储介质及电子设备 |
| CN111695633A (zh) * | 2020-06-12 | 2020-09-22 | 桂林电子科技大学 | 基于rpf-cam的低照度目标检测方法 |
| CN113284112A (zh) * | 2021-05-27 | 2021-08-20 | 中国科学院国家空间科学中心 | 一种基于深度神经网络的熔滴图像轮廓提取方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Making of Night Vision: Object Detection Under Low-Illumination;Yuxuan Xiao et al;《IEEE Access》;第8卷;123075 - 123086 * |
| 低照度场景车辆与行人检测算法研究;张禾;《中国优秀硕士学位论文全文数据库》(第03期);第1-84页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116468973A (zh) | 2023-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI805869B (zh) | 計算場景的主要分類的系統及方法 | |
| CN110149482B (zh) | 对焦方法、装置、电子设备和计算机可读存储介质 | |
| CN110276767B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN108288027B (zh) | 一种图像质量的检测方法、装置及设备 | |
| CN108197546B (zh) | 人脸识别中光照处理方法、装置、计算机设备及存储介质 | |
| Li et al. | Multi-exposure fusion with CNN features | |
| US9251439B2 (en) | Image sharpness classification system | |
| CN110580428A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| US9900519B2 (en) | Image capture by scene classification | |
| US20150281570A1 (en) | Image processing apparatus, image processing method, and program | |
| WO2019223513A1 (zh) | 图像识别方法、电子设备和存储介质 | |
| CN111695373B (zh) | 斑马线的定位方法、系统、介质及设备 | |
| Liu et al. | Blur-kernel bound estimation from pyramid statistics | |
| Steffens et al. | Cnn based image restoration: Adjusting ill-exposed srgb images in post-processing | |
| CN111654643B (zh) | 曝光参数确定方法、装置、无人机和计算机可读存储介质 | |
| CN113691724A (zh) | Hdr场景检测方法与装置、终端及可读存储介质 | |
| CN110365897B (zh) | 图像修正方法和装置、电子设备、计算机可读存储介质 | |
| CN111325671B (zh) | 网络训练方法、装置、图像处理方法及电子设备 | |
| CN111178118B (zh) | 图像采集处理方法、装置及计算机可读存储介质 | |
| CN116468973B (zh) | 用于低照度图像的目标检测模型的训练方法、装置 | |
| CN111275045A (zh) | 图像的主体识别方法、装置、电子设备和介质 | |
| CN113111730B (zh) | 快速高精度的图像模糊检测方法及装置 | |
| JP2019008830A (ja) | 被写体検出装置、撮像装置及びプログラム | |
| KR102452192B1 (ko) | 반려 동물의 식별을 위한 객체의 이미지를 필터링하기 위한 방법 및 장치 | |
| CN111428067B (zh) | 公文图片获取方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |