CN114692775A - 模型训练、目标检测及渲染方法、存储介质、程序产品 - Google Patents

模型训练、目标检测及渲染方法、存储介质、程序产品 Download PDF

Info

Publication number
CN114692775A
CN114692775A CN202210372165.6A CN202210372165A CN114692775A CN 114692775 A CN114692775 A CN 114692775A CN 202210372165 A CN202210372165 A CN 202210372165A CN 114692775 A CN114692775 A CN 114692775A
Authority
CN
China
Prior art keywords
image
illumination
enhancement
model
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210372165.6A
Other languages
English (en)
Inventor
程森林
陶明渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Alibaba Cloud Feitian Information Technology Co ltd
Original Assignee
Alibaba Damo Institute Hangzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Damo Institute Hangzhou Technology Co Ltd filed Critical Alibaba Damo Institute Hangzhou Technology Co Ltd
Priority to CN202210372165.6A priority Critical patent/CN114692775A/zh
Publication of CN114692775A publication Critical patent/CN114692775A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种模型训练、目标检测及渲染方法、存储介质、程序产品,图像增强模型的训练方法，包括：获得目标场景在第一光照环境下的样本图像以及第二光照环境下的标注图像，其中，第一光照环境的光照强度小于第二光照环境的光照强度；通过图像增强模型对样本图像进行光照增强处理，得到光照增强图像；根据光照增强图像与样本图像之间的第一差异值，和光照增强图像与标注图像之间的第二差异值，计算得到成对损失值，其中，成对损失值与第一差异值成反比，与第二差异值成正比；根据成对损失值对图像增强模型进行训练。本方案可以提高光照增强图像在机器视觉角度的质量，当光照增强图像应用至目标检测等下游任务时，可以提高下游任务的精度。

Description

模型训练、目标检测及渲染方法、存储介质、程序产品
技术领域
本申请实施例涉及计算机技术领域，尤其涉及一种图像增强模型的训练、目标检测及渲染方法、存储介质、程序产品。
背景技术
低光照图像是指在光照条件较差，如夜间、光线较暗的室内、阴雨天气等情况下拍摄的图像。这类图像的特点是图像的亮度不够且画面较暗，对目标对象识别等后续操作造成了极大障碍，因此需要对图像进行增强处理，以改善图像。
一般情况下，进行图像增强时考虑的为人的视觉角度上的亮度和美感等。但由于机器识别和人的视觉之间存在极大地差异，导致通过在人的视觉角度上训练得到的模型处理后的图像可能无法满足工业界产品需求。
发明内容
有鉴于此，本申请实施例提供一种图像增强模型训练、目标检测及渲染方法、存储介质、程序产品，以至少部分解决上述问题。
根据本申请实施例的第一方面，提供了一种图像增强模型的训练方法，包括：获得目标场景在第一光照环境下的样本图像以及第二光照环境下的标注图像，其中，所述第一光照环境的光照强度小于所述第二光照环境的光照强度；通过图像增强模型对所述样本图像进行光照增强处理，得到光照增强图像；根据所述光照增强图像与所述样本图像之间的第一差异值，和所述光照增强图像与所述标注图像之间的第二差异值，计算得到成对损失值，其中，所述成对损失值与所述第一差异值成反比，与所述第二差异值成正比；根据所述成对损失值对所述图像增强模型进行训练。
根据本申请实施例的第二方面，提供了一种目标检测方法，包括：通过训练的图像增强模型，对待处理图像进行光照增强处理，得到光照增强图像，其中，所述图像增强模型至少根据成对损失值进行训练，所述成对损失值根据光照增强图像与样本图像之间的第一差异值，和光照增强图像与标注图像之间的第二差异值计算得到，所述成对损失值与所述第一差异值成反比，与所述第二差异值成正比；对光照增强图像进行目标检测，得到目标检测结果。
根据本申请实施例的第三方面，提供了一种渲染方法，包括：获得目标场景在第一光照环境下的待处理图像；通过图像增强模型对所述待处理图像进行光照增强处理，得到光照增强图像，其中，所述图像增强模型通过如上所述的方法训练；根据所述光照增强图像对目标场景进行增强现实渲染。
根据本申请实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的方法。
根据本申请实施例的第五方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如上所述的方法对应的操作。
根据本申请实施例提供的方案，通过获得目标场景在第一光照环境下的样本图像以及第二光照环境下的标注图像，其中，所述第一光照环境的光照强度小于所述第二光照环境的光照强度；通过图像增强模型对所述样本图像进行光照增强处理，得到光照增强图像；根据所述光照增强图像与所述样本图像之间的第一差异值，和所述光照增强图像与所述标注图像之间的第二差异值，计算得到成对损失值，其中，所述成对损失值与所述第一差异值成反比，与所述第二差异值成正比；根据所述成对损失值对所述图像增强模型进行训练，可以通过成对损失值，可以增加光照增强图像与标注图像的相似程度，拉远光照增强图像与样本图像的相似程度，提高了输出的光照增强图像在机器视觉角度的质量，当光照增强图像应用至目标检测等下游任务时，可以提高下游任务的精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像增强模型的训练方法的流程示意图；
图2A为本申请实施例提供的另一种图像增强模型的训练方法的流程示意图；
图2B为本申请实施例提供的一种图像增强模型的结构示意图；
图3为本申请实施例提供的一种目标检测方法的流程示意图；
图4A为本申请实施例提供的一种行人识别方法的流程示意图；
图4B为本申请实施例提供的一种场景示意图；
图5A为本申请实施例提供的一种渲染方法的流程示意图；
图5B为本申请实施例提供的一种渲染示意图；
图6为根据本申请实施例的一种电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
为了更加详细地说明本实施例提供的方案，下面先对本申请中的模型的使用场景进行示例性说明。
在计算机视觉领域，通过图像采集设备采集到的图像为模型处理的基础，例如，模型可以对图像进行车辆识别、行人检测、人脸识别等。
在日照正常的白天，图像采集设备采集的图像的分辨率较高、对比度也较高，对图像进行车辆识别、行人检测、人脸识别等的精度和准确率较高。但是，在夜间或者阴天或者光照不足的室内，图像采集设备采集到的图像的分辨率较低、对比度较低、图像纹理细节可能会丢失或者存在大量噪声。这导致在上述环境下采集得到的图像进行识别的难度较大。
因此，如何对夜间或者阴天或者光照不足的室内等场景下采集的图像进行增强十分重要。
为此，本申请实施例提供了一种图像增强模型的训练方法，训练后的图像增强模型可以用于对夜间或者阴天或者光照不足的室内等场景下采集的图像进行增强处理，并可以提高对增强后的图像进行目标识别时的精度。
图1为本申请实施例提供的一种图像增强模型的训练方法的流程示意图，如图所示，其包括：
S101、获得目标场景在第一光照环境下的样本图像以及第二光照环境下的标注图像，其中，所述第一光照环境的光照强度小于所述第二光照环境的光照强度。
本实施例中，光照强度可以为单位面积上所接受可见光的光通量，在不同的光照强度下图像采集设备采集到的图像存在较大差异。一般情况下，当环境的光照强度较高，例如白天，图像中的被摄物体较明亮，被摄物体表面的色彩、材质、纹理等的清晰度也较高；当光照强度较低，例如夜晚，图像整体越暗，图像的对比度较低，图像中的色彩纹理等清晰度较低。
本实施例中，在进行图像增强模型的训练时，可以采集的目标场景在第一光照环境下的样本图像和在第二光照环境下的标注图像，样本图像对应的光照强度小于标注图像对应的光照强度。
样本图像可以作为输入至图像增强模型的样本数据，图像增强模型可以对样本图像进行图像增强，例如增强样本图像中被摄物体的亮度、增强样本图像的对比度等，并输出增强后得到的光照增强图像。
标注图像可以作为训练图像增强模型的监督数据。图像增强模型的训练目的为使得模型输出的增强后图像与标注图像更加接近。
S102、通过图像增强模型对所述样本图像进行光照增强处理，得到光照增强图像。
本实施例中，具体通过图像增强模型对样本图像进行光照增强处理的方案可参考相关技术，在此不再赘述。
S103、根据所述光照增强图像与所述样本图像之间的第一差异值，和所述光照增强图像与所述标注图像之间的第二差异值，计算得到成对损失值。
其中，所述成对损失值与所述第一差异值成反比，与所述第二差异值成正比。
本实施例中，第一差异值可以用于表征光照增强图像与样本图像之间的差异程度，计算得到的成对损失值(pairloss)与第一差异值成反比，即光照增强图像与样本图像之间的差异程度越高，成对损失值越小；第二差异值可以用于表征光照增强图像与标注图像之间的差异程度，成对损失值(pairloss)与第二差异值成正比，即光照增强图像与标注图像之间的差异程度越小，成对损失值越小。
由此，在根据成对损失值对图像增强模型进行训练后，可以增大光照增强图像与样本图像之间的差异，减小光照增强图像与标注图像之间的差异，来提高图像增强模型的训练效果，并提高图像增强模型输出的光照增强图像的质量，当将图像增强模型应用于目标识别时，可以间接提高目标识别的精度和准确率。
本实施例中，具体计算两张图像(光照增强图像与样本图像或者光照增强图像与标注图像)之间的差异值的方案可参考相关技术，在此不再赘述。
S104、根据所述成对损失值对所述图像增强模型进行训练。
具体根据成对损失值调整图像增强模型的方法可参考相关技术，在此不再赘述。
本实施例提供的方案，通过获得目标场景在第一光照环境下的样本图像以及第二光照环境下的标注图像，其中，所述第一光照环境的光照强度小于所述第二光照环境的光照强度；通过图像增强模型对所述样本图像进行光照增强处理，得到光照增强图像；根据所述光照增强图像与所述样本图像之间的第一差异值，和所述光照增强图像与所述标注图像之间的第二差异值，计算得到成对损失值，其中，所述成对损失值与所述第一差异值成反比，与所述第二差异值成正比；根据所述成对损失值对所述图像增强模型进行训练，可以通过成对损失值，可以增加光照增强图像与标注图像的相似程度，拉远光照增强图像与样本图像的相似程度，提高了输出的光照增强图像在机器视觉角度的质量，当光照增强图像应用至目标检测等下游任务时，可以提高下游任务的精度。
本实施例的图像增强模型的训练方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。
图2A为本申请实施例提供的一种图像增强模型的训练方法的流程示意图，如图所示，其包括：
S201、获得目标场景在第一光照环境下的样本图像以及第二光照环境下的标注图像，其中，所述第一光照环境的光照强度小于所述第二光照环境的光照强度。
S202、通过图像增强模型对所述样本图像进行光照增强处理，得到光照增强图像。
本实施例中，图像增强模型可以为任意能够处理图像的机器学习模型，具体可以为卷积神经网络模型，例如基于注意力机制的卷积神经网络模型、通过端到端训练的全卷积网络模型等，本实施例对此同样不进行限定。
可选地，本实施例中，图像增强模型为轻量级模型，所述图像增强模型中卷积层的层数小于七层。通过轻量级模型，可以缩短进行光照增强处理所耗费的时间，满足工业化对时间的要求。
具体地，本实施例中，所述图像增强模型包括三层卷积层，以及三层预测层。
参见图2B，示出了一种图像增强模型的结构示意图。如图所示，图像增强模型包括：输入层input、预处理层pre、预测层infer、连接层con、输出层result。
本实施例中，输入层input用于接收输入的图片，在训练时接收的为样本图片，在使用时接收的为待处理图片。
预处理层pre具体可以为预处理卷积层，预处理层pre主要包含三层卷积层，每层卷积的参数可以为3*3卷积核、Relu作为激活函数、不要池化层，对应的，输入层input接收的图片的尺寸可以为W*H*3。
三层卷积层的参数可以均为3*3。其中，第一层卷积层输入为W*H*3，与输入层input接收的图像尺寸一致，第一层卷积层的输出可以为W*H*32，作为第二层卷积层的输入，第二层卷积层输出可以为W*H*32，第三层卷积层的输出也可以为W*H*32。
预测层infer可以为3层，每层分别做卷积和反卷积，最后一层预测层infer输出的尺寸与输入层input接收的图片的尺寸保持一致。
示例地，三层infer中，第一层的卷积和反卷积参数可以为5*5*16、5*5*16；第二层的卷积和反卷积参数可以为5*5*16、5*5*16，第三层的卷积和反卷积参数可以为5*5*8、5*5*3。
连接层con可以将预测层infer的输出进行融合输出，例如将输出通过1*1的卷积层进行融合或者对infer层的输出进行加权融合等。
输出层Result可以将con融合后的输出进行转换，得到光照增强图像。
本实施例提供的方案，图像增强模型中的卷积层等仅包括三层，与现有的其他图像增强模型相比，所需要的模型参数和计算资源极大减少，且进行图像增强所耗费的时间也大大减小。
S203、根据所述光照增强图像与所述样本图像之间的第一差异值，和所述光照增强图像与所述标注图像之间的第二差异值，计算得到成对损失值。
其中，所述成对损失值与所述第一差异值成反比，与所述第二差异值成正比。
可选地，第一差异值包括所述光照增强图像与所述样本图像之间的第一相似度，以及，所述第二差异值包括所述光照增强图像与所述标注图像之间的第二相似度。
本实施例中，可以直接计算两张图像(光照增强图像与样本图像或者光照增强图像与标注图像)之间各个像素之间的差值作为两张图像间的距离，或者，可以对两张图像分别进行特征提取，并计算提取出的特征之间的距离。具体计算图像距离的方案可参考相关技术，在此不再赘述。
可选地，本实施例中，所述第一差异值还包括：根据所述光照增强图像和所述标注图像计算得到的交叉熵损失值。交叉熵损失值可以用于判断实际输出(概率)与期望输出(概率)的标注图像的接近程度，其刻画的为两个概率分布之间的距离，交叉熵损失越小，两个概率分布越接近。通过增加交叉熵损失值，可以进一步缩小光照增强图像与标注图像之间的差异程度。
可选地，当增加有交叉熵损失值时，所述根据所述光照增强图像与所述样本图像之间的第一差异值，和所述光照增强图像与所述标注图像之间的第二差异值，计算得到成对损失值，包括：计算所述第一相似度和所述第二相似度的比值，得到相似度比值；将所述相似度比值与所述交叉熵损失进行加权求和，得到所述成对损失值。
具体地，成对损失值pairloss可以通过以下公式进行计算：
Figure BDA0003589204280000061
其中，Lpair为成对损失值pairloss，x表示光照增强图像，xo表示样本图像，xe表示标识图像，min||x-xe||为像素层面的光照增强图像和标识图像的交叉熵损失值，g(x)为光照增强图像的图像特征，g(xe)为标识图像的图像特征，g(xo)为样本图像的图像特征，d(a，b)为a与b之间的距离，由于图像特征的数量可以为大于1个，则可以针对每个图像特征计算得到距离的比值后，将多个距离的比值进行求和，求和使用“∑”表示，w为距离的权重。
另外，本实施例中，所述标注图像中包括被标注出的目标对象，则所述方法还可以包括下述步骤S204和S205。
S204、通过对所述光照增强图像进行目标检测，得到预测检测结果。
本实施例中，可以采用训练的目标检测模型对光照增强图像进行目标检测，得到预测检测结果。目标检测模型的具体实现可参考相关技术，在此不再赘述。
S205、根据所述预测检测结果以及所述标注图像中包括被标注出的目标对象之间的差异，计算得到检测损失值。
检测损失值又可以被称为yolo loss，主要用于计算预测出的目标对象和标注的目标对象之间的差异程度。示例地，检测损失值具体可以包括以下至少之一：预测出的目标对象的中心对应的损失值、预测出的目标对象的宽高对应的损失值、预测出的目标对象的类别对应的损失值、预测出的目标对象的置信度对应的损失值。
S206、根据所述检测损失值和所述成对损失值，对所述图像增强模型进行联合训练。
通过增加检测损失值，可以使得图像增强模型能够对用于进行目标识别的特征进行重点增强，进而可以训练的图像增强模型泛化性和鲁棒性。
另外需要说明的是，本实施例中，还可以增加其他损失值，例如图像质量损失值Lssim(Structural Similarity)、特征损失值Lvgg(visual geometry group)、区域损失值Lregion等。当进行联合训练时，损失函数具体可以为：L＝Lssim+Lvgg+Lregion+Lpair+Lyolo。
具体地，图像质量损失值Lssim可以使得光照增强图像与标注图像的图像质量更加接近。图像质量损失值Lssim的计算公式可以如下：
Figure BDA0003589204280000062
其中，x，y是参与比较的两张图像，μx是x的平均值，μy是y的平均值，σx是x的方差，σy是y的方差，σxy是x和y的协方差，C1 C2是用来维持稳定的常数，∑表示求和吗，求和公式下方的p表示属于图像的一个像素。
特征损失值Lvgg可以使用一个特征提取器来指导损失，即使用特征提取器分别对光照增强图像和标注图像进行特征提取，如果光照增强图像和标注图较为相似，那么他们对应特征提取器的输出也较为相似。特征损失值Lvgg的计算公式可以如下：
Figure BDA0003589204280000071
其中，i，j表示图像中的像素坐标，Wi，jHi，jCi，j表示网络尺寸，φ表示损失网络，E表示标注图像，G表示预测图像，x、y、z分别对应Wi，j、Hi，j、Ci，j，用于基于各个Wi，j、Hi，j、Ci，j求和。
区域损失值Lregion可以基于图像中的某个区域计算损失，通过区域损失值Lregion可以对图像中的某个区域进行重点增强。区域损失值Lregion的计算公式可以如下：
Figure BDA0003589204280000072
其中，E表示标注图像，G表示预测图像，L表示低亮度区域，H表示高亮度区域，m和n分别表示不同区域的坐标集合。
本实施例提供的方案，通过成对损失值以及检测损失值对图像增强模型进行联合训练，不仅可以通过成对损失值来增加光照增强图像与标注图像的相似程度并拉远光照增强图像与样本图像的相似程度，还可以通过检测损失值使得图像增强模型对影响目标识别的特征进行重点增强，当光照增强图像应用至目标检测等下游任务时，可以进一步提高下游任务的精度，并且提高了图像增强模型的泛化性和鲁棒性。
本实施例的图像增强模型的训练方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。
图3为本申请实施例提供的一种目标检测方法的流程示意图，如图所示，方法包括：
S301、通过训练的图像增强模型，对待处理图像进行光照增强处理，得到光照增强图像。
其中，所述图像增强模型至少根据成对损失值进行训练，所述成对损失值根据光照增强图像与样本图像之间的第一差异值，和光照增强图像与标注图像之间的第二差异值计算得到，所述成对损失值与所述第一差异值成反比，与所述第二差异值成正比。
图像增强模型的具体训练方式可参考上述实施例，在此不再赘述。
S302、对光照增强图像进行目标检测，得到目标检测结果。
图像增强模型输出的光照增强图像可以直接输入至目标检测模型，通过目标检测模型可以对光照增强图像进行目标检测，得到目标检测结果。
本实施例中，对光照增强图像进行目标检测，得到目标检测结果具体可以包括：对光照增强图像进行目标对象区域检测、目标对象分类、图像分割等。
可选地，本申请实施例中，所述图像增强模型为轻量级模型，所述图像增强模型中卷积层的层数小于七层，所述通过训练的图像增强模型，对待处理图像进行光照增强处理，得到光照增强图像，包括：通过轻量级的图像增强模型，对待处理图像进行实时光照增强处理，得到光照增强图像。通过采用轻量级模型，结合上述方案中的训练方案，可以在保证图像增强模型输出的光照增强图像的质量的前提下，缩短进行光照增强所耗费的时间，若对光照增强图像进行目标检测所耗费的时间也较短，可以使得本实施例提供的方案满足工业产品需求，尤其是对时间方面的需求。
本实施例的目标检测方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。
图4A为本申请实施例提供的一种行人识别方法的流程示意图，如图所示，其包括：
S401、通过道路摄像头实时采集道路图像。
本实施例中，道路摄像头的设置位置一般不变，其采集的也为某一固定道路区域内的图像。
S402、若采集的道路图像的光照强度小于预设值，则将道路图像输入至训练的图像增强模型，通过图像增强模型实时输出光照增强图像。
由于道路位于室外，在阴天或者夜间采集到的道路图像的光照强度较低，则可以由本领域的技术人员设置预设值，当光照强度小于预设值时，将通过图像增强模型对道路图像进行增强。
当光照强度降低时，采集到的道路图像的清晰度或者对比度等降低，导致行人识别准确率也随之降低，则预设值可以根据进行行人识别时的识别准确率确定，预设值的具体数值可由本领域的相关人员确定，在此不再赘述。
另外，根据上述实施例可知，本申请的图像增强模型可以在保证输出的光照增强图像的质量的前提下，减少进行增强耗费的时间，使得图像增强模型可以适用于对及时性要求较高的场景下，例如本实施例的行人识别场景中。
类似的，图像增强模型还可以用于车辆检测、道路堵塞检测、人脸识别、安全帽识别等场景中，本实施例对此不进行限定。
S403、将光照增强图像输入至行人识别模型，以对道路上车辆的行人进行实时识别。
参见图4B，在夜间采集到的道路图像的清晰度较低，对比度较差，通过图像增强模型处理夜间采集的道路图像后，可以对图像进行光照增强，从而得到较为清晰的道路图像。再通过行人识别模型对道路图像进行行人识别，可以得到行人识别结果。
本实施例的行人识别方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。
图5A为本申请实施例提供的一种渲染方法的流程示意图，如图所示，方法包括：
S501、获得目标场景的待处理图像。
本实施例中，可以设置光照增强阈值，当采集的图像的参数满足光照增强阈值时，可以将图像确定为待处理图像。
例如，光照增强阈值可以为亮度阈值，当图像的各个像素的平均亮度或者亮度总值小于亮度阈值时，可以将图像确定为待处理图像。类似的，光照增强阈值还可以为对比度阈值等，本领域的技术人员可根据需求确定，本实施例在此不再赘述。
S502、通过图像增强模型对所述待处理图像进行光照增强处理，得到光照增强图像。
图像增强模型通过上述实施例提供的训练方法训练得到。具体训练的方法可参考上述实施例，在此不再赘述。
S503、根据所述光照增强图像对目标场景进行增强现实渲染。
具体进行增强现实渲染时，可以将光照增强图像与待处理图像叠加，并根据叠加后的图像进行增强现实渲染。或者，也可以直接根据光照增强图像被进行光照增强的像素进行增强现实渲染，本实施例对此不进行限定。具体进行增强现实渲染的方法可参考相关技术，在此不再赘述。
可选地，本实施例中，方法还包括：根据所述光照增强图像进行目标识别，得到目标识别结果；步骤S503具体可以包括：利用利用增强现实技术，对将所述光照增强图像以及所述目标识别结果添加至所述目标场景后增强现实场景进行渲染。由此，可以直接将目标识别结果通过增强现实技术进行渲染。
示例地，汽车上可以安装有摄像头，通过摄像头可以采集夜间的目标路口图像作为待处理图像，并通过图像增强模型对所述待处理图像进行光照增强处理，得到光照增强图像。
之后可以通过行人识别模型对光照增强图像进行行人识别，得到行人识别结果。并可以根据路口图像渲染至车窗玻璃上，以及在图像上通过增强现实渲染的方式标识出识别出的行人，渲染出的图像可以如图5B所示。
另外需要说明的是，本实施例提供的方案可以适用于多种场景，例如自动驾驶领域、游戏娱乐领域、安全辅助领域、探索领域、医疗领域等。
针对自动驾驶领域：
可以将夜间车况图像进行亮度增强，将亮度增强后的图像进行实时处理得到路况信息，并将路况信息通过增强现实的方式投影到车玻璃上，从而可以在夜间行驶时更加直观地看到路面信息，使夜间驾驶更加安全。
针对游戏娱乐领域：
在进行增强现实游戏时，可以对夜间真实场景进行光照增强及渲染，来增强人在夜间场景的体感和视觉效果。
针对安全辅助领域：
针对盲人等人群，可以佩戴具有摄像头和扬声器的安全设备，通过摄像头实时采集图像并进行光照增强，通过障碍物识别模型识别前方障碍物，并通过语音对盲人进行提醒，方便了盲人等人群的出行，并可以通过盲人携带的显示器随时显示可能会对盲人造成障碍的人或物，提示周围的人进行帮助。
针对夜间佩戴AR眼镜的人群，例如驴友等，可以将AR眼镜作为边缘设备，配备图像增强模型和目标识别模型，对通过AR眼镜采集的图像进行实时的图像增强处理，并实时对增强后的图像进行目标识别，并在AR眼镜上通过增强现实的方式渲染障碍物，来提示人群躲避障碍及危险。
针对探索领域：
矿井、地下等区域的探索者可以佩戴具有摄像头和扬声器的安全设备，通过摄像头实时采集图像并进行光照增强，通过目标识别模型识别前方是否有重点探索物体，并对探索者进行提醒。
针对医疗领域：
可以通过深入人体内的设备，例如内窥镜等，实时采集人体内的图像，并对图像进行增强处理，以及可以对增强后的图像进行病灶识别，将识别结果通过增强现实的方式渲染在屏幕展示的内窥镜图像上，以对医生进行提示。
本实施例的渲染方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。
参照图6，示出了本申请实施例提供的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。
如图6所示，该电子设备可以包括：处理器(processor)602、通信接口(Communications Interface)604、存储器(memory)606、以及通信总线608。
其中：
处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。
通信接口604，用于与其它电子设备或服务器进行通信。
处理器602，用于执行程序610，具体可以执行上述图像增强模型的训练方法或者目标识别方法实施例中的相关步骤。
具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。
处理器602可能是处理器CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器606，用于存放程序610。存储器606可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序610中各步骤的具体实现可以参见上述图像增强模型的训练方法或者目标识别方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本申请实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一图像增强模型的训练方法或者目标识别方法对应的操作。
需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。
上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的图像增强模型的训练方法或者目标识别方法。此外，当通用计算机访问用于实现在此示出的图像增强模型的训练方法或者目标识别方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的图像增强模型的训练方法或者目标识别方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。

Claims (14)

1.一种图像增强模型的训练方法，包括：
获得目标场景在第一光照环境下的样本图像以及第二光照环境下的标注图像，其中，所述第一光照环境的光照强度小于所述第二光照环境的光照强度；
通过图像增强模型对所述样本图像进行光照增强处理，得到光照增强图像；
根据所述光照增强图像与所述样本图像之间的第一差异值，和所述光照增强图像与所述标注图像之间的第二差异值，计算得到成对损失值，其中，所述成对损失值与所述第一差异值成反比，与所述第二差异值成正比；
根据所述成对损失值对所述图像增强模型进行训练。
2.根据权利要求1所述的方法，其中，所述第一差异值包括所述光照增强图像与所述样本图像之间的第一相似度，以及，所述第二差异值包括所述光照增强图像与所述标注图像之间的第二相似度。
3.根据权利要求2所述的方法，其中，所述第一差异值还包括：根据所述光照增强图像和所述标注图像计算得到的交叉熵损失值。
4.根据权利要求3所述的方法，其中，所述根据所述光照增强图像与所述样本图像之间的第一差异值，和所述光照增强图像与所述标注图像之间的第二差异值，计算得到成对损失值，包括：
计算所述第一相似度和所述第二相似度的比值，得到相似度比值；
将所述相似度比值与所述交叉熵损失值进行加权求和，得到所述成对损失值。
5.根据权利要求1所述的方法，其中，所述标注图像中包括被标注出的目标对象，所述方法还包括：
通过对所述光照增强图像进行目标检测，得到预测检测结果；
根据所述预测检测结果以及所述标注图像中包括被标注出的目标对象之间的差异，计算得到检测损失值；
所述根据所述成对损失值对所述图像增强模型进行训练，包括：
根据所述检测损失值和所述成对损失值，对所述图像增强模型进行联合训练。
6.根据权利要求1所述的方法，其中，所述图像增强模型为卷积神经网络模型。
7.根据权利要求6所述的方法，其中，所述图像增强模型为轻量级模型，所述图像增强模型中卷积层的层数小于七层。
8.根据权利要求7所述的方法，其中，所述图像增强模型包括三层卷积层，以及三层预测层。
9.一种目标检测方法，包括：
通过训练的图像增强模型，对待处理图像进行光照增强处理，得到光照增强图像，其中，所述图像增强模型至少根据成对损失值进行训练，所述成对损失值根据光照增强图像与样本图像之间的第一差异值，和光照增强图像与标注图像之间的第二差异值计算得到，所述成对损失值与所述第一差异值成反比，与所述第二差异值成正比；
对光照增强图像进行目标检测，得到目标检测结果。
10.根据权利要求9所述的方法，其中，所述图像增强模型为轻量级模型，所述图像增强模型中卷积层的层数小于七层，所述通过训练的图像增强模型，对待处理图像进行光照增强处理，得到光照增强图像，包括：
通过轻量级的图像增强模型，对待处理图像进行实时光照增强处理，得到光照增强图像。
11.一种渲染方法，包括：
获得目标场景的待处理图像；
通过图像增强模型对所述待处理图像进行光照增强处理，得到光照增强图像，其中，所述图像增强模型通过如上所述的权利要求1-9任一项所述的方法训练；
根据所述光照增强图像对目标场景进行增强现实渲染。
12.根据权利要求11所述的方法，其中，所述方法还包括：
根据所述光照增强图像进行目标识别，得到目标识别结果；
所述根据所述光照增强图像对目标场景进行增强现实渲染，包括：
利用利用增强现实技术，对将所述光照增强图像以及所述目标识别结果添加至所述目标场景后增强现实场景进行渲染。
13.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-12中任一所述的方法。
14.一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如权利要求1-12中任一所述方法。
CN202210372165.6A 2022-04-11 2022-04-11 模型训练、目标检测及渲染方法、存储介质、程序产品 Pending CN114692775A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210372165.6A CN114692775A (zh) 2022-04-11 2022-04-11 模型训练、目标检测及渲染方法、存储介质、程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210372165.6A CN114692775A (zh) 2022-04-11 2022-04-11 模型训练、目标检测及渲染方法、存储介质、程序产品

Publications (1)

Publication Number Publication Date
CN114692775A true CN114692775A (zh) 2022-07-01

Family

ID=82142555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210372165.6A Pending CN114692775A (zh) 2022-04-11 2022-04-11 模型训练、目标检测及渲染方法、存储介质、程序产品

Country Status (1)

Country Link
CN (1) CN114692775A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188276A (zh) * 2023-05-04 2023-05-30 深圳赛陆医疗科技有限公司 用于基因样本的图像处理方法、图像处理装置和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188276A (zh) * 2023-05-04 2023-05-30 深圳赛陆医疗科技有限公司 用于基因样本的图像处理方法、图像处理装置和存储介质

Similar Documents

Publication Publication Date Title
CN107274445B (zh) 一种图像深度估计方法和系统
Son et al. Real-time illumination invariant lane detection for lane departure warning system
EP3264367A2 (en) Image generating apparatus, image generating method, and recording medium
CN109815850A (zh) 基于深度学习的虹膜图像分割及定位方法、系统、装置
WO2017054314A1 (zh) 一种建筑物高度计算方法、装置和存储介质
CN106600625A (zh) 检测小型生物的图像处理方法及装置
CN106821694A (zh) 一种基于智能手机的移动导盲系统
CN109409186B (zh) 用于对象检测和通知的驾驶员辅助系统和方法
CN115861380B (zh) 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置
CN112614136A (zh) 一种红外小目标实时实例分割方法及装置
Chen et al. Outdoor shadow estimating using multiclass geometric decomposition based on BLS
CN111881832A (zh) 车道目标检测方法、装置、设备及计算机可读存储介质
CN112947419A (zh) 避障方法、装置及设备
CN115661522A (zh) 一种基于视觉语义矢量的车辆导引方法、系统、设备和介质
CN112950589A (zh) 一种多尺度卷积神经网络的暗通道先验去雾算法
CN114692775A (zh) 模型训练、目标检测及渲染方法、存储介质、程序产品
CN115049954A (zh) 目标识别方法、装置、电子设备和介质
Manoharan et al. Image processing-based framework for continuous lane recognition in mountainous roads for driver assistance system
CN115984712A (zh) 基于多尺度特征的遥感图像小目标检测方法及系统
Romic et al. Pedestrian crosswalk detection using a column and row structure analysis in assistance systems for the visually impaired
CN115147450A (zh) 基于运动帧差图像的移动目标检测方法及检测装置
CN115131827A (zh) 客流人体检测方法、装置、存储介质及客流统计相机
Chen et al. Autonomous recognition and positioning of shield segments based on red, green, blue and depth information
CN113780189A (zh) 一种基于U-Net改进的车道线检测方法
JP7092616B2 (ja) 物体検出装置、物体検出方法、及び物体検出プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240218

Address after: Room 553, 5th Floor, Building 3, No. 969 Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 311121

Applicant after: Hangzhou Alibaba Cloud Feitian Information Technology Co.,Ltd.

Country or region after: China

Address before: 310023 Room 516, floor 5, building 3, No. 969, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Applicant before: Alibaba Dharma Institute (Hangzhou) Technology Co.,Ltd.

Country or region before: China