CN111191682A - 网络模型训练方法、黑夜图像的目标检测方法及相关设备 - Google Patents

网络模型训练方法、黑夜图像的目标检测方法及相关设备 Download PDF

Info

Publication number
CN111191682A
CN111191682A CN201911277134.7A CN201911277134A CN111191682A CN 111191682 A CN111191682 A CN 111191682A CN 201911277134 A CN201911277134 A CN 201911277134A CN 111191682 A CN111191682 A CN 111191682A
Authority
CN
China
Prior art keywords
image
night
network
training
daytime
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911277134.7A
Other languages
English (en)
Inventor
欧勇盛
瞿炀炀
熊荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201911277134.7A priority Critical patent/CN111191682A/zh
Publication of CN111191682A publication Critical patent/CN111191682A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种网络模型训练方法、黑夜图像的目标检测方法及相关设备。该网络模型训练方法包括：将黑夜训练图像输入呈对抗关系的白天图像生成网络和白天图像鉴别网络，得到白天转换图像；将白天转换图像输入呈对抗关系的黑夜图像生成网络和黑夜图像鉴别网络，得到黑夜目标图像；将白天训练图像输入呈对抗关系的黑夜图像生成网络和黑夜图像鉴别网络，得到黑夜转换图像；将黑夜转换图像输入呈对抗关系的白天图像生成网络和白天图像鉴别网络，得到白天目标图像；计算损失函数；以损失函数的值变小为目标训练网络模型，直至训练满足要求。本申请用以得到一种利于自动驾驶汽车在黑夜环境下进行目标图像检测的网络模型。

Description

网络模型训练方法、黑夜图像的目标检测方法及相关设备
技术领域
本申请涉及自动驾驶技术领域，特别是涉及一种网络模型训练方法、黑夜图像的目标检测方法及相关设备。
背景技术
随着人类生活的进步，汽车朝向智能化方向发展，例如自动驾驶汽车。目前汽车的自动驾驶技术，主要依靠视觉与激光雷达对目标进行检测，但是在黑夜、光线较差以及雨天等场景下，依靠视觉与激光雷达的目标检测结果不够理想，影响了自动驾驶汽车的正常行驶。
发明内容
本申请提供了一种网络模型的训练方法、黑夜图像的目标检测方法及相关设备，主要解决的技术问题是如何训练得到利于自动驾驶汽车在黑夜环境下进行目标检测的网络模型。
为解决上述技术问题，本申请提供了一种网络模型的训练方法，所述网络模型的训练方法包括：
将黑夜训练图像输入呈对抗关系的白天图像生成网络和白天图像鉴别网络，得到白天转换图像；
将所述白天转换图像输入呈对抗关系的黑夜图像生成网络和黑夜图像鉴别网络，得到黑夜目标图像；
将白天训练图像输入呈对抗关系的黑夜图像生成网络和黑夜图像鉴别网络，得到黑夜转换图像；
将所述黑夜转换图像输入呈对抗关系的白天图像生成网络和白天图像鉴别网络，得到白天目标图像；
计算损失函数，所述损失函数包括所述白天图像生成网络、所述白天图像鉴别网络、所述黑夜图像生成网络和所述黑夜图像鉴别网络的损失；
以所述损失函数的值变小为目标训练所述网络模型，直至训练满足要求。
为解决上述技术问题，本申请提供了另一种黑夜图像的目标检测方法，所述黑夜图像的目标检测方法包括：
获取待检测黑夜图像；
将所述待检测黑夜图像输入到白天图像生成网络，获得目标白天图像，其中，所述白天图像生成网络为权利要求1-6中任一项所述的方法所训练的白天图像生成网络；
对所述目标白天图像进行目标检测。
为解决上述技术问题，本申请提供了一种终端设备，所述设备包括存储器以及与所述存储器耦接的处理器；
所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的网络模型的训练方法和/或上述的黑夜图像的目标检测方法。
为解决上述技术问题，本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如上述的网络模型的训练方法和/或上述的黑夜图像的目标检测方法。
本申请的有益效果是：将黑夜训练图像输入呈对抗关系的白天图像生成网络和白天图像鉴别网络，得到白天转换图像；将白天转换图像输入呈对抗关系的黑夜图像生成网络和黑夜图像鉴别网络，得到黑夜目标图像；将白天训练图像输入呈对抗关系的黑夜图像生成网络和黑夜图像鉴别网络，得到黑夜转换图像；将黑夜转换图像输入呈对抗关系的白天图像生成网络和白天图像鉴别网络，得到白天目标图像；计算损失函数；以损失函数的值变小为目标训练网络模型，直至训练满足要求。本申请的网络模型训练方法通过对抗网络将黑夜图像转化为白天图像，并再次生成黑夜图像，将白天图像转化为黑夜图像，并再次生成白天图像，从而计算损失函数以得到网络训练模型，以利用网络训练模型中的白天图像生成网络对黑夜图像进行处理，继而通过检测白天图像中的目标以确定黑夜图像中的目标。将其利用于自动驾驶汽车中，可实现在黑夜环境中能够准确检测黑夜图像中的目标，提高目标的检测效率，避免对黑夜环境下的自动驾驶造成影响。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的网络模型训练方法一实施例的流程示意图；
图2是本申请提供的黑夜图像的目标检测方法一实施例的流程示意图；
图3是本申请提供的移动终端一实施例的结构示意图；
图4是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提出了一种网络模型的训练方法，具体请参阅图1，图1是本申请提供的网络模型的训练方法一实施例的流程示意图。本实施例中网络模型的训练方法可以应用于自动驾驶的终端设备，也可应用于具有数据处理能力的服务器。本实施例的网络模型的训练方法具体包括以下步骤：
S101：将黑夜训练图像输入呈对抗关系的白天图像生成网络和白天图像鉴别网络，得到白天转换图像。
本申请是通过白天的生成式对抗网络对输入的黑夜训练图像进行生成与鉴别，以得到白天转化图像。生成式对抗网络为一种深度学习的模型，该模型包括生成网络模型和鉴别网络模型，通过生成网络模型和鉴别网络模型对输入的训练图像进行互相的博弈学习产生相当好的转化图像，其中，生成网络模型目的是尽量生成真实的图像，鉴别网络模型目的是尽量将生成的图像与输入的真实图像相区别。
为了得到黑夜训练图像，以将黑夜训练图像输入呈对抗关系的白天对抗网网络得到白天转换图像。本实施例可通过在自动驾驶汽车的车头设置摄像头，拍摄汽车在行车过程中的黑夜环境图像，将黑夜环境图像作为黑夜训练图像输入到对抗网络，得到白天转换图像。采用自动驾驶汽车的车头设置摄像头的方式获取黑夜训练图像，可在汽车启动前控制摄像头对行车周围的环境进行连续拍摄，也可以为已通过控制摄像头获取的黑夜环境图像，该黑夜环境图像存储于网络训练模型应用的自动驾驶设备中。其中，摄像头可安装在汽车车头的任意位置，使摄像头足以拍摄行车周围的黑夜环境图像，摄像头数量可设置一个或多个，本实施例中，将摄像头安装在行车车头顶部上，以便摄像头获取较好的黑夜训练图像。
S102：将白天转换图像输入呈对抗关系的黑夜图像生成网络和黑夜图像鉴别网络，得到黑夜目标图像。
为了得到S101中输入的黑夜图像中的目标，即黑夜目标图像，需将S101中得到的白天转换图像输入到呈对抗关系的黑夜对抗网络中，以得到黑夜目标图像。黑夜对抗网络中包括黑夜图像生成网络和黑夜图像鉴别网络，黑夜图像生成网络旨在将输入的白天转换图像生成尽可能真实的黑夜目标图像，黑夜鉴别网络旨在将生成的尽可能真实的黑夜目标图像与输入的黑夜训练图像相区别。
S103：将白天训练图像输入呈对抗关系的黑夜图像生成网络和黑夜图像鉴别网络，得到黑夜转换图像。
本实施例S103中白天训练图像输入的呈对抗关系的黑夜对抗网络与S102中的黑夜对抗网络相同，都包括黑夜图像生成网络和黑夜图像鉴别网络。黑夜图像生成网络和黑夜图像鉴别网络的目的在于将白天训练图像输入其中，以训练得到黑夜转换图像。
为了得到黑夜转换图像，需将白天训练图像输入对抗网络获取。因此，对于白天训练图像的获取，本实施例可采用S101中获取黑夜训练图像的方式，在汽车车头设置摄像头获取，以得到不同场景下的白天环境图像，或者将存储于网络训练模型应用的自动驾驶设备里的白天环境图像，作为白天训练图像。不同场景下的白天环境图像是指作为白天训练图像的图像可来自于任意场景下的白天环境图像，无需与S101中的黑夜训练图像为同一场景下的图像，便于了图像数据的获取。
针对于白天训练图像，在具体实施例中，可将S101中得到的白天转化图像作为白天训练图像。在本实施例中，对白天训练图像的来源不作限定。
S104：将黑夜转换图像输入呈对抗关系的白天图像生成网络和白天图像鉴别网络，得到白天目标图像。
基于S103中得到的黑夜转换图像，将得到的黑夜转换图像输入白天的对抗网络中，以得到白天目标图像。白天的对抗网络包括白天图像生成网络和白天图像鉴别网络。
S105：计算损失函数。
损失函数为一种将随机事件或其有关随机变量的取值映射为非负实数以表示事件的风险或损失的函数。在本实施例中，损失函数是用来表示预测图像与实际图像间的差距程度，以便判断生成的图像和目标图像间的差距，即损失，并将损失回传，便于下次朝着损失的方向计算并缩小损失。
其中，损失函数包括白天图像生成网络、白天图像鉴别网络、黑夜图像生成网络和黑夜图像鉴别网络的损失。具体地，白天图像生成网络的损失为S101和S104中白天图像生成网络的损失之和，白天图像鉴别网络的损失为S101和S104中白天图像鉴别网络的损失之和，黑夜图像生成网络的损失为S102和S103中黑夜图像生成网络的损失之和，黑夜图像鉴别网络的损失为S102和S103中黑夜图像鉴别网络的损失之和。本实施例中，计算的损失函数为S101和S104中白天图像生成网络的损失、S101和S104中白天图像鉴别网络的损失、S102和S103中黑夜图像生成网络的损失、S102和S103中黑夜图像鉴别网络的损失总和。损失函数的计算有利于训练网络模型朝着损失函数损失的方向计算，从而缩小损失函数的损失，力求将黑夜图像输入模型以得到接近真实的黑夜目标图像，便于准确检测出黑夜目标图像中的目标，提高自动驾驶的安全性。
S106：以损失函数的值变小为目标训练网络模型，直至训练满足要求。
基于S101-S105对网络模型建立与以损失函数的值变小为目标的训练，以得到满足要求的网络模型。网络模型由上述生成网络模型和鉴别网络模型组成，生成网络模型包括了白天图像生成网络和黑夜图像生成网络组成的模型，鉴别网络模型包括了白天图像鉴别网络和黑夜图像鉴别网络组成的模型。本实施例通过黑夜训练图像和白天训练图像对网络模型的训练，得到满足要求的网络模型。其中，满足要求的网络模型是指训练后计算的损失函数值在预设损失阈值范围内的模型，当计算的损失函数值变小过程中的损失函数值不满足损失阈值范围时，可重复循环训练网络模型，直到损失函数的值满足要求时，获取网络模型。损失阈值范围可根据技术人员的经验进行设置，在本实施例中，对损失阈值范围不作限定。
本实施例中，将黑夜训练图像输入呈对抗关系的白天图像生成网络和白天图像鉴别网络，得到白天转换图像；将白天转换图像输入呈对抗关系的黑夜图像生成网络和黑夜图像鉴别网络，得到黑夜目标图像；将白天训练图像输入呈对抗关系的黑夜图像生成网络和黑夜图像鉴别网络，得到黑夜转换图像；将黑夜转换图像输入呈对抗关系的白天图像生成网络和白天图像鉴别网络，得到白天目标图像；计算损失函数；以损失函数的值变小为目标训练网络模型，直至训练满足要求。本实施例的网络模型训练方法通过将黑夜训练图像和白天训练图像输入到相应的对抗网络中以得到对应的图像，重复训练网络模型，计算损失函数并判断损失函数是否满足要求，以得到满足要求的损失函数对应的网络模型，损失函数的计算有利于训练网络模型朝着损失函数损失的方向计算，从而缩小损失函数的损失，力求将黑夜图像输入模型以得到接近真实的黑夜目标图像，便于准确检测出黑夜目标图像中的目标，提高自动驾驶的安全性；同时，应用呈对抗关系的生成网络和鉴别网络对网络模型进行训练，以得到满足要求的网络模型，以利用网络训练模型中的白天图像生成网络对黑夜图像进行处理，继而通过检测白天图像中的目标以确定黑夜图像中的目标。将其利用于自动驾驶汽车中，可实现在黑夜环境中能够准确检测黑夜图像中的目标，提高目标的检测效率，避免对黑夜环境下的自动驾驶造成影响。
进一步地，对于步骤S101-S105中所述的白天图像鉴别网络和黑夜图像鉴别网络，本实施例中具体采用图像边缘鉴别器和图像灰度鉴别器对白天图像鉴别网络和黑夜图像鉴别网络中的白天目标图像或黑夜目标图像进行鉴别。也就是说，白天图像鉴别网络中包括图像边缘鉴别器和图像灰度鉴别器，白天图像鉴别网络中的图像边缘鉴别器和图像灰度鉴别器均对白天目标图像进行鉴别；黑夜图像鉴别网络中也包括图像边缘鉴别器和图像灰度鉴别器，黑夜图像鉴别网络中的图像边缘鉴别器和图像灰度鉴别器均对黑夜目标图像进行鉴别。
图像边缘鉴别器用于检测白天目标图像和/或黑夜目标图像中目标的边缘，图像灰度鉴别器用于检测白天目标图像和/或黑夜目标图像中目标的灰度，目的在于使网络模型训练更加地关注白天目标图像和/或黑夜目标图像中目标的形状及颜色变化，利于白天目标图像和/或黑夜目标图像中的目标检测，提高目标检测的效率。
为了加强生成网络模型对目标检测注重特征的关注度，本实施例中的白天图像生成网络和黑夜图像生成网络均包括与注意力机制相关的计算向量。生成网络的注意力机制原理为学习权重分布，即白天训练图像和/或黑夜训练图像在输入对应的图像生成网络时，网络对图像不同特征的计算关注度不同。生成网络的注意力机制相关的计算向量的设置，使得白天图像生成网络和黑夜图像生成网络在计算生成图像时按需要关注的特征方向计算。
具体地，白天图像生成网络和黑夜图像生成网络均包括编码器和解码器，编码器用于提取训练图像中的特征，得到特征向量；解码器用于从特征向量中还原出特征并生成白天目标图像或黑夜目标图像
进一步地，对于步骤S106以损失函数的值变小为目标训练网络模型，直至训练满足要求，在本实施例中可通过规定网络模型循环训练的次数或者训练时长，以得到网络模型，规定循环训练的次数或时间得到的最终网络模型即为所需网络模型，此时不考虑损失函数的值是否在预设损失阈值内，损失函数的值只作为生成图像真实程度的参考。
具体地，本实施例中采用随机梯度下降法来训练网络模型，直至满足要求。随机梯度下降算法通过随机给定的初始化值a，计算出相应的函数值X(a)，重复给定a，并重复计算X(a)，直至X(a)约等于预设最小阈值。随机梯度下降算法在计算下降最快的方向时随机选取数值计算，而不是计算全部训练数据集中的数据，加快了迭代计算的速度。
本实施例中，将黑夜训练图像输入呈对抗关系的白天图像生成网络和白天图像鉴别网络，得到白天转换图像；将白天转换图像输入呈对抗关系的黑夜图像生成网络和黑夜图像鉴别网络，得到黑夜目标图像；将白天训练图像输入呈对抗关系的黑夜图像生成网络和黑夜图像鉴别网络，得到黑夜转换图像；将黑夜转换图像输入呈对抗关系的白天图像生成网络和白天图像鉴别网络，得到白天目标图像；计算损失函数；以损失函数的值变小为目标训练网络模型，直至训练满足要求。本申请采用图像边缘鉴别器和图像灰度鉴别器对白天图像鉴别网络和黑夜图像鉴别网络中的白天目标图像或黑夜目标图像进行鉴别，使网络模型训练更加地关注白天目标图像和/或黑夜目标图像中目标的形状及颜色变化，便于白天目标图像和/或黑夜目标图像中目标检测，提高目标检测的效率；同时，在白天图像生成网络和黑夜图像生成网络均设置与注意力机制相关的计算向量，加强生成网络模型对目标检测注重特征的关注度；并且，采用随机梯度下降法来训练所述网络模型，加快了迭代训练的速度，利于得到网络模型，以利用网络训练模型中的白天图像生成网络对黑夜图像进行处理，继而通过检测白天图像中的目标以确定黑夜图像中的目标。将其利用于自动驾驶汽车中，可实现在黑夜环境中能够准确检测黑夜图像中的目标，提高目标的检测效率，避免对黑夜环境下的自动驾驶造成影响。
在另一实施例中，可参阅图2，图2为本申请提供的黑夜图像的目标检测方法的一实施例的流程示意图。本实施例黑夜图像的目标检测方法可应用于上述网络模型的训练方法中训练所得的网络模型，从而实现精确检测黑夜图像中的目标。下面以用于黑夜图像目标检测的服务器为例，介绍本申请提供的黑夜图像的目标检测方法，本实施例黑夜图像的目标检测方法具体包括以下步骤：
S201：获取待检测黑夜图像。
本实施例获取待检测黑夜图像与上述实施例S101相似，在此不再赘述。
S202：将待检测黑夜图像输入到白天图像生成网络，获得目标白天图像。
S203：对目标白天图像进行目标检测。
为了对生成的白天图像中的目标进行精确检测，本实施例中具体利用Yolo3目标检测网络或Fastet RCNN目标检测网络对目标白天图像进行目标检测。
本实施例，获取待检测黑夜图像，将待检测黑夜图像输入到白天图像生成网络，获得目标白天图像，对目标白天图像进行目标检测，实现了精确快速地检测黑夜图像中的目标，提高了黑夜环境下自动驾驶的目标检测效率，避免对黑夜环境下的自动驾驶造成影响。
为实现上述实施例的网络模型训练方法和/或黑夜图像的目标检测方法，本申请提出了另一种终端设备，具体请参阅图3，图3是本申请提供的终端设备一实施例的结构示意图。
终端设备300包括存储器31和处理器32，其中，存储器31和处理器32耦接。
存储器31用于存储程序数据，处理器32用于执行程序数据以实现上述实施例的网络模型训练方法和/或黑夜图像的目标检测方法。
在本实施例中，处理器32还可以称为CPU(Central Processing Unit，中央处理单元)。处理器32可能是一种集成电路芯片，具有信号的处理能力。处理器32还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器32也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质400，如图4所示，计算机存储介质400用于存储程序数据41，程序数据41在被处理器执行时，用以实现如本申请方法实施例中所述的网络模型训练方法和/或黑夜图像的目标检测方法。
本申请网络模型训练方法和/或黑夜图像的目标检测方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种网络模型的训练方法，其特征在于，所述方法包括：
将黑夜训练图像输入呈对抗关系的白天图像生成网络和白天图像鉴别网络，得到白天转换图像；
将所述白天转换图像输入呈对抗关系的黑夜图像生成网络和黑夜图像鉴别网络，得到黑夜目标图像；
将白天训练图像输入呈对抗关系的黑夜图像生成网络和黑夜图像鉴别网络，得到黑夜转换图像；
将所述黑夜转换图像输入呈对抗关系的白天图像生成网络和白天图像鉴别网络，得到白天目标图像；
计算损失函数，所述损失函数包括所述白天图像生成网络、所述白天图像鉴别网络、所述黑夜图像生成网络和所述黑夜图像鉴别网络的损失；
以所述损失函数的值变小为目标训练所述网络模型，直至训练满足要求。
2.根据权利要求1所述的训练方法，其特征在于，所述白天图像鉴别网络和所述黑夜图像鉴别网络均包括图像边缘鉴别器和图像灰度鉴别器。
3.根据权利要求1所述的训练方法，其特征在于，所述白天图像生成网络和所述黑夜图像生成网络均包括与注意力机制相关的计算向量。
4.根据权利要求1所述的训练方法，其特征在于，所述以所述损失函数的值变小为目标训练所述网络模型，直至训练满足要求，包括：
利用随机梯度下降法，训练所述网络模型，直至训练满足要求。
5.根据权利要求1所述的训练方法，其特征在于，所述白天图像生成网络和所述黑夜图像生成网络均包括编码器和解码器，所述编码器用于提取所述训练图像中的特征，得到特征向量；所述解码器用于从所述特征向量中还原出特征并生成目标图像。
6.根据权利要求1所述的训练方法，其特征在于，以所述损失函数的值变小为目标训练所述网络模型，直至训练满足要求，进一步包括：
直至所述损失函数的值满足要求；或者
直至所述网络模型的训练次数和/或训练时长满足要求。
7.一种黑夜图像的目标检测方法，其特征在于，所述检测方法包括：
获取待检测黑夜图像；
将所述待检测黑夜图像输入到白天图像生成网络，获得目标白天图像，其中，所述白天图像生成网络为权利要求1-6中任一项所述的方法所训练的白天图像生成网络；
对所述目标白天图像进行目标检测。
8.根据权利要求7所述的方法，其特征在于，所述对所述目标白天图像进行目标检测，包括：
利用Yolo3目标检测网络或Fastet RCNN目标检测网络对所述目标白天图像进行目标检测。
9.一种终端设备，其特征在于，所述设备包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1～6任一项所述的网络模型的训练方法和/或权利要求7-8所述的黑夜图像的目标检测方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如权利要求1～6任一项所述的网络模型的训练方法和/或权利要求7-8所述的黑夜图像的目标检测方法。
CN201911277134.7A 2019-12-12 2019-12-12 网络模型训练方法、黑夜图像的目标检测方法及相关设备 Pending CN111191682A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911277134.7A CN111191682A (zh) 2019-12-12 2019-12-12 网络模型训练方法、黑夜图像的目标检测方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911277134.7A CN111191682A (zh) 2019-12-12 2019-12-12 网络模型训练方法、黑夜图像的目标检测方法及相关设备

Publications (1)

Publication Number Publication Date
CN111191682A true CN111191682A (zh) 2020-05-22

Family

ID=70709196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911277134.7A Pending CN111191682A (zh) 2019-12-12 2019-12-12 网络模型训练方法、黑夜图像的目标检测方法及相关设备

Country Status (1)

Country Link
CN (1) CN111191682A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022067874A1 (zh) * 2020-09-29 2022-04-07 中国科学院深圳先进技术研究院 图像数据增强网络的训练方法及其训练装置、存储介质
CN114532919A (zh) * 2022-01-26 2022-05-27 深圳市杉川机器人有限公司 多模态目标检测方法、装置、扫地机及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491771A (zh) * 2017-09-21 2017-12-19 百度在线网络技术（北京）有限公司 人脸检测方法和装置
CN110222588A (zh) * 2019-05-15 2019-09-10 合肥进毅智能技术有限公司 一种人脸素描图像衰老合成方法、装置及存储介质
CN110276745A (zh) * 2019-05-22 2019-09-24 南京航空航天大学 一种基于生成对抗网络的病理图像检测算法
CN110288537A (zh) * 2019-05-20 2019-09-27 湖南大学 基于自注意力的深度生成式对抗网络的人脸图像补全方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491771A (zh) * 2017-09-21 2017-12-19 百度在线网络技术（北京）有限公司 人脸检测方法和装置
CN110222588A (zh) * 2019-05-15 2019-09-10 合肥进毅智能技术有限公司 一种人脸素描图像衰老合成方法、装置及存储介质
CN110288537A (zh) * 2019-05-20 2019-09-27 湖南大学 基于自注意力的深度生成式对抗网络的人脸图像补全方法
CN110276745A (zh) * 2019-05-22 2019-09-24 南京航空航天大学 一种基于生成对抗网络的病理图像检测算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ASHA ANOOSHEH ET AL: ""Night-to-Day Image Translation for Retrieval-based Localization"", pages 1 - 8 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022067874A1 (zh) * 2020-09-29 2022-04-07 中国科学院深圳先进技术研究院 图像数据增强网络的训练方法及其训练装置、存储介质
CN114532919A (zh) * 2022-01-26 2022-05-27 深圳市杉川机器人有限公司 多模态目标检测方法、装置、扫地机及存储介质

Similar Documents

Publication Publication Date Title
CN113056769A (zh) 利用软交叉熵损失的语义分段
EP3712841A1 (en) Image processing method, image processing apparatus, and computer-readable recording medium
CN110991468A (zh) 三维目标检测和智能行驶方法、装置、设备
US20190251396A1 (en) Method for processing input on basis of neural network learning and apparatus therefor
CN112489126B (zh) 车辆关键点信息检测方法、车辆控制方法及装置、车辆
JP5856682B2 (ja) 対象物識別装置
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
CN108805016B (zh) 一种头肩区域检测方法及装置
CN109766828A (zh) 一种车辆目标分割方法、装置及通信设备
CN111191682A (zh) 网络模型训练方法、黑夜图像的目标检测方法及相关设备
CN112926461B (zh) 神经网络训练、行驶控制方法及装置
CN112884147A (zh) 神经网络训练方法、图像处理方法、装置及电子设备
CN111144361A (zh) 一种基于二值化cgan网络的公路车道检测方法
CN112052823A (zh) 目标检测方法和装置
CN116993987A (zh) 一种基于轻量级神经网络模型的图像语义分割方法及系统
JP5360143B2 (ja) 走行場面認識モデル生成装置、運転支援装置、及びプログラム
CN116363628A (zh) 标志检测方法、装置、非易失性存储介质及计算机设备
CN112364693B (zh) 基于双目视觉的障碍识别方法、装置、设备及存储介质
CN114299300A (zh) 一种车道线检测方法、装置、计算机设备和存储介质
CN115346184A (zh) 一种车道信息检测方法、终端及计算机存储介质
CN111444756B (zh) 危险行驶场景辨识平台、方法及存储介质
CN114511702A (zh) 一种基于多尺度分权注意力的遥感图像分割方法和系统
CN112529917A (zh) 一种三维目标分割方法、装置、设备和存储介质
CN116343159B (zh) 一种非结构化场景可通行区域检测方法、装置及存储介质
CN110942005A (zh) 物体识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination