CN116502706B - 一种面向车道线检测的知识蒸馏方法 - Google Patents

一种面向车道线检测的知识蒸馏方法 Download PDF

Info

Publication number
CN116502706B
CN116502706B CN202310756149.1A CN202310756149A CN116502706B CN 116502706 B CN116502706 B CN 116502706B CN 202310756149 A CN202310756149 A CN 202310756149A CN 116502706 B CN116502706 B CN 116502706B
Authority
CN
China
Prior art keywords
neural network
convolutional neural
student
teacher
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310756149.1A
Other languages
English (en)
Other versions
CN116502706A (zh
Inventor
朱凤华
张欢
郑奎
沙尧尧
李崇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Pilot Intelligent Technology Suzhou Co ltd
Original Assignee
Zhongke Pilot Intelligent Technology Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Pilot Intelligent Technology Suzhou Co ltd filed Critical Zhongke Pilot Intelligent Technology Suzhou Co ltd
Priority to CN202310756149.1A priority Critical patent/CN116502706B/zh
Publication of CN116502706A publication Critical patent/CN116502706A/zh
Application granted granted Critical
Publication of CN116502706B publication Critical patent/CN116502706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向车道线检测的知识蒸馏方法，其包括学生卷积神经网络和教师卷积神经网络，其包括步骤S10和/或步骤S20；其中，步骤S10是基于中间过程特征图的特征关系相关性的知识蒸馏，步骤S20是基于训练结果特征图的融合多尺度对抗网络的知识蒸馏。本发明提出了一种面向车道线检测模型的融合特征关系相关性以及多尺度对抗网络的知识蒸馏方法，用于解决语义分割小模型泛化能力弱、语义信息不连续的问题。

Description

一种面向车道线检测的知识蒸馏方法
技术领域
本发明涉及人工智能领域，尤其涉及一种面向车道线检测的知识蒸馏方法。
背景技术
语义分割旨在识别图像中的像素语义类别，被视为智能场景理解的重要一步。语义分割任务需要为给定输入图像的每个像素分配类别标签或回归特定值，以形成结构化输出。通常，这些任务对比图像级预测问题，需要具有大容量的网络才能实现令人满意的精度，对硬件资源要求较高。边缘设备资源受限无法很好满足大型网络的硬件需求，所以迫切需要压缩语义分割模型、降低模型资源需求、提升模型运行速度，尤其是像自动驾驶中车道线检测这样实时性要求很高的边缘计算任务。
知识蒸馏(Knowledge Distillation)提供了一种吸引人的方式，通过从更大容量的受过训练的教师模型中转移知识来促进小模型的训练。虽然现有的蒸馏方法在许多分类任务中显示出有效性，但我们发现它们在车道线语义分割任务中检测对多尺度信息以及特征关系的相关性方面仍然不足。具体而言，对于车道线的语义分割模型既要有全局的整体语义分割又要有局部的细节纹理特征识别。车道线在交通场景中的显著特点是分割标签通常是稀疏的（例如，在大背景下非常薄且长的车道标记）且有序分布，这样的特点加大了车道线分割难度。对于小型网络，利用结构关系提供必要的约束或调节以对抗监管的稀疏性至关重要。然而，这种特征关系的相关性在以前的蒸馏方法中很少被利用。缺乏特征关系的相关性使得小模型难以捕捉时断时续的空间对象，难以应对依赖全局结构的特征提取。
发明内容
本发明的目的在于提供一种识别准确率高的面向车道线检测的知识蒸馏方法，以通过过程学习和结果学习的两种途径，提升基于图像语义分割的轻量级网络对车道线的检测精度。
为实现上述目的，本发明提供如下技术方案：
一种面向车道线检测的知识蒸馏方法，其包括学生卷积神经网络和教师卷积神经网络，其包括步骤S10，所述步骤S10是基于中间过程特征图的特征关系相关性的知识蒸馏；
所述步骤S10包括以下子步骤：
S101，对齐学生卷积神经网络与教师卷积神经网络的中间过程特征图：将训练图像分别输入学生卷积神经网络和教师卷积神经网络，以获得训练图像上的学生卷积神经网络、教师卷积神经网络的中间过程特征图,
设定从学生卷积神经网络提取的特征图记为，尺寸大小为/>其中，cs,ws,hs分别为：学生卷积神经网络提取的特征图的通道、宽度、高度，从教师卷积神经网络提取出的特征图记为/>，尺寸大小为/>；其中，ct,wt,ht分别为：教师卷积神经网络提取的特征图的通道、宽度、高度；
S102，缩放学生特征图来使其符合教师特征图的空间尺寸/>，得到/>，这一步定义为：/>重新缩放方法/>的使用取决于/>与/>比较：/>小于/>时采用放大，/>大于 />时采用缩小，相同时不运行；
S103，构建特征关系图：首先将大小为的特征图ε，沿通道c进行绝对值求和，以生成特征关系图/>，其过程定义为：/>，/>，，其中，w是特征图ε的宽度,h是特征图ε的高度,R是映射的特征图,s代表学生卷积神经网络,t 代表教师卷积神经网络,i代表学生卷积神经网络的像素，j代表教师卷积神经网络的像素，/>表示特征图/>的第/>个矩阵，/>为神经网络某层各神经元激活的绝对值和；,/>分别代表从学生卷积神经网络和教师卷积神经网络提取的对应位置的特征图；/>，/>则分别代表学生卷积神经网络和教师卷积神经网络的特征关系图；
S104，特征关系相关性计算：通过使用Gram矩阵计算特征关系的相关性：，/>，/>其中，/>是层/>中矢量化特征图/>和/>之间的内积，/>代表学生卷积神经网络的特征关系相关性，/>代表教师卷积神经网络的特征关系相关性，/>代表学生卷积神经网络与教师卷积神经网络两者特征关系相关性的距离，即特征图的特征关系损失。
优选的，所述步骤S101中，从所述学生卷积神经网络的浅层提取的特征图；从所述教师卷积神经网络对应的浅层位置提取出的特征图。
优选的，所述步骤S101中，从所述学生卷积神经网络的深层提取的特征图；从所述教师卷积神经网络对应的深层位置提取出的特征图。
优选的，所述步骤S101中，训练所述教师卷积神经网络时参数冻结，在训练过程中不进行参数更新；训练所述学生卷积神经网络时，进行参数更新。
优选的，还包括步骤S20，所述步骤S20是基于训练结果特征图的融合多尺度对抗网络的知识蒸馏，所述步骤S20包括以下子步骤：
S201，包括由一个生成器和两个判别器组成的多尺度对抗网络，生成器为学生卷积神经网络，判别器为两个结构相同的全卷积网络，全卷积网络由若干个卷积块组成；两个所述判别器输入数据的采样粒度不同，其中以采样粒度大的为全局语义判别器，采样粒度小的为局部细节判别器；
S202，向全局语义判别器输入图片以及真实标签进行N倍下采样,N为自然数，并从学生卷积神经网络的深层语义层中获取结果特征图，将结果特征图的大小采样为原输入图片的1/N，将下采样后真实的图片与真实标签进行级联操作生成结果视为真值，将下采样后真实的图片与结果特征数据进行级联操作生成结果视为假值，让全局语义判别器区分真值与假值；所述真实标签是对输入图片进行人工标注得到的；
S203，局部细节判别器，将教师卷积神经网络的输出结果作为真实标签数据，学生卷积神经网络的输出结果为生成数据，再将真实的图片与教师卷积神经网络输出的结果进行级联操作生成结果视为真值，将真实图片与学生卷积神经网络输出的结果进行级联操作视为假值，让局部细节判别器区分真值与假值。
优选的，所述步骤S203后还包括步骤S204：对抗网络的判别器优化，为判别器添加梯度归一化方法，稳定对抗网络训练，加速对抗网络收敛。
本发明提出一种面向车道线检测模型的知识蒸馏方法，提升了轻量模型的泛化能力，同时解决了面向图像语义分割任务的轻量模型的语义不一致问题，其有益效果是：
通过对教师、学生卷积神经网络的中间过程的特征关系进行提取对比，使得学生卷积神经网络能够绘制出与教师卷积神经网络类似的特征关系；
基于网络中间过程的特征关系蒸馏，不仅可以作用于网络的浅层，同时也可以作用于网络的深层，特征关系相关性提取模块数量由具体任务决定；
对于输入的车道线图片，使用多个判别器提升判别网络的能力，解决对抗网络的过拟合问题；
多个判别器结构相同但是输入的训练图片尺度不同，使得不同判别器拥有不同感受野，多感受野的训练增强了对抗网络训练的稳定性；
使用梯度归一化稳定对抗网络训练，加速对抗网络收敛。
附图说明
图1为本发明的流程框架图。
图2为本发明的特征关系相关性蒸馏原理示意图。
图3为本发明的判别器结构图。
实施方式
下面结合具体实施方式对本发明的技术方案作进一步详细地说明。
在本发明的描述中，需要说明的是，术语“内”、“外”、“上”、“下”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
如图1至图3所示，本发明提出了一种面向车道线检测模型的融合特征关系相关性以及多尺度对抗网络的知识蒸馏方法，用于解决语义分割小模型泛化能力弱、语义信息不连续的问题。具体的，图1为本发明的流程框架图，图2是对图1中的FRD（即特征关系相关性蒸馏）流程的详细说明，图3是对图1中局部细节判别器和全局语义判别器的对抗训练流程的说明。
本发明对输入的图片数据同时用教师卷积神经网络和学生卷积神经网络训练，其中教师卷积神经网络参数冻结，在训练过程中不进行参数更新；学生卷积神经网络参数可训练。利用教师卷积神经网络的训练过程中间特征图和训练输出结果对学生卷积神经网络进行知识蒸馏，构建蒸馏损失，用于辅助提升学生卷积神经网络对图像的语义分割能力。针对中间过程的知识提取问题，本发明首先使用激活函数绝对值大小代表特征图重要性的特点，构建特征关系图。在此基础上，利用Gram矩阵（格拉姆矩阵）提取特征关系图的相关性，构建特征关系相关性的蒸馏损失函数，缓解语义分割模型的学生卷积神经网络空间关系提取能力弱的问题；针对训练结果的知识提取问题，本发明使用多尺度对抗网络的蒸馏方法，该方法由一个生成器，两个判别器组成，生成器为学生卷积神经网络，判别器为两个结构相同的全卷积神经网络，但是不同判别器输入数据的尺度不同，通过多尺度的对抗网络训练增强图像语义分割的语义一致性，提升学生卷积神经网络的车道线检测精度。具体而言：
本发明的一种面向车道线检测的知识蒸馏方法包括学生卷积神经网络和教师卷积神经网络，其包括步骤S10和/或步骤S20；其中，步骤S10是基于中间过程特征图的特征关系相关性的知识蒸馏，步骤S20是基于训练结果特征图的融合多尺度对抗网络的知识蒸馏；
其中，步骤S10包括以下子步骤：
S101，对齐学生卷积神经网络与教师卷积神经网络的中间过程特征图：将训练图像分别输入学生卷积神经网络和教师卷积神经网络，以获得训练图像上的学生卷积神经网络、教师卷积神经网络的中间过程特征图,
设定从学生卷积神经网络提取的特征图记为，尺寸大小为/>，其中，cs,ws,hs分别为：学生卷积神经网络提取的特征图的通道、宽度、高度,
从教师卷积神经网络提取出的特征图记为，尺寸大小为/>；其中，ct,wt,ht分别为：教师卷积神经网络提取的特征图的通道、宽度、高度；
S102，缩放学生特征图来使其符合教师特征图的空间尺寸/>，得到/>，这一步定义为：/>缩放方法/>的使用取决于/>与/>比较， />小于/>时采用放大，/>大于/>时采用缩小，相同时不执行缩放；
S103，构建特征关系图：首先将大小为的特征图ε，沿通道c进行绝对值求和，以生成特征关系图/>，其过程定义为：/>，/>，，其中，w是特征图ε的宽度,h是特征图ε的高度,R是映射的特征图,s代表学生卷积神经网络,t 代表教师卷积神经网络,i代表学生卷积神经网络的像素，j代表教师卷积神经网络的像素，/>表示特征图/>的第/>个矩阵，/>为神经网络某层各神经元激活的绝对值和；,/>分别代表从学生卷积神经网络和教师卷积神经网络提取的对应位置的特征图；/>，/>则分别代表学生卷积神经网络和教师卷积神经网络的特征关系图；
S104，特征关系相关性计算：通过使用Gram矩阵计算特征关系的相关性：，/>，/>其中，/>是层/>中矢量化特征图/>和/>之间的内积，/>代表学生卷积神经网络的特征关系相关性，/>代表教师卷积神经网络的特征关系相关性，/>代表学生卷积神经网络与教师卷积神经网络两者特征关系相关性的距离，即特征图的特征关系损失；如图2所示，特征相关性由概率矩阵表示，最后计算概率矩阵的距离就是计算教师网络与学生网络之间的特征相关性的距离，也即特征相关性损失。
S20，基于训练结果特征图的融合多尺度对抗网络的知识蒸馏包括以下子步骤：
S201，包括由一个生成器和两个判别器组成的多尺度对抗网络，生成器为学生卷积神经网络，判别器为两个结构相同的全卷积网络，全卷积网络由若干个卷积块组成；两个所述判别器输入数据的采样粒度不同，其中以采样粒度大的为全局语义判别器，采样粒度小的为局部细节判别器；
S202，向全局语义判别器输入图片以及真实标签进行N倍下采样,N为自然数，并从学生卷积神经网络的深层语义层中获取结果特征图，将结果特征图的大小采样为原输入图片的1/N，将下采样后真实的图片与真实标签进行级联操作生成结果视为真值，将下采样后真实的图片与结果特征数据进行级联操作生成结果视为假值，让全局语义判别器区分真值与假值；真实标签是对输入图片进行人工标注得到的；
S203，局部细节判别器将教师卷积神经网络的输出结果作为真实标签数据，学生卷积神经网络的输出结果为生成数据，再将真实的图片与教师卷积神经网络输出的结果进行级联操作生成结果视为真值，将真实图片与学生卷积神经网络输出的结果进行级联操作视为假值，让局部细节判别器区分真值与假值。
S204：对抗网络的判别器优化，为判别器添加梯度归一化方法，稳定对抗网络训练，加速对抗网络收敛。
如图3所示，判别器是由几个结构相同的卷积块组成的神经网络，局部细节判别器输出结果阵列，全局语义判别器输出判别结果。
进一步地、本发明对判别器做了优化，除激活函数外，还添加了梯度归一化操作，再配合对抗训练，使得学生网络的输出结果接近教师网络的输出结果。梯度归一化方法实现的伪代码如下：
进一步地，所述步骤S101中，从所述学生卷积神经网络的浅层提取的特征图；从所述教师卷积神经网络对应的浅层位置提取出的特征图。
进一步地，所述步骤S101中，从所述学生卷积神经网络的深层提取的特征图；从所述教师卷积神经网络对应的深层位置提取出的特征图。
进一步地，所述步骤S101中，训练所述教师卷积神经网络时参数冻结，在训练过程中不进行参数更新；训练所述学生卷积神经网络时，进行参数更新。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种面向车道线检测的知识蒸馏方法，其包括学生卷积神经网络和教师卷积神经网络，其特征在于：其包括步骤S10，所述步骤S10是基于中间过程特征图的特征关系相关性的知识蒸馏；
所述步骤S10包括以下子步骤：
S101，对齐学生卷积神经网络与教师卷积神经网络的中间过程特征图：将训练图像分别输入学生卷积神经网络和教师卷积神经网络，以获得训练图像上的学生卷积神经网络、教师卷积神经网络的中间过程特征图,
设定从学生卷积神经网络提取的特征图记为，尺寸大小为/>，其中，cs,ws,hs分别为：学生卷积神经网络提取的特征图的通道、宽度、高度,
从教师卷积神经网络提取出的特征图记为，尺寸大小为/>；其中，ct,wt,ht分别为：教师卷积神经网络提取的特征图的通道、宽度、高度；
S102，缩放学生特征图来使其符合教师特征图的空间尺寸/>，得到/>，这一步定义为：/>重新缩放方法/>的使用取决于/>与 />比较：/>小于/>时采用放大，/>大于/>时采用缩小，相同时不运行；
S103，构建特征关系图：首先将大小为的特征图ε，沿通道c进行绝对值求和，以生成特征关系图/>，其过程定义为：/>，/>，/>，其中，w是特征图ε的宽度,h是特征图ε的高度,R是映射的特征图,s代表学生卷积神经网络,t 代表教师卷积神经网络,i代表学生卷积神经网络的像素，j代表教师卷积神经网络的像素，/>表示特征图/>的第/>个矩阵，/>为神经网络某层各神经元激活的绝对值和；/>,/>分别代表从学生卷积神经网络和教师卷积神经网络提取的对应位置的特征图；/>，/>则分别代表学生卷积神经网络和教师卷积神经网络的特征关系图；
S104，特征关系相关性计算：通过使用Gram矩阵计算特征关系的相关性：，/>，/>其中，/>代表学生卷积神经网络的特征关系相关性，/>代表教师卷积神经网络的特征关系相关性，/>代表学生卷积神经网络与教师卷积神经网络两者特征关系相关性的距离，即特征图的特征关系损失；
还包括步骤S20，所述步骤S20是基于训练结果特征图的融合多尺度对抗网络的知识蒸馏，所述步骤S20包括以下子步骤：
S201，包括由一个生成器和两个判别器组成的多尺度对抗网络，生成器为学生卷积神经网络，判别器为两个结构相同的全卷积网络，全卷积网络由若干个卷积块组成；两个所述判别器输入数据的采样粒度不同，其中以采样粒度大的为全局语义判别器，采样粒度小的为局部细节判别器；
S202，向全局语义判别器输入图片以及真实标签进行N倍下采样,N为自然数，并从学生卷积神经网络的深层语义层中获取结果特征图，将结果特征图的大小采样为原输入图片的1/N，将下采样后真实的图片与真实标签进行级联操作生成结果视为真值，将下采样后真实的图片与结果特征数据进行级联操作生成结果视为假值，让全局语义判别器区分真值与假值；所述真实标签是对输入图片进行人工标注得到的；
S203，局部细节判别器，将教师卷积神经网络的输出结果作为真实标签数据，学生卷积神经网络的输出结果为生成数据，再将真实的图片与教师卷积神经网络输出的结果进行级联操作生成结果视为真值，将真实图片与学生卷积神经网络输出的结果进行级联操作视为假值，让局部细节判别器区分真值与假值。
2.根据权利要求1所述的一种面向车道线检测的知识蒸馏方法，其特征在于，所述步骤S101中，从所述学生卷积神经网络的浅层提取的特征图；从所述教师卷积神经网络对应的浅层位置提取出的特征图。
3.根据权利要求1所述的一种面向车道线检测的知识蒸馏方法，其特征在于，所述步骤S101中，从所述学生卷积神经网络的深层提取的特征图；从所述教师卷积神经网络对应的深层位置提取出的特征图。
4.根据权利要求1所述的一种面向车道线检测的知识蒸馏方法，其特征在于，所述步骤S101中，训练所述教师卷积神经网络时参数冻结，在训练过程中不进行参数更新；训练所述学生卷积神经网络时，进行参数更新。
5.根据权利要求1所述的一种面向车道线检测的知识蒸馏方法，其特征在于，所述步骤S203后还包括步骤S204：对抗网络的判别器优化，为判别器添加梯度归一化方法，稳定对抗网络训练，加速对抗网络收敛。
CN202310756149.1A 2023-06-26 2023-06-26 一种面向车道线检测的知识蒸馏方法 Active CN116502706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310756149.1A CN116502706B (zh) 2023-06-26 2023-06-26 一种面向车道线检测的知识蒸馏方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310756149.1A CN116502706B (zh) 2023-06-26 2023-06-26 一种面向车道线检测的知识蒸馏方法

Publications (2)

Publication Number Publication Date
CN116502706A CN116502706A (zh) 2023-07-28
CN116502706B true CN116502706B (zh) 2023-10-10

Family

ID=87320520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310756149.1A Active CN116502706B (zh) 2023-06-26 2023-06-26 一种面向车道线检测的知识蒸馏方法

Country Status (1)

Country Link
CN (1) CN116502706B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449680A (zh) * 2021-07-15 2021-09-28 北京理工大学 一种基于知识蒸馏的多模小目标检测方法
CN114492755A (zh) * 2022-01-28 2022-05-13 复旦大学 基于知识蒸馏的目标检测模型压缩方法
CN115273010A (zh) * 2022-08-01 2022-11-01 安徽理工大学环境友好材料与职业健康研究院(芜湖) 一种提升轻量级网络检测精度的车道线检测方法
CN116012635A (zh) * 2022-10-31 2023-04-25 上海师范大学 一种基于知识蒸馏的煤矸石检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449680A (zh) * 2021-07-15 2021-09-28 北京理工大学 一种基于知识蒸馏的多模小目标检测方法
CN114492755A (zh) * 2022-01-28 2022-05-13 复旦大学 基于知识蒸馏的目标检测模型压缩方法
CN115273010A (zh) * 2022-08-01 2022-11-01 安徽理工大学环境友好材料与职业健康研究院(芜湖) 一种提升轻量级网络检测精度的车道线检测方法
CN116012635A (zh) * 2022-10-31 2023-04-25 上海师范大学 一种基于知识蒸馏的煤矸石检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"A Gift from Knowledge Distillation: Fast Optimization, Network Minimization and Transfer Learning";Junho Yim等;《2017 IEEE Conference on Computer Vision and Pattern Recognition》;第1-9页 *
"无监督正样本建模与异常图像检测";程贺凯;《中国硕士学位论文全文数据库》;第61-77页 *

Also Published As

Publication number Publication date
CN116502706A (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN110298404B (zh) 一种基于三重孪生哈希网络学习的目标跟踪方法
US11315345B2 (en) Method for dim and small object detection based on discriminant feature of video satellite data
CN106599836B (zh) 多人脸跟踪方法及跟踪系统
CN112966691B (zh) 基于语义分割的多尺度文本检测方法、装置及电子设备
CN111259936B (zh) 一种基于单一像素标注的图像语义分割方法及系统
CN111967470A (zh) 一种基于解耦注意力机制的文本识别方法及系统
Gong et al. Advanced image and video processing using MATLAB
Chen et al. Corse-to-fine road extraction based on local Dirichlet mixture models and multiscale-high-order deep learning
CN110555420B (zh) 一种基于行人区域特征提取和重识别融合模型网络及方法
CN109886159B (zh) 一种非限定条件下的人脸检测方法
CN114049381A (zh) 一种融合多层语义信息的孪生交叉目标跟踪方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
US20230095533A1 (en) Enriched and discriminative convolutional neural network features for pedestrian re-identification and trajectory modeling
CN113657387A (zh) 基于神经网络的半监督三维点云语义分割方法
CN114333062B (zh) 基于异构双网络和特征一致性的行人重识别模型训练方法
CN116596966A (zh) 一种基于注意力和特征融合的分割与跟踪方法
Qin et al. Application of video scene semantic recognition technology in smart video
CN116740362B (zh) 一种基于注意力的轻量化非对称场景语义分割方法及系统
Chuang et al. Deep learning‐based panoptic segmentation: Recent advances and perspectives
CN113223037A (zh) 一种面向大规模数据的无监督语义分割方法及系统
Li et al. Progressive attention-based feature recovery with scribble supervision for saliency detection in optical remote sensing image
CN116363374B (zh) 图像语义分割网络持续学习方法、系统、设备及存储介质
Gori et al. Semantic video labeling by developmental visual agents
CN116502706B (zh) 一种面向车道线检测的知识蒸馏方法
CN116824330A (zh) 一种基于深度学习的小样本跨域目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant