CN112163492A - 一种长时跨场景优化的交通物体检测方法、系统及介质 - Google Patents

一种长时跨场景优化的交通物体检测方法、系统及介质 Download PDF

Info

Publication number
CN112163492A
CN112163492A CN202010995926.4A CN202010995926A CN112163492A CN 112163492 A CN112163492 A CN 112163492A CN 202010995926 A CN202010995926 A CN 202010995926A CN 112163492 A CN112163492 A CN 112163492A
Authority
CN
China
Prior art keywords
object detection
scene
image
candidate
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010995926.4A
Other languages
English (en)
Other versions
CN112163492B (zh
Inventor
周智恒
沈世福
黄俊楚
张鹏宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010995926.4A priority Critical patent/CN112163492B/zh
Publication of CN112163492A publication Critical patent/CN112163492A/zh
Application granted granted Critical
Publication of CN112163492B publication Critical patent/CN112163492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种长时跨场景优化的交通物体检测方法、系统及介质，其中方法包括以下步骤：获取训练集，根据训练集对网络模型进行训练，获得物体检测模型；获取图像数据，采用物体检测模型对图像数据进行检测，获得带有物体边框的图像作为检测结果；采用整图特征跨场景配准优化方法对物体检测模型进行在线优化，更新物体检测模型的网络参数，以使物体检测模型适应于不同的场景。本发明通过更新服务端的网络参数方法来提升环境变化带来的交通场景识别不准的问题，代替需要海量的带标签的多场景数据去训练一个自带泛化性能的物体检测器，从而提高训练效率，减少人工标注的代价以及上线前训练的损耗代价，可广泛应用于交通场景下物体检测领域。

Description

一种长时跨场景优化的交通物体检测方法、系统及介质
技术领域
本发明涉及交通场景下物体检测领域，尤其涉及一种长时跨场景优化的交通物体检测方法、系统及介质。
背景技术
交通场景中的行人、车辆等物体的检测与识别技术是物体检测技术的重要分支，是自动驾驶，智能交通监管调度等研究领域的核心技术，有着重要的意义。目前国内外诞生的物体检测器产品的种类与方法很多，技术原理和实现方式各不相同，如有线圈检测、视频检测、微波检测、激光检测、声波检测、超声波检测、磁力检测、红外线检测等。其中的视频检测方法无需破坏路面，安装和维护比较方便，并且随着深度学习网络的进一步应用，视频图像物体检测技术是目前交通场景下物体检测研究方向的热点。
交通物体检测技术是一种计算机视觉和图像处理技术，通过视频摄像机和计算机模仿人眼的功能，为实际应用提供实时交通信息的先进技术。在基于视频图像的检测技术中，机器学习方法由于识别性能高、鲁棒性好以及操作便捷而受到越来越多的关注。其中深度算法由于近年运算设备计算能力的进一步提高而得到了较大的发展，具有精准，误识别率低，泛化性能比一般机器学习方法好且易训练等的特点。虽然深度物体检测算法实时性较好，识别率高且误识别率低，但当训练样本规模非常大时，训练物体检测器所需时间过长，而且对训练样本的依赖非常大，在实时检测中容易出现漏检的情况，因为训练样本不可能包括所有的对象，也会因为天气，光照等状态的变化大大降低识别率。
经过对现有技术文献的检索发现，现有的交通物体检测技术，实用的学习算法都需要寻找大量的训练样本，提取特征后，经过长时间的训练过程，然后用于实时检测，训练出来的分类器虽然可以检测出大部分的目标，但是并不能应对不断变化的交通状况，当天气、交通场景、视频获取的设备参数变化时，出现误检，漏检等检测问题在所难免。如果要让交通场景下的物体检测能适应不同场景，就需要寻找包含不同状况的海量样本，训练出完善的分类器，但是这并不科学，也算不上是真正的智能。寻找不同的样本、对样本进行标注以及训练过程都要花费巨大的人力、物力，且无法应对千变万化的交通状况。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于：提供一种长时跨场景优化的交通物体检测方法、系统及介质，以解决现有交通场景下天气、能见度、光照、设备参数与视角等场景变化下原有理想数据训练出的物体检测方法性能显著下降而不能应用的问题。并会根据现实获得数据不断优化。
本发明所采用的技术方案是：
一种长时跨场景优化的交通物体检测方法，包括以下步骤：
获取训练集，根据所述训练集对网络模型进行训练，获得物体检测模型；
获取图像数据，采用所述物体检测模型对所述图像数据进行检测，获得带有物体边框的图像作为检测结果；
采用整图特征跨场景配准优化方法对所述物体检测模型进行在线优化，更新所述物体检测模型的网络参数，以使所述物体检测模型适应于不同的场景。
进一步，所述采用整图特征跨场景配准优化方法对所述物体检测模型进行在线优化，包括：
获取数量相等的理想图像数据和真实场景数据；
将所述理想图像数据和所述真实场景数据输入所述物体检测模型的骨干网络，以提取整图特征；
根据所述整图特征提取候选物体边界框，采用非均等池化方式对所述候选物体边界框进行池化处理后，获得尺寸相同的候选对象物体特征；
采用分类器获取所述候选对象物体特征的分类得分，以及采用边界框预测器对所述候选对象物体特征进行边界框的偏移量预测；
对候选框的所述分类得分，通过反映射叠加聚合获得权重得分图；
根据所述权重得分图对所述理想图像数据的整图特征和所述真实场景数据的整图特征进行整图特征跨场景配准优化，以缩小整图特征之间差异，进而更新所述物体检测模型的网络参数；
所述理想图像数据内的图像带有标签，所述真实场景数据为由图像采集装置采集获得的图像数据。
进一步，所述对候选框的所述分类得分，通过反映射叠加聚合获得权重得分图，包括；
对候选框的所述分类得分，通过前景得分与所述候选框的坐标反映射叠加聚合成权重得分图；
通过对所述权重得分图进行归一化与平均池化处理后，获得与骨干特征图大小相同的权重得分图。
进一步，所述根据所述权重得分图对所述理想图像数据的整图特征和所述真实场景数据的整图特征进行整图特征跨场景配准优化，以缩小整图特征之间差异，进而更新所述物体检测模型的网络参数，包括：
将所述理想图像数据的整图特征和所述真实场景数据的整图特征输入二分类器，获得配准特征；
对所述配准特征逐像素进行分类预测，得到与特征图大小相同的预测结果矩阵；
按理想状态特征分类标签为1、现实场景特征分类标签为0，根据所述预测结果矩阵计算分类损失矩阵；
根据所述分类损失矩阵和所述权重得分图进行加权损失计算；
对于加权损失求解网络参数的梯度，采用梯度翻转结构实现梯度翻转；
通过更新梯度执行网络参数，从而实现整图特征跨场景配准优化。
进一步，所述对候选框的所述分类得分，通过前景得分与所述候选框的坐标反映射叠加聚合成权重得分图，包括：
获取P个候选框的背景分类得分与对应的P个候选框的坐标；
根据所述背景分类得分获得前景候选框得分；
对应所述候选框的坐标和所述前景候选框得分，遍历P个候选框并执行聚合权重步骤，获得权重得分图。
进一步，所述交通物体检测方法还包括采用同类候选框特征跨场景配准优化方法对所述物体检测模型进行在线优化的步骤，包括：
对真实场景数据的图像进行人工标注，以及对同类候选框进行筛选处理；
对理想状态候选框特征与真实场景候选框特征进行等数随机采样；
对采样后的候选框特征按1：1进行候选框特征配准优化。
进一步，所述对理想状态候选框特征与真实场景候选框特征进行等数随机采样，包括：
获取同类别的理想图像场景下的候选框特征M个，获取真实场景下的候选框特征N个；
从获得的N个真实场景下的候选框特征中随机选择并复制候选框特征到序列L中，获得M个真实场景下的候选框特征；
其中，M、N为正整数，且M＜N。
进一步，所述对采样后的候选框特征按1：1进行候选框特征配准优化，包括：
按理想场景：真实场景＝1：1的比例将候选框特征输入分类器，获得特征分类得分；
根据所述特征分类得分，按理想场景的分类标签设为1、真实场景的分类标签设为0的方式计算分类损失；
对所述分类损失求解网络参数的梯度，采用梯度翻转结构实现梯度翻转；
通过更新梯度执行网络参数，从而实现候选框特征配准优化。
本发明所采用的另一技术方案是：
一种长时跨场景优化的交通物体检测系统，包括：
模型搭建模块，用于获取训练集，根据所述训练集对网络模型进行训练，获得物体检测模型；
物体识别模块，用于获取图像数据，采用所述物体检测模型对所述图像数据进行检测，获得带有物体边框的图像作为检测结果；
模型优化模块，用于采用整图特征跨场景配准优化方法对所述物体检测模型进行在线优化，更新所述物体检测模型的网络参数，以使所述物体检测模型适应于不同的场景。
本发明所采用的另一技术方案是：
一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明通过更新服务端的网络参数方法来提升环境变化带来的交通场景识别不准的问题，代替需要海量的带标签的多场景数据去训练一个自带泛化性能的物体检测器，从而提高训练效率，减少人工标注的代价以及上线前训练的损耗代价。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本方明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种长时跨场景优化的交通物体检测方法的步骤流程图；
图2是本发明实施例中离线训练与在线优化结合的整体方法流程图；
图3是本发明实施例中整图特征现实场景图像长时优化方法的流程图；
图4是本发明实施例中现实场景候选框特征长时优化方法的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
如图1所示，本实施例提供一种长时跨场景优化的交通物体检测方法，包括但不限于以下步骤：
S101、获取训练集，根据训练集对网络模型进行训练，获得物体检测模型。该训练集为图像训练集，可采用现有的图像训练集来实现。
步骤S101为离线学习过程，用于深度算法应用前的网络模型构建与参数学习。
S102、获取图像数据，采用物体检测模型对图像数据进行检测，获得带有物体边框的图像作为检测结果。该图像数据为通过图像采集装置(比如摄像头)采集到的图像，该图像没有经过人工标注或者其他处理。
步骤S102为在线交通对象检测过程，用于搭载模型参数响应终端数据进行交通场景物体检测。
S103、采用整图特征跨场景配准优化方法对物体检测模型进行在线优化，更新物体检测模型的网络参数，以使物体检测模型适应于不同的场景。
步骤S103为长时在线跨场景优化过程，用于网络上线后，对跨场景图像进行配准优化，能在模型上线后进行实时更新的跨场景优化更新网络参数。整图特征跨场景配准优化方法，用于不需要额外真实标签的跨场景整图配准优化。
参见图3，上述的整图特征跨场景配准优化方法，包括以下步骤A1-A4：
A1、输入数据处理，对理想数据与真实场景数据作相等数量的采样。
A2、输入特征提取，分别逐帧传入检测器的骨干网络以提取整图特征。
A3、分类得分聚合，用于聚合检测器中的分类分支前景得分，以进行更关注于整图中的前景对象的加权配准优化。
A4、整图特征二分类器，用于反向优化物体整图特征，以缩小整图特征之间差异。
其中，步骤A3中分类得分聚合的过程，包括以下步骤A31-A32：
A31、通过前景得分与候选框坐标反映射叠加得到权重得分图；
A32、通过对得分图归一化与平均池化，得到权重矩阵。
步骤A4的整图特征二分类器，包含梯度翻转结构，并且在权重矩阵的加权下计算损失与更新梯度。通过应用翻转后的梯度实现网络参数的更新，从而达到跨场景优化的效果。
参见图4，进一步作为可选的实施方式，还包括同类候选框特征跨场景配准优化方法，该优化方法需要人工对图像标注，且包括以下步骤B1-B4：
B1、人工标注：对终端获取真实场景图像进行人工标注。不需要标注所有的物体也能进行训练。
B2、候选框筛选:同类候选框进行跨场景配准，非同类候选框与背景候选框不做此步骤。前景候选框需要与真实标签的交并比大于某个可选阈值。
B3、候选框等数采样：对理想状态候选框特征与真实场景候选框特征进行等数随机采样。
B4、候选框配准优化：采样后的候选框特征按1：1进行候选框特征配准优化。
步骤B4是候选框配准优化的过程中，所使用的特征二分类器通过梯度翻转结构实现候选框的特征配准优化。通过应用翻转后的梯度实现网络参数的更新，从而达到跨场景优化的效果。
以下结合图2-图4及具体实施例对上述方法进行详细的解释说明。
先设定训练集S＝{(Xs1,Cs1,Bs1),(Xs2,Cs2,Bs2),…,(XsN,CsN,BsN)}N个为理想数据中带物体边界框与物体对应类别标签的数据，其中C表示图中对象分类标签集合，B表示图中对象边界框标签集合，训练集T＝{(Xt1),(Xt2),…,(XtM)}M张为真实场景下由终端设备运行时获得的真实场景图象。U＝{(XU1,CU1,BU1),(XU2,CU2,BU2),…,(XUK,CUK,BUK)}为K张真实场景下由终端设备采集的少量带后期人工标注的数据。
一种长时场景优化的交通物体检测方法，参见图2，包括以下步骤：
S1离线学习过程，包括以下步骤S1.1-S1.5：
S1.1对S、T、U三个数据集存入数据库。
S1.2本实施例选用Faster-RCNN网络结构作为对象检测的深度算法模型。
S1.3对步骤S1.1中的S集数据，采用步骤S1.2的算法进行离线学习训练，其中X作为图片输入，C,B作为标签对网络参数进行迭代更新。
S1.4将步骤S1.3训练所得网络模型参数保存至云端服务设备中。
S1.5训练结束，获得理想状态的交通物体检测器，并按S2步骤载入模型进行检测器服务。
S2在线交通对象检测过程，包括以下步骤S2.1-S2.7：
S2.1使用服务端装载步骤S1.4所保存网络模型参数至对象检测器。
S2.2在服务端保持响应交通物体的检测请求。
S2.3通过终端设备主动上传请求得到N帧视频图像数据，1<＝N。
S2.4将步骤S2.3所得图像按一定时间间隔采样存为数据集T。
S2.5将步骤S2.4所存图像中的一部分进行人工标注操作，并存为数据集U。这里需要注意的是，步骤S2.5作为一个可选步骤，并一定需要进行人工标注操作。
S2.6将步骤S2.3所得图像数据逐帧输入步骤S2.1所述的对象检测器获取检测结果，得到带有物体边界框的图像。
S2.7返回检测结果图像。回到步骤S2.1等待下一次响应请求。
S3长时在线优化过程，包括整图特征跨场景配准优化与同类候选框特征跨场景配准优化方法。
S3.1对理想数据进行采样选择，使理想数据与真实场景数据的数量相等。该理想数据现有的公开的带标签的数据集(包括Cityscape,Udacity,kitti等)；真实场景数据为现实中使用目标检测网络时，通过摄像头那些设备采集的输入图像。
S3.2将步骤S3.1所述两类数据，分别逐帧传入检测器的骨干网络以提取整图特征。
S3.3对步骤S3.2所述整图特征提取候选物体边界框。
S3.4对步骤S3.3所述候选物体边界框通过非均等池化方式进行池化后得到同尺寸大小的候选对象物体特征。
S3.5对步骤S3.4所述候选对象物体特征经过分类器获取分类得分，同时经过边界框预测器获取边界框的偏移量预测。
S3.6对步骤S3.5所述理想数据预测结果，采用标签训练方式更新网络参数。即利用理想数据原本带有的边界框标签和边界框内物体的类别标签对网络进行参数更新。
S3.7对步骤S3.5所述候选框的分类得分，通过反映射叠加聚合成与骨干特征图大小相同的权重图(即权重得分图)。
S3.8对步骤S3.2所述理想数据与真实场景数据的整图特征通过带有梯度翻转步骤的整图特征二分类器在步骤S3.7所得权重图下进行整图特征跨场景配准优化。
S3.9对步骤S3.4所得的候选框特征中选取与真实标签中的边界框交并比大于0.7的同类物体候选框
S3.10对步骤S3.9所得理想状态候选框特征与真实场景候选框特征进行等数随机采样。
S3.11对步骤S3.10采样后的候选框特征按1：1进行候选框特征通过带有梯度翻转步骤的候选框特征二分类器进行跨场景配准优化。
S3.12所述配准优化通过将理想场景的分类标签设为1，真实场景的分类标签设为0后进行梯度翻转二分类回传分类损失更新网络参数。
可以理解的是，上述步骤S3.9～S3.11为可选步骤，对现实场景图像的部分或全部物体打上边界框与类别标注后才会执行此步骤。
上述步骤S3.7中的候选框得分聚合方法，包括以下步骤S3.7.1-S3.7.6：
S3.7.1通过步骤S3.5获得N个候选框的背景分类得分{Q1,Q2,…,QN}与对应的N个候选框的坐标{xmin i,ymin i,xmax i,ymax i}(1<＝i<＝N)。
S3.7.2利用步骤S3.7.1所得背景得分Qi根据Pi＝1-Qi获得前景候选框得分Pi(1<＝i<＝N)。
S3.7.3初始化与所述理想图片大小相同的权值图I(K,L)＝0；其中1<＝K<＝图片宽度，1<＝L<＝图片高度。
S3.7.4对步骤S3.7.1中对应候选框坐标与S3.7.2中对应前景得分，遍历N个候选框执行如下聚合权重：
对于索引i从1到N执行如下运算：
对所有满足xmin i<＝k<＝xmax i,ymin i<＝l<＝ymax i的坐标(k,l)聚合前景得分I(k,l)＝I(k,l)+PiS3.7.5对步骤S3.7.4所得权重图I(k,l)进行归一化。
S3.7.6对步骤S3.7.5所得归一化后的权重图进行平均池化得到与骨干特征图大小相同的权重图。
参见图3，上述步骤S3.8中整图特征跨场景配准优化方法，包括以下步骤S3.8.1-S3.8.6：
S3.8.1对步骤S3.2所得的骨干特征图，传入配准二分类器，得到配准特征。
S3.8.2对步骤S3.8.1所得配准特征逐像素进行分类预测，得到与特征图大小相同的预测结果矩阵。
S3.8.3按理想状态特征分类标签为1，现实场景特征分类特征标签为0对步骤S3.8.2所得预测结果矩阵计算分类损失矩阵。
S3.8.4对步骤S3.8.3所得分类损失矩阵与步骤S3.7.6所得候选框得分聚合权重图进行加权损失计算。
S3.8.5对步骤S3.8.4所述加权损失求解网络参数的梯度，并使用梯度翻转结构实现梯度翻转。
S3.8.6对步骤S3.8.5所得梯度执行网络参数的更新。
上述步骤S3.10中理想状态候选框特征与真实场景候选框特征进行等数随机采样方法，包括以下步骤S3.10.1-S3.10.3：
S3.10.1由步骤S3.9所得同类别的理想图像场景下的候选框特征M个，真实场景下的候选框特征N个。
S3.10.2从步骤S3.10.1所得N个候选框中随机选择一个并复制到序列L中。
S3.10.3执行S3.10.2步骤M次后得到M个真实场景下的候选框特征。
上述步骤S3.11中候选框特征跨场景配准优化方法，包括以下步骤S3.11.1-S3.11.4：
S3.11.1对所述步骤S3.10.3获得的候选框特征，按理想场景：真实场景＝1：1的比例送入候选框特征分类器获得特征分类得分。
S3.11.2对分类得分按理想场景的分类标签设为1，真实场景的分类标签设为0计算分类损失。
S3.11.3对步骤S3.11.2所述分类损失求解网络参数的梯度，并由梯度翻转结构实现梯度翻转。
S3.11.4对步骤S3.11.3所得梯度执行网络参数的更新。
综上所述，本实施例的交通物体检测方法与现有技术相比，至少具有以下优点和效果：
(1)本实施例方法通过更新服务端的网络参数方法来提升环境变化带来的交通场景识别不准的问题，代替需要海量的带标签的多场景数据去训练一个自带泛化性能的物体检测器，从而提高训练效率，减少人工标注的代价以及上线前训练的损耗代价。
(2)本实施例方法通过将离线学习过程与在线优化过程相结合，以离线学习过程所得检测器作为实时检测的基础，保障实时检测模型的上线效率；在实时检测过程中，通过在线跨场景优化配准策略实时更新物体检测器，使其适应不同的路况，从而提高实时检测在不同场景下的准确率，降低误检和漏检的概率。
(3)本实施例方法在采集跨场景优化所用图像过程中，并不一定需要对所采集图片打上标注就能进行特征配准优化，通过分类得分加权的全图特征跨场景配准优化，能使前景在特征提取后的差异减小，通过同类候选框特征的跨场景配准优化，能进一步缩小不同场景下提取特征的差异的同时避免了使用不准确或是错误标签进行更新参数的错误扩散问题，使用使本发明在根据光照、天气状况等各种交通场景变化的情况下，依然保持高准确率的同时，大大减少了人工标注数据的成本。
本实施例还提供了一种长时跨场景优化的交通物体检测系统，包括：
模型搭建模块，用于获取训练集，根据训练集对网络模型进行训练，获得物体检测模型；
物体识别模块，用于获取图像数据，采用物体检测模型对图像数据进行检测，获得带有物体边框的图像作为检测结果；
模型优化模块，用于采用整图特征跨场景配准优化方法对物体检测模型进行在线优化，更新物体检测模型的网络参数，以使物体检测模型适应于不同的场景。
本实施例的一种长时跨场景优化的交通物体检测系统，可执行本发明方法实施例所提供的一种长时跨场景优化的交通物体检测方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
可以理解的是，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种长时跨场景优化的交通物体检测方法，其特征在于，包括以下步骤：
获取训练集，根据所述训练集对网络模型进行训练，获得物体检测模型；
获取图像数据，采用所述物体检测模型对所述图像数据进行检测，获得带有物体边框的图像作为检测结果；
采用整图特征跨场景配准优化方法对所述物体检测模型进行在线优化，更新所述物体检测模型的网络参数，以使所述物体检测模型适应于不同的场景。
2.根据权利要求1所述的一种长时跨场景优化的交通物体检测方法，其特征在于，所述采用整图特征跨场景配准优化方法对所述物体检测模型进行在线优化，包括：
获取数量相等的理想图像数据和真实场景数据；
将所述理想图像数据和所述真实场景数据输入所述物体检测模型的骨干网络，以提取整图特征；
根据所述整图特征提取候选物体边界框，采用非均等池化方式对所述候选物体边界框进行池化处理后，获得尺寸相同的候选对象物体特征；
采用分类器获取所述候选对象物体特征的分类得分，以及采用边界框预测器对所述候选对象物体特征进行边界框的偏移量预测；
对候选框的所述分类得分，通过反映射叠加聚合获得权重得分图；
根据所述权重得分图对所述理想图像数据的整图特征和所述真实场景数据的整图特征进行整图特征跨场景配准优化，以缩小整图特征之间差异，进而更新所述物体检测模型的网络参数；
所述理想图像数据内的图像带有标签，所述真实场景数据为由图像采集装置采集获得的图像数据。
3.根据权利要求2所述的一种长时跨场景优化的交通物体检测方法，其特征在于，所述对候选框的所述分类得分，通过反映射叠加聚合获得权重得分图，包括；
对候选框的所述分类得分，通过前景得分与所述候选框的坐标反映射叠加聚合成权重得分图；
通过对所述权重得分图进行归一化与平均池化处理后，获得与骨干特征图大小相同的权重得分图。
4.根据权利要求3所述的一种长时跨场景优化的交通物体检测方法，其特征在于，所述根据所述权重得分图对所述理想图像数据的整图特征和所述真实场景数据的整图特征进行整图特征跨场景配准优化，以缩小整图特征之间差异，进而更新所述物体检测模型的网络参数，包括：
将所述理想图像数据的整图特征和所述真实场景数据的整图特征输入二分类器，获得配准特征；
对所述配准特征逐像素进行分类预测，得到与特征图大小相同的预测结果矩阵；
按理想状态特征分类标签为1、现实场景特征分类标签为0，根据所述预测结果矩阵计算分类损失矩阵；
根据所述分类损失矩阵和所述权重得分图进行加权损失计算；
对于加权损失求解网络参数的梯度，采用梯度翻转结构实现梯度翻转；
通过更新梯度执行网络参数，从而实现整图特征跨场景配准优化。
5.根据权利要求3所述的一种长时跨场景优化的交通物体检测方法，其特征在于，所述对候选框的所述分类得分，通过前景得分与所述候选框的坐标反映射叠加聚合成权重得分图，包括：
获取P个候选框的背景分类得分与对应的P个候选框的坐标；
根据所述背景分类得分获得前景候选框得分；
对应所述候选框的坐标和所述前景候选框得分，遍历P个候选框并执行聚合权重步骤，获得权重得分图。
6.根据权利要求2所述的一种长时跨场景优化的交通物体检测方法，其特征在于，所述交通物体检测方法还包括采用同类候选框特征跨场景配准优化方法对所述物体检测模型进行在线优化的步骤，包括：
对真实场景数据的图像进行人工标注，以及对同类候选框进行筛选处理；
对理想状态候选框特征与真实场景候选框特征进行等数随机采样；
对采样后的候选框特征按1：1进行候选框特征配准优化。
7.根据权利要求6所述的一种长时跨场景优化的交通物体检测方法，其特征在于，所述对理想状态候选框特征与真实场景候选框特征进行等数随机采样，包括：
获取同类别的理想图像场景下的候选框特征M个，获取真实场景下的候选框特征N个；
从获得的N个真实场景下的候选框特征中随机选择并复制候选框特征到序列L中，获得M个真实场景下的候选框特征；
其中，M、N为正整数，且M＜N。
8.根据权利要求7所述的一种长时跨场景优化的交通物体检测方法，其特征在于，所述对采样后的候选框特征按1：1进行候选框特征配准优化，包括：
按理想场景：真实场景＝1：1的比例将候选框特征输入分类器，获得特征分类得分；
根据所述特征分类得分，按理想场景的分类标签设为1、真实场景的分类标签设为0的方式计算分类损失；
对所述分类损失求解网络参数的梯度，采用梯度翻转结构实现梯度翻转；
通过更新梯度执行网络参数，从而实现候选框特征配准优化。
9.一种长时跨场景优化的交通物体检测系统，其特征在于，包括：
模型搭建模块，用于获取训练集，根据所述训练集对网络模型进行训练，获得物体检测模型；
物体识别模块，用于获取图像数据，采用所述物体检测模型对所述图像数据进行检测，获得带有物体边框的图像作为检测结果；
模型优化模块，用于采用整图特征跨场景配准优化方法对所述物体检测模型进行在线优化，更新所述物体检测模型的网络参数，以使所述物体检测模型适应于不同的场景。
10.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-8任一项所述方法。
CN202010995926.4A 2020-09-21 2020-09-21 一种长时跨场景优化的交通物体检测方法、系统及介质 Active CN112163492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010995926.4A CN112163492B (zh) 2020-09-21 2020-09-21 一种长时跨场景优化的交通物体检测方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010995926.4A CN112163492B (zh) 2020-09-21 2020-09-21 一种长时跨场景优化的交通物体检测方法、系统及介质

Publications (2)

Publication Number Publication Date
CN112163492A true CN112163492A (zh) 2021-01-01
CN112163492B CN112163492B (zh) 2023-09-08

Family

ID=73864292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010995926.4A Active CN112163492B (zh) 2020-09-21 2020-09-21 一种长时跨场景优化的交通物体检测方法、系统及介质

Country Status (1)

Country Link
CN (1) CN112163492B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492534A (zh) * 2018-10-12 2019-03-19 高新兴科技集团股份有限公司 一种基于Faster RCNN的跨场景多姿态的行人检测方法
CN110059554A (zh) * 2019-03-13 2019-07-26 重庆邮电大学 一种基于交通场景的多支路目标检测方法
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
WO2020015470A1 (zh) * 2018-07-16 2020-01-23 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN111553347A (zh) * 2020-04-26 2020-08-18 佛山市南海区广工大数控装备协同创新研究院 一种面向任意角度的场景文本检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
WO2020015470A1 (zh) * 2018-07-16 2020-01-23 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN109492534A (zh) * 2018-10-12 2019-03-19 高新兴科技集团股份有限公司 一种基于Faster RCNN的跨场景多姿态的行人检测方法
CN110059554A (zh) * 2019-03-13 2019-07-26 重庆邮电大学 一种基于交通场景的多支路目标检测方法
CN111553347A (zh) * 2020-04-26 2020-08-18 佛山市南海区广工大数控装备协同创新研究院 一种面向任意角度的场景文本检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
史凯静;鲍泓;: "基于改进的FAST R-CNN的前方车辆检测研究", 计算机科学, no. 1, pages 192 - 195 *

Also Published As

Publication number Publication date
CN112163492B (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
Chen et al. Vehicle detection in high-resolution aerial images via sparse representation and superpixels
CN103208008A (zh) 基于机器视觉的交通视频监控目标检测快速适应方法
CN112528862B (zh) 基于改进的交叉熵损失函数的遥感图像目标检测方法
CN110555420B (zh) 一种基于行人区域特征提取和重识别融合模型网络及方法
CN109784272A (zh) 一种集装箱识别系统及集装箱识别方法
Naufal et al. Preprocessed mask RCNN for parking space detection in smart parking systems
CN111738036A (zh) 图像处理方法、装置、设备及存储介质
CN112465854A (zh) 基于无锚点检测算法的无人机跟踪方法
CN112784834A (zh) 一种自然场景下的车牌自动识别方法
CN105574545A (zh) 环境图像多视角语义切割方法及装置
CN113469201A (zh) 图像采集设备偏移检测方法、图像匹配方法、系统和设备
CN113139896A (zh) 基于超分辨重建的目标检测系统及方法
Xu et al. Convolutional neural network based traffic sign recognition system
CN111563398A (zh) 用于确定目标物的信息的方法和装置
CN115797736A (zh) 目标检测模型的训练和目标检测方法、装置、设备和介质
CN111931571A (zh) 基于在线增强检测的视频文字目标追踪方法与电子设备
Mei et al. A conditional wasserstein generative adversarial network for pixel-level crack detection using video extracted images
CN113536946A (zh) 一种基于摄像头关系的自监督行人重识别方法
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN116597438A (zh) 一种基于Yolov5的改进型水果识别方法及识别系统
CN111832497A (zh) 一种基于几何特征的文本检测后处理方法
CN112163492B (zh) 一种长时跨场景优化的交通物体检测方法、系统及介质
CN115331151A (zh) 一种视频测速方法、装置、电子设备和存储介质
CN113239931A (zh) 一种物流站车牌识别的方法
CN114565906A (zh) 障碍物检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant