CN112990070B - 一种车辆颜色检测方法、系统、设备及存储介质 - Google Patents

一种车辆颜色检测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN112990070B
CN112990070B CN202110349758.6A CN202110349758A CN112990070B CN 112990070 B CN112990070 B CN 112990070B CN 202110349758 A CN202110349758 A CN 202110349758A CN 112990070 B CN112990070 B CN 112990070B
Authority
CN
China
Prior art keywords
vehicle
color
training samples
training
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110349758.6A
Other languages
English (en)
Other versions
CN112990070A (zh
Inventor
张鑫垒
邹文艺
章勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN202110349758.6A priority Critical patent/CN112990070B/zh
Publication of CN112990070A publication Critical patent/CN112990070A/zh
Application granted granted Critical
Publication of CN112990070B publication Critical patent/CN112990070B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种车辆颜色检测方法、系统、设备及存储介质，其中，方法，包括：获取并解析预设时间段内的视频，得到满足预设要求的目标视频帧图像；将所述目标视频帧图像输入预先训练的车辆图像提取网络，得到所述目标视频帧图像中的每个车辆的独立图像；将所述每个车辆的独立图像均输入预先训练的车辆颜色识别网络，输出每个车辆的颜色信息；其中，所述颜色信息包括主色值、次色值及颜色深浅度值。本方案，可输出的颜色信息包括车辆的主色值、次色值及颜色深浅值，识别结果更多样，能够提供更为全面的车辆颜色信息。

Description

一种车辆颜色检测方法、系统、设备及存储介质
技术领域
本发明涉及车辆颜色检测技术领域，尤其涉及一种车辆颜色检测方法、系统、设备及存储介质。
背景技术
现如今，在视频结构化的诸多应用中，特别是在安防领域，从图像库或视频序列中检索出不同监控设备下相同车辆的图像，有着非常重要的作用。智能交通系统的主要作用之一，就是当需要得到某个关注车辆出现的地点时，需要获取行驶车辆的特征，并依据其特征进行相似度目标匹配，最终得到该关注车辆的行驶轨迹。
车牌也是重要的车辆特征之一，通过车牌识别，可以直接查询车牌号得到该车辆的全面信息。但是车牌在车辆图像中只占非常少的一部分，需要在图像分辨率足够高的情况下，车牌才能被正确识别。而对于车辆分辨率不够高的情况，就很难通过车牌来确定车辆。而车辆颜色即车辆外壁的颜色，即使在图像清晰度不够高的情况下，也能较容易确定出车辆的颜色，因此，通过车辆颜色识别车辆具有更广的适用性，基于此，车辆颜色识别在智能交通系统中有着非常广泛的应用。
然而，现在各厂商生产的车辆都不再拘泥于单一颜色，提升了车辆美观的同时，也大大增加了车辆颜色的多样性。以往的车辆颜色识别方法只能识别车辆的一种颜色，目前已经不能满足识别的要求。
因此，怎么从并非仅包含一种颜色的车辆外表色中来判断出车辆颜色，也是车辆颜色识别的一个难点。
发明内容
因此，本发明要解决的技术问题在于克服现有技术方案中仅能识别出车辆的一种颜色的现象，从而提供一种可基于神经网络的车辆颜色检测方法、系统、设备及一种计算机可读存储介质的技术方案。
第一方面，根据本发明实施例提供一种车辆颜色检测方法，包括：
获取并解析预设时间段内的视频，得到满足预设要求的目标视频帧图像；
将所述目标视频帧图像输入预先训练的车辆图像提取网络，得到所述目标视频帧图像中的每个车辆的独立图像；
将所述每个车辆的独立图像均输入预先训练的车辆颜色识别网络，输出每个车辆的颜色信息；
其中，所述颜色信息包括主色值、次色值及颜色深浅度值。
优选地，所述预先训练的车辆颜色识别网络为由多个Vc block堆叠形成的神经网络。
优选地，所述由多个Vc block堆叠形成车辆颜色识别网络的方法为：
将前一个Vc block的输出作为后一个Vc block的输入，或将前一个Vc block的输出再次卷积运算及平均池化后作为后一个Vc block的输入，以得到预设堆叠数量的车辆颜色识别网络。
优选地，所述Vc block的训练方法，包括：
获取训练样本集，并将训练样本集分为第一部分训练样本和第二部分训练样本；
对第一部分训练样本和第二部分训练样本均进行卷积运算；
对第二部分训练样本进行卷积运算之后，对运算结果进行加权计算；
对第一部分训练样本进行卷积运算后得到的特征及进行加权计算后的第二部分训练样本进行融合结构的动态融合，得到当前Vc block的输出结果。
优选地，所述对第二部分训练样本进行卷积运算之后，对运算结果进行加权计算，包括：
对第二部分训练样本经过卷积运算后的结果进行下采样；
对经过下采样的结果进行卷积运算，再通过上采样转换为下采样前的训练样本特征大小；
对经过特征转换的第二部分训练样本进行加权计算。
优选地，所述融合结构基于不同的输入样本生成相应的融合权重，实现动态融合。
优选地，所述车辆颜色识别网络的训练步骤包括：
为每个训练样本图像标注主色、次色、颜色深浅度值三个标签；
将训练样本图像输入预设车辆颜色识别网络，得到预测主色值、预测次色值及预测颜色深浅度值；
基于所述预测主色值、预测次色值及预测颜色深浅度值进行损失函数的计算，对所述预设车辆颜色识别网络进行训练，以得到车辆颜色识别网络。
第二方面，根据本发明实施例提供一种车辆颜色检测系统，包括：
解析模块，获取并解析预设时间段内的视频，得到满足预设要求的目标视频帧图像；
输入模块，用于将所述目标视频帧图像输入预先训练的车辆图像提取网络，得到所述目标视频帧图像中的每个车辆的独立图像；
输出模块，用于将所述每个车辆的独立图像均输入预先训练的车辆颜色识别网络，输出每个车辆的颜色信息；
其中，所述颜色信息包括主色值、次色值及颜色深浅度值。
第三方面，根据本发明实施例提供一种车辆颜色检测设备，包括存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行上述任一项所述的车辆颜色检测方法。
第四方面，根据本发明实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行上述任一项所述的车辆颜色检测方法。
本发明实施例提供的车辆颜色检测方法、系统、设备及一种计算机可读存储介质，至少具有如下有益效果：
本发明实施例提供的车辆颜色检测方法、系统、设备及一种计算机刻度存储介质，通过车辆图像提取网络输出目标视频帧图像中每个车辆的图像，而车辆图像提取网络的输出作为车辆颜色识别网络的输入，通过车辆颜色识别网络输出车辆颜色信息，其中，输出的颜色信息包括车辆的主色值、次色值及颜色深浅值，识别结果更多样，能够提供更为全面的车辆颜色信息。
除此之外，本发明实施例采用神经网络的方法检测车辆颜色，使得在保护模型精确度的同时，网络模型大小得到压缩，因此，可以在容量及计算能力都有限的设备中使用。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的车辆颜色检测方法的流程图；
图2为本发明实施例中选取的满足清晰度要求的视频帧图像的示意图；
图3为车辆图像提取网络输出的每个车辆的图像的示意图；
图4为本发明实施例提供的Vc block的训练方法的流程图；
图5为本发明实施例提供的车辆颜色识别网络的训练步骤示意图；
图6为本发明实施例中车辆颜色识别网络的构建流程图；
图7为本发明实施例提供的车辆颜色检测系统的模块图；
图8为本发明实施例提供的车辆颜色检测设备的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
随着公共安全监控摄像机的使用日益增多，越来越凸显了在大型图像库或视频序列库中进行车辆搜索的重要性。车辆颜色是车辆特征中的一种非常重要的信息，然而，目前车辆颜色识别面临的主要挑战有：在复杂的监控场景中，会由于天气等原因，造成同一辆车在不同的环境下拍摄出的图像呈现出不同的颜色。例如，一辆浅蓝色车在强烈的阳光反射下，抓拍的车辆图像会呈现为白色，而在树阴下时，同一辆车抓拍到的车辆图像会呈现为黑色。这种色偏现象会对车辆颜色识别的准确度造成很大的障碍。其次，车辆中诸如天窗、挡风玻璃、轮胎等是不具有车辆颜色属性的，但是这些部件也占用了车辆图像的一部分。因此，如何克服上述问题，对车辆颜色进行有效监测，成为本领域技术人员的一大难题。
实施例1
本发明实施例提供一种基于神经网络的车辆颜色检测方法，如图1所示，所述方法，包括：
步骤S12、获取并解析预设时间段内的视频，得到满足预设要求的目标视频帧图像；
在此指出，针对预设时间段较短的视频，可以采取人为的方式选取清晰度满足要求的视频帧图像；而对于时间段较长的视频，可以采取在计算机中植入相应的图像处理模块，对解析出来的视频帧图像进行清晰度检测，进而选取满足预设要求的视频帧图像。该预设要求也可以是其他要求，如根据实际需求设定的关于视频帧图像的要求，并不局限于清晰度要求。参见图2，示例从获取的视频中解析得到的满足清晰度要求的视频帧图像。
步骤S14、将所述目标视频帧图像输入预先训练好的车辆图像提取网络，得到所述目标视频帧图像中的每个车辆的独立图像；
在本发明实施例中，当满足预设要求的视频帧图像输入预先训练好的车辆图像提取网络之后，预先训练好的车辆图像提取网络对车辆进行识别，并裁出包括完整单个车辆的图像，裁剪出的车辆图像中尽可能仅包含一辆车的颜色信息；如图3，示例得到的单个车辆的独立图像。
因为监控卡口图像中包含多个车辆以及杂乱的背景信息，所以车辆图像提取网络，将车辆图像从中提取出来。这样做是为了增加车辆在图像中的占比，较少背景信息对车辆颜色识别的干扰。
步骤S16、将各个车辆的独立图像输入车辆颜色识别网络，得到各个车辆的颜色信息；
其中，所述颜色信息包括主色值、次色值及颜色深浅度值。
在本发明实施例中，车辆颜色识别网络的输出有三个，分别为车辆的主色值、次色值及颜色深浅值，例如，当车辆为纯色车时，次色值为0。当车辆的主要颜色为红色，局部未灰色时，车辆颜色识别网络输出的主色值为红色对应的色度值，次色值为灰色对应的色度值。
在本发明一个实施例中，所述获取并解析预设时间段内的视频，得到满足清晰度要求的目标视频帧图像，包括：
1)获取预设时间段内的视频；
2)对预设时间段内的视频进行解析，得到视频帧图像及每个视频帧图像对应的时间信息；
基于视频是由多帧视频帧图像构成，因此，在对视频进行解析时，可以设置同时获取当前视频帧图像的时间信息，以便后续调动；
另外，对于无法获取当前视频帧图像的时间信息的情况，可以根据当前视频帧图像在视频中的位置计算当前视频帧图像对应的时间信息，基于常规1s的视频由30帧构成，可以根据该数量关系计算视频帧图像对应的时间信息。
3)选取满足清晰度要求的视频帧图像作为目标视频帧图像，并获取目标视频帧图像对应的时间信息；
步骤S16，将每个车辆的独立图像作为车辆颜色识别网络的输入，所述输出每个车辆的颜色信息，包括：
将每个车辆的独立图像作为车辆颜色识别网络的输入，并提取每个独立图像的时间信息，输出包含目标视频帧图像对应的时间信息的颜色信息。
在本发明一个实施例中，还包括：
保存包含时间信息和车辆颜色信息的数据项，以供后续调用。
所述方法，还包括：
步骤S13、对所述目标视频帧图像中的车辆进行定位，获取每个车辆的位置信息；
所述方法，还包括：
输出每个车辆的位置信息。其中，满足预设要求的视频帧图像对应的时间信息以及车辆的位置信息可以同时输出，即将位置信息和单个车辆的图像作为车辆颜色识别网络的输入，输出位置信息和车辆的颜色信息。
如此，对于满足预设要求的视频帧图像中包括多个车辆时，可以基于满足预设要求的视频帧图像构建坐标系，确定各个图像在构建的坐标系中的位置，并根据各车辆的位置为每个车辆设定标识，以便于后续查看或调用各车辆的颜色信息。
本发明一个实施例中，还包括：
构建车辆图像提取网络，及车辆颜色识别网络；
预先训练的车辆图像提取网络为采用centernet的网络结构。
针对车辆图像提取网络，可事先采用一定数量的训练样本和测试样本，设置输出正确率阈值，当输出正确率达到设定的阈值时，则确定车辆图像提取网络为满足要求的神经网络。
其中，车辆图像提取网络采用centernet的网络结构，该centernet网络结构将以往目标检测问题，由目标框的检测转为关键点检测。且不需要NMS这类后处理，在产品的实际应用中，模型的推断速度更快。训练样本需要标注目标的位置及类别，模型可用Resnet18为基础模型，输入图像大小根据实际需求设定，如可以为300*300。
在本发明一个实施例中，预先训练的车辆颜色识别网络为通过多个Vc block堆叠形成的神经网络。
进一步地，多个多个Vc block堆叠形成车辆颜色识别网络的方法为：
前一个Vc block的输出作为后一个Vc block的输入，或前一个Vc block的输出再次卷积运算及平均池化后作为后一个Vc block的输入，得到预设堆叠数量的车辆颜色识别网络。其中，Vc block表示聚合块，即本发明实施例中的车辆颜色识别网络是通过多个聚合块堆叠形成的神经网络。
其中，作为一种具体实施方式，前一个Vc block的输出作为后一个Vc block的输入，或前一个Vc block的输出再次卷积运算及平均池化后作为后一个Vc block的输入，得到预设堆叠数量的车辆颜色识别网络，包括：
前一个Vc block的输出作为后一个Vc block的输入，或前一个Vc block的输出再次卷积运算及平均池化后作为后一个Vc block的输入，针对达到预设数量的Vc block的输出，做预设卷积核大小的卷积运算及全局平均池化运算后，作为车辆颜色识别网络的输出。
在本发明实施例中，参见图4所示，所述Vc block的训练方法，包括：
步骤S41、获取训练样本集，并将训练样本集分为第一部分训练样本和第二部分训练样本；
步骤S42、对第一部分训练样本和第二部分训练样本均进行卷积运算；
步骤S43、对第二部分训练样本进行卷积运算之后，对运算结果进行加权计算；
步骤S44、对第一部分训练样本进行卷积运算后得到的特征及进行加权计算后的第二部分训练样本进行融合结构的动态融合，得到当前Vc block的输出结果。
进一步地，所述对第二部分训练样本进行卷积运算之后，对运算结果进行加权计算，包括：
对第二部分训练样本经过卷积运算后的结果进行下采样；
对经过下采样的结果进行卷积运算，再通过上采样转换为下采样前的训练样本特征大小；
对经过特征转换的第二部分训练样本进行加权计算。其中特征转换可以采用SIGMOID函数计算之后，也可以采用SIGMOD之外的其他函数计算之后，只要能提供本方案中的特征转换的数据即属于本发明所保护的范围。
与此同时，融合结构基于不同的输入特征生成相应的融合权重，实现动态融合。
如，作为一种可选方式，对第二部分训练样本进行卷积运算之后，对运算结果进行加权计算，包括：
对第二部分训练样本进行下采样；
对经过下采样的第二部分进行3*3卷积运算，再通过上采样转换为下采样前的训练样本特征大小；
通过sigmod对经过特征转换的第二部分训练样本进行加权计算。
其中，3*3的卷积仅为列举的一个具体例子，也可以是根据实际需求做其他卷积核大小的卷积运算。
在本发明实施例中，车辆颜色识别网络的结构用Vc block堆叠的方式构建。整个车辆颜色识别网络是由多个Vc block堆叠而成的。在每个Vc block中，首先在通道C的维度上将输入平均分为两部分，即将车辆颜色识别网络的训练样本分为第一部分训练样本和第二部分训练样本。第一部分训练样本进行3*3卷积运算，第二部分训练样本则在进行3*3卷积运算的基础上，对运算结果进行加权。加权的方式是先对第二部分的训练样本进行3*3卷积运算后得到的第三样本进行下采样操作，下采样后的特征具有更大的感受野，于是进行卷积后的嵌入可以对原始特征空间中的特征变换进行指导。经过下采样的特征通过3*3的卷积运算后，再通过上采样将特征转换为下采样前的特征大小。经过sigmoid函数运算后，对特征进行加权。最后将在通道c上分离的两个部分样本，针对第一部分训练样本进行3*3卷积运算后得到的第四样本，和第二部分训练样本，经过3*3卷积运算后得到的第三样本进行下采样，再对下采样后的样本进行3*3卷积运算得到第五样本，对第五样本转换为下采样前的特征大小，得到第六样本，最后对第六样本和第四样本经过融合结构动态融合，输出融合后的结构。经过融合结构的动态融合，并输出融合结果。融合结构生成的融合权重依赖于输入，从而实现动态融合。它会根据输入特征，通过为特定的流分配主导权重，从而使得输出聚焦于单个流。或者，它可以选择将流混合，从而输出异构的特征。整个Vc block相较于常规的卷积方式，并没有引入额外的可学习参数，虽然计算量略有增加，但增幅并不是很大，而且最终精度相比以往要高，所以整体性能还是得到了提升。
在本发明实施例中，参见图5所示，所述车辆颜色识别网络的训练步骤包括：
步骤S51、为每个训练样本图像标注主色、次色、颜色深浅度值三个标签；
步骤S52、将训练样本图像输入预设车辆颜色识别网络，得到预测主色值、预测次色值及预测颜色深浅度值；
步骤S53、基于所述预测主色值、预测次色值及预测颜色深浅度值进行损失函数的计算，对所述预设车辆颜色识别网络进行训练，以得到车辆颜色识别网络。
如下，参见图6所示，列举一个具体实施例进行阐述车辆颜色识别网络的构建过程：
针对输入图像(车辆图像提取网络的输出图像)，执行3*3卷积，然后对卷积后的结果做3*3大小的平均池化，将3*3平均池化后的结果作为Vc block1的输入，而Vc block1的输出作为Vc block2的输入，对Vc block2的输出做1*1卷积，以及3*3大小的平均池化，3*3平均池化后的结果作为Vc block3的输入，Vc block3的输出作为Vc block4的输入，继续对Vc block4的输出做1*1大小的卷积以及3*3大小的平均池化，该3*3大小的平均池化后的结果作为Vc block5的输入，Vc block5的输出作为Vc block6的输入，继续对Vc block6的输出做1*1大小的卷积和全局平均池化后输出，作为车辆颜色识别网络的输出。
在此指出，本实施例列举六层Vc block仅为了便于描述，并非是对Vc block数量的具体限定。仅对Vc block做出适应性调整，并未付出创造性劳动得出的技术方案依然输入本发明所保护的范围。
在此指出，图6用到的卷积核大小，均为列举的一个具体实施例，并非是对具体卷积核大小的具体限定。
在本发明实施例中，最终需要得到车辆颜色的深色、浅色和颜色深浅这三个的分类结果，所以训练时，每张图片需要有三个对应的标签。第二经网络最后一层有三个分支，分别对车辆颜色的深色、浅色和颜色深浅进行特征提取。在网络反向传播计算损失时，三个分支会对三个标签分别计算损失，并且对三个损失分配不同的权重，将它们的总和作为整体损失。最终，网络针对深色、浅色和颜色深浅会分别输出最大概率的颜色类别。
实施例2
本发明实施例还提供一种车辆颜色检测系统，参见图7所示，包括：
解析模块72，获取并解析预设时间段内的视频，得到满足预设要求的目标视频帧图像；
输入模块74，用于将所述目标视频帧图像输入预先训练的车辆图像提取网络，得到所述目标视频帧图像中的每个车辆的独立图像；
输出模块76，用于将所述每个车辆的独立图像均输入预先训练的车辆颜色识别网络，输出每个车辆的颜色信息；
其中，所述颜色信息包括主色值、次色值及颜色深浅度值。
实施例3
本实施例提供了一种车辆颜色检测设备，如图8所示，该车辆颜色检测设备包括处理器801和存储器802，其中处理器801和存储器802可以通过总线或者其他方式连接，图8中以通过总线连接为例。
处理器801可以为中央处理器(Central Processing Unit，CPU)也可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、图形处理器(GraphicsProcessing Unit，GPU)、嵌入式神经网络处理器(Neural-network Processing Unit，NPU)或者其他专用的深度学习协处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器802作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中视频帧连续性检测方法对应的程序指令/模块(如图7所示的解析模块42、输入模块74、输出模块76)。处理器801通过运行存储在存储器802中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例1中的车辆颜色检测方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器801所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至处理器801。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器802中，当被所述处理器801执行时，执行如图1所示车辆颜色检测方法。
在本实施例中，存储器802存储有车辆颜色检测方法的程序指令或模块，处理器801执行存储在存储器802内的程序指令或模块时，获取并解析预设时间段内的视频，得到满足预设要求的目标视频帧图像；将所述目标视频帧图像输入预先训练的车辆图像提取网络，得到所述目标视频帧图像中的每个车辆的独立图像；将所述每个车辆的独立图像均输入预先训练的车辆颜色识别网络，输出每个车辆的颜色信息；其中，所述颜色信息包括主色值、次色值及颜色深浅度值。有效提高了车辆颜色检测的精度，且对计算机的性能要求低，便于实施。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的标准动态监测方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、设备或计算机可读存储介质均可涉及或包含计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (8)

1.一种车辆颜色检测方法，其特征在于，包括：
获取并解析预设时间段内的视频，得到满足预设要求的目标视频帧图像；
将所述目标视频帧图像输入预先训练的车辆图像提取网络，得到所述目标视频帧图像中的每个车辆的独立图像；
将所述每个车辆的独立图像均输入预先训练的车辆颜色识别网络，输出每个车辆的颜色信息；
其中，所述颜色信息包括主色值、次色值及颜色深浅度值；
所述预先训练的车辆颜色识别网络为由多个Vc block堆叠形成的神经网络；
所述Vc block的训练方法，包括：
获取训练样本集，并将训练样本集分为第一部分训练样本和第二部分训练样本；
对第一部分训练样本和第二部分训练样本均进行卷积运算；
对第二部分训练样本进行卷积运算之后，对运算结果进行加权计算；
对第一部分训练样本进行卷积运算后得到的特征及进行加权计算后的第二部分训练样本进行融合结构的动态融合，得到当前Vc block的输出结果。
2.根据权利要求1所述的方法，其特征在于，所述由多个Vc block堆叠形成车辆颜色识别网络的方法为：
将前一个Vc block的输出作为后一个Vc block的输入，或将前一个Vc block的输出再次卷积运算及平均池化后作为后一个Vc block的输入，以得到预设堆叠数量的车辆颜色识别网络。
3.根据权利要求1或2所述的方法，其特征在于，所述对第二部分训练样本进行卷积运算之后，对运算结果进行加权计算，包括：
对第二部分训练样本经过卷积运算后的结果进行下采样；
对经过下采样的结果进行卷积运算，再通过上采样转换为下采样前的训练样本特征大小；
对经过特征转换的第二部分训练样本进行加权计算。
4.根据权利要求1或2所述的方法，其特征在于，所述融合结构基于不同的输入样本生成相应的融合权重，实现动态融合。
5.根据权利要求1所述的方法，其特征在于，所述车辆颜色识别网络的训练步骤包括：
为每个训练样本图像标注主色、次色、颜色深浅度值三个标签；
将训练样本图像输入预设车辆颜色识别网络，得到预测主色值、预测次色值及预测颜色深浅度值；
基于所述预测主色值、预测次色值及预测颜色深浅度值进行损失函数的计算，对所述预设车辆颜色识别网络进行训练，以得到车辆颜色识别网络。
6.一种车辆颜色检测系统，其特征在于，包括：
解析模块，获取并解析预设时间段内的视频，得到满足预设要求的目标视频帧图像；
输入模块，用于将所述目标视频帧图像输入预先训练的车辆图像提取网络，得到所述目标视频帧图像中的每个车辆的独立图像；
输出模块，用于将所述每个车辆的独立图像均输入预先训练的车辆颜色识别网络，输出每个车辆的颜色信息；
其中，所述颜色信息包括主色值、次色值及颜色深浅度值；
所述预先训练的车辆颜色识别网络为由多个Vc block堆叠形成的神经网络；
所述车辆颜色检测系统还包括：用于训练所述Vc block的模块，具体用于获取训练样本集，并将训练样本集分为第一部分训练样本和第二部分训练样本；对第一部分训练样本和第二部分训练样本均进行卷积运算；对第二部分训练样本进行卷积运算之后，对运算结果进行加权计算；对第一部分训练样本进行卷积运算后得到的特征及进行加权计算后的第二部分训练样本进行融合结构的动态融合，得到当前Vc block的输出结果。
7.一种车辆颜色检测设备，其特征在于，包括存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-5中任一项所述的车辆颜色检测方法。
8.一种计算机可读存储介质，其特征在于，计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-5中任一项所述的车辆颜色检测方法。
CN202110349758.6A 2021-03-31 2021-03-31 一种车辆颜色检测方法、系统、设备及存储介质 Active CN112990070B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110349758.6A CN112990070B (zh) 2021-03-31 2021-03-31 一种车辆颜色检测方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110349758.6A CN112990070B (zh) 2021-03-31 2021-03-31 一种车辆颜色检测方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112990070A CN112990070A (zh) 2021-06-18
CN112990070B true CN112990070B (zh) 2023-04-07

Family

ID=76338710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110349758.6A Active CN112990070B (zh) 2021-03-31 2021-03-31 一种车辆颜色检测方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112990070B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101436252A (zh) * 2008-12-22 2009-05-20 北京中星微电子有限公司 一种车辆视频图像中车身颜色识别方法及系统
CN103425989B (zh) * 2013-08-07 2017-04-19 中山大学 一种基于显著性分析的车辆颜色识别方法及系统
CN103440503B (zh) * 2013-09-12 2016-05-11 青岛海信网络科技股份有限公司 一种车辆车身颜色检测识别方法
CN104766049B (zh) * 2015-03-17 2019-03-29 苏州科达科技股份有限公司 一种物体颜色识别方法及系统
CN106776943A (zh) * 2016-12-01 2017-05-31 中科唯实科技（北京）有限公司 一种基于AutoEncoder和属性标签的车辆检索方法
CN109635825A (zh) * 2018-12-19 2019-04-16 苏州市科远软件技术开发有限公司 车辆属性检测方法、装置及存储介质

Also Published As

Publication number Publication date
CN112990070A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN113936256A (zh) 一种图像目标检测方法、装置、设备以及存储介质
CN113468978B (zh) 基于深度学习的细粒度车身颜色分类方法、装置和设备
Lyu et al. Small object recognition algorithm of grain pests based on SSD feature fusion
CN112541448B (zh) 一种行人重识别方法、装置、电子设备和存储介质
CN115187844A (zh) 基于神经网络模型的图像识别方法、装置及终端设备
Cho et al. Semantic segmentation with low light images by modified CycleGAN-based image enhancement
CN114639042A (zh) 基于改进CenterNet骨干网络的视频目标检测算法
WO2021147055A1 (en) Systems and methods for video anomaly detection using multi-scale image frame prediction network
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测系统
CN112528961A (zh) 一种基于Jetson Nano的视频分析方法
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN114519853B (zh) 一种基于多模态融合的三维目标检测方法及系统
Wang et al. MCF3D: Multi-stage complementary fusion for multi-sensor 3D object detection
CN115661720A (zh) 一种被遮挡车辆的目标跟踪识别方法及系统
CN113505640A (zh) 一种基于多尺度特征融合的小尺度行人检测方法
CN117392578A (zh) 基于两阶段时空注意力的动作检测方法及系统
CN116630932A (zh) 一种基于改进yolov5的道路遮挡目标检测方法
CN114596548A (zh) 目标检测方法、装置、计算机设备及计算机可读存储介质
CN116229406B (zh) 车道线检测方法、系统、电子设备及存储介质
CN112990070B (zh) 一种车辆颜色检测方法、系统、设备及存储介质
CN115690665B (zh) 一种基于交叉U-Net网络的视频异常检测方法及装置
US20240221426A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN116824541A (zh) 基于双通道的行人过街意向预测方法、模型及装置
Yang et al. Research on Target Detection Algorithm for Complex Scenes
CN117197487B (zh) 一种免疫胶体金诊断试纸条自动识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant