CN113076953A - 一种黑色车检测方法、系统、装置以及存储介质 - Google Patents

一种黑色车检测方法、系统、装置以及存储介质 Download PDF

Info

Publication number
CN113076953A
CN113076953A CN202110223859.9A CN202110223859A CN113076953A CN 113076953 A CN113076953 A CN 113076953A CN 202110223859 A CN202110223859 A CN 202110223859A CN 113076953 A CN113076953 A CN 113076953A
Authority
CN
China
Prior art keywords
image
fusion
visible light
camera
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110223859.9A
Other languages
English (en)
Inventor
唐健
潘国峰
陶昆
石伟
罗杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jieshun Science and Technology Industry Co Ltd
Original Assignee
Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jieshun Science and Technology Industry Co Ltd filed Critical Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority to CN202110223859.9A priority Critical patent/CN113076953A/zh
Publication of CN113076953A publication Critical patent/CN113076953A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种黑色车检测方法、系统、装置以及存储介质，用于提高夜间黑车的检测效果。本申请方法包括：通过双目相机采集目标黑色车的红外图像以及可见光图像；对所述红外图像以及所述可见光图像进行像素对齐；提取对齐后的可见光图像的第一色彩特征图以及对齐后的红外图像的第一亮度特征图；将所述第一色彩特征图以及所述第一亮度特征图输入到预设的融合网络模型中进行特征融合，得到融合图像，所述融合网络模型为根据样本图像对训练得到的网络模型。将所述融合图像输入至检测网络模型中对所述目标黑车进行检测并得到检测结果，所述检测网络模型为训练好的用于车辆检测的网络模型。

Description

一种黑色车检测方法、系统、装置以及存储介质
技术领域
本申请涉及数据处理领域，尤其涉及一种黑色车检测方法、系统、装置以及存储介质。
背景技术
随着深度学习的快速发展与完善，计算机视觉技术取得了巨大的进步，车辆检测和车牌检测得到了广泛应用，例如考勤通行、安全监控等领域。随着城市人口水平的不断提升，大型户外停车场景已逐渐饱和，路边停车场景有待更高效的停车管控，也逐渐成为城市停车的第二缓冲带，因此基于高位检测的场景开发成为当前业内主攻方向。
现有技术提供的方案中，在车辆检测时，基于深度学习的目标检测方法是高位停车管控的核心技术，目标检测方法在白天正常光线情况下有较好的效果，但是在光线较暗的夜间情况，可见光图像存在较大的噪声和较弱的纹理细节，针对可见光图像的黑车受环境影响较大，调参过程存在较大的误检。因此，在夜晚高位停车场景，通过可见光进行黑色车检测任务由于受噪声和较弱纹理的限制，导致黑色车检测效果较差。
发明内容
为了解决上述技术问题，提高夜间黑色车检测效果，本申请提供了一种黑色车检测方法、系统、装置以及计算机可读存储介质。
本申请第一方面提供了一种黑色车检测方法，所述方法包括：
通过双目相机采集目标黑色车的红外图像以及可见光图像；
对所述红外图像以及所述可见光图像进行像素对齐；
提取对齐后的可见光图像的第一色彩特征图以及对齐后的红外图像的第一亮度特征图；
将所述第一色彩特征图以及所述第一亮度特征图输入到预设的融合网络模型中进行特征融合，得到融合图像，所述融合网络模型为根据样本图像训练得到的网络模型。
将所述融合图像输入至检测网络模型中对所述目标黑车进行检测并得到检测结果，所述检测网络模型为训练好的用于车辆检测的网络模型。
可选的，所述双目相机包括红外相机以及可见光相机，在所述通过双目相机采集目标黑车的红外图像以及可见光图像之前，所述方法还包括：
计算所述红外相机的第一相机内参和第一相机外参以及计算所述可见光相机的第二相机内参以及第二相机外参；
所述对所述红外图像以及所述可见光图像进行像素对齐包括：
根据所述第一相机内参将所述红外图像转换到世界坐标系中；
结合所述第一相机外参将所述世界坐标系中的所述红外图像转换到相机坐标系中；
根据所述第二相机内参对所述红外图像以及所述可见光图像进行像素对齐。
可选的，在所述根据所述第一相机内参将所述红外图像转换到世界坐标系中之前，所述方法还包括：
将所述红外图像输入至预设的红外检测模型中，得到所述目标黑车的红外检测框；
所述根据所述第一相机内参将所述红外图像转换到世界坐标系中包括：
结合所述第一相机内参以及所述红外检测框的坐标信息将所述红外图像转换到世界坐标系中。
可选的，所述预设的网络模型中设置有编码网络、解码网络以及融合层，所述将所述第一色彩特征图以及所述第一亮度特征图输入到预设的网络模型中进行特征融合，得到融合图像包括：
将所述第一色彩特征图以及所述第一亮度特征图输入至所述编码网络中，得到第二色彩特征图以及第二亮度特征图；
将所述第二色彩特征图以及所述第二亮度特征图输入至所述融合层中进行融合，得到融合特征图；
将所述融合特征图输入至所述解码网络中进行解码，得到融合图像。
可选的，在所述提取对齐后的可见光图像的第一色彩特征图以及对齐后的红外图像的第一亮度特征图之前，所述方法还包括：
分别将所述红外图像以及所述可见光图像转换至Lab色彩空间。
可选的，所述融合网络模型通过如下方法训练得到：
通过双目相机采集目标样本图像对，所述样本图像对包括样本红外图像以及样本可见光图像；
对所述样本红外图像以及所述样本可见光图像进行像素对齐；
将对齐后的所述样本红外图像以及对齐后的所述样本可见光图像输入至初始化网络模型中进行特征融合，得到输出融合图像；
通过预设的损失函数计算所述输出融合图像分别与对齐后的样本红外图像以及对齐后的所述可见光图像之间的特征损差；
根据所述特征损差动态调整所述初始化网络模型，直至得到收敛的所述融合网络模型。
可选的，所述通过双目相机采集目标样本图像对包括：
通过双目相机采集样本视频，所述样本视频包括样本红外视频以及样本可见光视频；
从所述样本视频中提取出样本红外图像以及样本可见光图像。
本申请第二方面提供了一种黑色车检测系统，所述系统包括：
采集单元，用于通过双目相机采集目标黑车的红外图像以及可见光图像；
对齐单元，用于对所述红外图像以及所述可见光图像进行像素对齐；
提取单元，用于提取对齐后的可见光图像的第一色彩特征图以及对齐后的红外图像的第一亮度特征图；
融合单元，用于将所述第一色彩特征图以及所述第一亮度特征图输入到预设的网络模型中进行特征融合，得到融合图像；
检测单元，用于将所述融合图像输入至检测网络模型中对所述目标黑车进行检测。
本申请第三方面提供了一种黑色车检测装置，所述装置包括：
处理器、存储器、输入输出单元以及总线；
所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
所述存储器保存有程序，所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的所述方法。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的所述方法。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供的黑色车检测方法中，终端通过双目相机采集目标黑车的红外图像以及可见光图像，并对红外图像以及可见光图像进行对齐，由于红外图像保留了更多的亮度细节，而可见光图像保留了更多的色彩细节，因此终端提取可见光头图像的第一色彩特征图以及提取红外图像的第一亮度特征图，并输入至预设的网络模型中，网络模型对特征进行融合并输出融合图像，使得融合图像同时保留较多的色彩和亮度细节，进而再通过检测模型对目标黑车进行检测，本申请提供的方法极大程度的提高了黑车的检测效果。
附图说明
为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的黑色车检测方法的一个实施例流程示意图；
图2为本申请中训练融合网络模型的方法的一个实施例流程示意图；
图3为本申请中提供的黑色车检测系统的一个实施例结构示意图；
图4为本申请中提供的黑色车检测装置的一个实施例结构示意图。
具体实施方式
现有技术提供的方案中，在车辆检测时，基于深度学习的目标检测方法是高位停车管控的核心技术，目标检测方法在白天正常光线情况下有较好的效果，但是在光线较暗的夜间情况，可见光图像存在较大的噪声和较弱的纹理细节，针对可见光图像的黑车受环境影响较大，调参过程存在较大的误检。因此，在夜晚高位停车场景，通过可见光进行黑色车检测任务由于受噪声和较弱纹理的限制，导致黑色车检测效果较差。
基于此，本申请提供了一种黑色车检测方法，用于提高夜间黑车的检测效果。
需要说明的是，本申请提供的黑色车检测法，可以应用于终端也可以应用于系统，还可以应用于服务器上，例如终端可以是智能手机或电脑、平板电脑、智能电视、智能手表、便携计算机终端也可以是台式计算机等固定终端。为方便阐述，本申请中以终端为执行主体进行举例说明。
请参阅图1，图1为本申请中提供的黑色车检测方法的一个实施例流程示意图，该黑色车检测方法包括：
101、通过双目相机采集目标黑色车的红外图像以及可见光图像；
本申请提供的黑色车检测方法中，可以用于一些停车场上的检测终端或者系统上，首先通过双目相机采集目标黑色车的红外图像以及可见光图像，可见光图像一般会存在较大的噪声和较弱的纹理细节，并且受环境影响较大，但是会有较为显著的色彩空间，而红外图像在夜间也可以获得较好的灰度亮度信息，因此，在实际应用中可以对这两种图像进行特征融合以获得融合图像。
102、对红外图像以及可见光图像进行像素对齐；
在实际应用中，双目相机可以包括有红外相机以及可见光相机，由于两个相机位置的细微差异，所拍摄出来的红外图像和可见光图像之间存在一定的畸变，并不完全吻合，因此，需要红外图像以及可见光图像进行像素对齐，以提高最终图片融合的效果，进而提升检测成功率。
在另一个可能的实现方式中，可以通过双目相机的内参和外参来对图像进行像素对齐，其中内参分为内参矩阵和畸变参数矩阵，外参分为旋转矩阵和平移矩阵，本申请中双目相机的内参和外参包括红外相机的第一相机内参和第一相机外参，可见光相机的第二相机内参和第二相机外参，在通过双目相机采集目标黑车的红外图像以及可见光图像之前，终端还可以计算红外相机的第一相机内参和第一相机外参，以及计算可见光相机的第二相机内参以及第二相机外参，上述对红外图像以及可见光图像进行像素对齐，具体的可以是，根据第一相机内参将红外图像转换到世界坐标系中；结合第一相机外参将世界坐标系中的红外图像转换到相机坐标系中；根据第二相机内参对红外图像以及可见光图像进行像素对齐，以实现图像水平方向以及垂直方向的对齐。本申请中所称世界坐标系是为了确定相机的位置，在双目视觉中一般将世界坐标系原点定在左相机、右相机，或两者X轴方向的中点。相机坐标系是以相机的聚焦中心为原点，以光轴为Z轴建立的三维直角坐标系。相机坐标系(观察坐标系)相机坐标系的原点为相机的光心，x轴与y轴与图像的X,Y轴平行，z轴为相机光轴，它与图形平面垂直。光轴与图像平面的交点，即为图像坐标系的原点，图像坐标系为二维直角坐标系。
本实施例提供的黑色车检测方法中，可以结合第一相机内参和红外检测框来将红外图像转换到世界坐标系中，在上述根据第一相机内参将红外图像转换到世界坐标系中之前，终端可以将红外图像输入至预设的红外检测模型中得到目标黑车的红外检测框，红外检测模型为预先训练好的网络模型，用于标定出黑色车的红外检测框，上述根据第一相机内参将红外图像转换到世界坐标系中，具体的可以是，结合第一相机内参以及红外检测框的坐标信息将红外图像转换到世界坐标系中。
本实施例提供的方法中，在将图像输入至融合网络模型之前，首先通过双目相机的内参以及外参来对红外图像以及可见光图像进行像素对齐，可以极大提高最终图像的融合效果，进而提高检测成功率。
103、提取对齐后的可见光图像的第一色彩特征图以及对齐后的红外图像的第一亮度特征图；
终端提取可见光图像的第一色彩特征图以及对齐后的红外图像的第一亮度特征图，可见光图像一般会存在较大的噪声和较弱的纹理细节，并且受环境影响较大，但是会有较为显著的色彩空间，而红外图像在夜间也可以获得较好的灰度亮度信息，具体的，在另一种可能实现的方式中，在提取对齐后的可见光图像的第一色彩特征图以及对齐后的红外图像的第一亮度特征图之前，终端可以分别将红外图像以及可见光图像转换至Lab色彩空间，Lab是由一个亮度通道(channel)和两个颜色通道组成的。在Lab颜色空间中，每个颜色用L、a、b三个数字表示，各个分量的含义是这样的：
L代表亮度；
a代表从绿色到红色的分量；
b代表从蓝色到黄色的分量。
例如：红外图像和可见光图像分别转换到Lab色彩空间，然后将可见光图像的色彩空间ab通道和红外图像的亮度信息L通道信息设置为融合网络模型的输入，即为IL和Iab。
104、将第一色彩特征图以及第一亮度特征图输入到预设的融合网络模型中进行特征融合，得到融合图像，融合网络模型用于对第一色彩特征图以及第一亮度特征图进行融合，并输出融合图像,融合网络模型为根据样本图像训练得到的网络模型。
将第一色彩特征图以及第一亮度特征图输入到预设的融合网络模型中进行图像特征融合，融合网络模型会输出融合图像，该融合图像融合了第一色彩特征图的色彩特征以及第一亮度特征图的亮度特征，融合网络模型为提前训练好的模型。
在实际应用中，融合网络模型可以设置有编码网络，融合层以及解析网络，网络结构可以采用编解码方式(encode-decode),同时加入稠密像素卷积结构Dense Block，大幅扩展了网络实际深度以及提高了特征利用率，有利于提取像素更高语义的分布。将第一色彩特征图以及第一亮度特征图输入到预设的融合网络模型中进行特征融合具体的，可以是，将第一色彩特征图以及第一亮度特征图输入至编码网络中，得到第二色彩特征图以及第二亮度特征图；将第二色彩特征图以及第二亮度特征图输入至融合层中进行融合，得到融合特征图；将融合特征图输入至解码网络中进行解码，得到融合图像。
例如：Iab和IL输入到编码网络得到高维特征分别为Oab和OL,然后通过融合层fusion layer将Oab和OL融合，得到融合后的特征OLab,然后通过解码网络得到融合后的图像，记为新的融合的图像。
105、将融合图像输入至检测网络模型中对目标黑车进行检测并得到检测结果，检测网络模型用于对融合图像进行车辆检测。
将融合图像输入至检测网络模型中进行黑色车检测，检测网络模型可以是SSD车辆检测网络模型，最终得到检测结果。
本申请提供的黑色车检测方法中，终端通过双目相机采集目标黑车的红外图像以及可见光图像，并对红外图像以及可见光图像进行对齐，由于红外图像保留了更多的亮度细节，而可见光图像保留了更多的色彩细节，因此终端提取可见光头图像的第一色彩特征图以及提取红外图像的第一亮度特征图，并输入至预设的网络模型中，网络模型对特征进行融合并输出融合图像，使得融合图像同时保留较多的色彩和亮度细节，进而再通过检测模型对目标黑车进行检测，本申请提供的方法极大程度的提高了黑车的检测效果。
本申请提供的黑色车检测方法中，还需要提前对融合网络模型进行训练，下面将结合附图对具体的训练方法进行详细阐述。
请参阅图2，图2为本申请提供的融合网络模型训练方法的一个实施例流程示意图，该方法包括：
201、通过双目相机采集目标样本图像对，样本图像对包括样本红外图像以及样本可见光图像；
首先通过双目相机采集目标黑色车的样本图像对，其中包括样本红外图像以及可见光图像，具体的采集方法可以是通过预先布置好的双目相机录制路边的高位视频，包括红外视频和可见光视频，然后从录制的视频中抓取出样本红外图像以及样本可见光图像，可以是隔帧抓取，通过此方法获取2000对样本图像对。
202、对样本红外图像以及样本可见光图像进行像素对齐；
对样本红外图像以及样本可见光图像进行像素对齐，以提升训练效果，具体可以是通过相机标定模型进行像素对齐。
203、将对齐后的样本红外图像以及对齐后的样本可见光图像输入至初始化网络模型中进行特征融合，得到输出融合图像；
将对齐后的样本红外图像以及样本可见光图像输入至初始化网络模型中进行特征融合，初始化网络模型具有初始化参数，为未经训练的网络模型。初始化网络模型会得到输出融合图像。
204、通过预设的损失函数计算输出融合图像分别与对齐后的样本红外图像以及对齐后的可见光图像之间的特征损差；
根据预设的损失函数来计算输出融合图像和对齐后的样本图像对的特征损差，损失函数可以是：
L＝λLssim+Lp；
其中L表示总损失，Lssim表示结构性损失，λ为对应权重，Lp为高维像素级均方差损失，Lp损失函数定义如下：
Lp＝||O-I||2；
O表示输出融合图像，I表示输入的样本图像对；
Lssim损失函数可以是：
Lssim＝1-SSIM(O，I)；
O表示输出融合图像，I表示输入的样本图像对。
205、根据特征损差动态调整初始化网络模型，直至得到收敛的融合网络模型。
终端根据特征损差动态调整该初始化网络模型，直至该初始化网络模型收敛，即达到符合预期效果，即可将收敛的模型确定为融合网络模型。
上述实施例对本申请中提供的黑色车检测方法进行了详细阐述，下面将结合附图对本申请中提供的黑色车检测系统进行阐述。
请参阅图3，图3为本申请中提供的黑色车检测系统的一个实施例结构示意图，该黑色车检测系统包括：
采集单元301，用于通过双目相机采集目标黑车的红外图像以及可见光图像；
对齐单元302，用于对红外图像以及可见光图像进行像素对齐；
提取单元303，用于提取对齐后的可见光图像的第一色彩特征图以及对齐后的红外图像的第一亮度特征图；
融合单元304，用于将第一色彩特征图以及第一亮度特征图输入到预设的网络模型中进行特征融合，得到融合图像；
检测单元305，用于将融合图像输入至检测网络模型中对目标黑车进行检测。
可选的，双目相机包括红外相机以及可见光相机，可选的，该系统还包括计算单元306，计算单元306用于：
计算红外相机的第一相机内参和第一相机外参以及计算可见光相机的第二相机内参以及第二相机外参；
对齐单元302具体用于：
根据第一相机内参将红外图像转换到世界坐标系中；
结合第一相机外参将世界坐标系中的红外图像转换到相机坐标系中；
根据第二相机内参对红外图像以及可见光图像进行像素对齐。
可选的，该系统还包括：红外检测单元307，红外检测单元307具体用于：
将红外图像输入至预设的红外检测模型中，得到目标黑车的红外检测框；
对齐单元302具体用于：
结合第一相机内参以及红外检测框的坐标信息将红外图像转换到世界坐标系中。
可选的，预设的网络模型中设置有编码网络、解码网络以及融合层，融合单元304具体用于：
将第一色彩特征图以及第一亮度特征图输入至编码网络中，得到第二色彩特征图以及第二亮度特征图；
将第二色彩特征图以及第二亮度特征图输入至融合层中进行融合，得到融合特征图；
将融合特征图输入至解码网络中进行解码，得到融合图像。
可选的，该系统还包括：转换单元308，转换单元308具体用于：
分别将红外图像以及可见光图像转换至Lab色彩空间。
可选的，该系统还包括模型训练单元309，模型训练单元309具体用于：
通过双目相机采集目标样本图像对，样本图像对包括样本红外图像以及样本可见光图像；
对样本红外图像以及样本可见光图像进行像素对齐；
将对齐后的样本红外图像以及对齐后的样本可见光图像输入至初始化网络模型中进行特征融合，得到输出融合图像；
通过预设的损失函数计算输出融合图像分别与对齐后的样本红外图像以及对齐后的可见光图像之间的特征损差；
根据特征损差动态调整初始化网络模型，直至得到收敛的融合网络模型。
可选的，模型训练单元309具体用于：
通过双目相机采集样本视频，样本视频包括样本红外视频以及样本可见光视频；
从样本视频中提取出样本红外图像以及样本可见光图像。
本申请还提供了一种黑色车检测装置，包括：
处理器401、存储器402、输入输出单元403、总线404；
处理器401与存储器402、输入输出单元403以及总线404相连；
存储器402保存有程序，处理器401调用程序以执行如上任一黑色车检测方法。
本申请还涉及一种计算机可读存储介质，计算机可读存储介质上保存有程序，其特征在于，当程序在计算机上运行时，使得计算机执行如上任一黑色车检测方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种黑色车检测方法，其特征在于，所述方法包括：
通过双目相机采集目标黑色车的红外图像以及可见光图像；
对所述红外图像以及所述可见光图像进行像素对齐；
提取对齐后的可见光图像的第一色彩特征图以及对齐后的红外图像的第一亮度特征图；
将所述第一色彩特征图以及所述第一亮度特征图输入到预设的融合网络模型中进行特征融合，得到融合图像，所述融合网络模型为根据样本图像对训练得到的网络模型。
将所述融合图像输入至检测网络模型中对所述目标黑车进行检测并得到检测结果，所述检测网络模型为训练好的用于车辆检测的网络模型。
2.根据权利要求1中所述的黑色车检测方法，其特征在于，所述双目相机包括红外相机以及可见光相机，在所述通过双目相机采集目标黑车的红外图像以及可见光图像之前，所述方法还包括：
计算所述红外相机的第一相机内参和第一相机外参以及计算所述可见光相机的第二相机内参以及第二相机外参；
所述对所述红外图像以及所述可见光图像进行像素对齐包括：
根据所述第一相机内参将所述红外图像转换到世界坐标系中；
结合所述第一相机外参将所述世界坐标系中的所述红外图像转换到相机坐标系中；
根据所述第二相机内参对所述红外图像以及所述可见光图像进行像素对齐。
3.根据权利要求2中所述的黑色车检测方法，其特征在于，在所述根据所述第一相机内参将所述红外图像转换到世界坐标系中之前，所述方法还包括：
将所述红外图像输入至预设的红外检测模型中，得到所述目标黑车的红外检测框；
所述根据所述第一相机内参将所述红外图像转换到世界坐标系中包括：
结合所述第一相机内参以及所述红外检测框的坐标信息将所述红外图像转换到世界坐标系中。
4.根据权利要求1中所述的黑色车检测方法，其特征在于，所述预设的网络模型中设置有编码网络、解码网络以及融合层，所述将所述第一色彩特征图以及所述第一亮度特征图输入到预设的网络模型中进行特征融合，得到融合图像包括：
将所述第一色彩特征图以及所述第一亮度特征图输入至所述编码网络中，得到第二色彩特征图以及第二亮度特征图；
将所述第二色彩特征图以及所述第二亮度特征图输入至所述融合层中进行融合，得到融合特征图；
将所述融合特征图输入至所述解码网络中进行解码，得到融合图像。
5.根据权利要求1至4中任一项所述的黑色车检测方法，其特征在于，在所述提取对齐后的可见光图像的第一色彩特征图以及对齐后的红外图像的第一亮度特征图之前，所述方法还包括：
分别将所述红外图像以及所述可见光图像转换至Lab色彩空间。
6.根据权利要求1至4中任一项所述的黑色车检测方法，其特征在于，所述融合网络模型通过如下方法训练得到：
通过双目相机采集目标样本图像对，所述样本图像对包括样本红外图像以及样本可见光图像；
对所述样本红外图像以及所述样本可见光图像进行像素对齐；
将对齐后的所述样本红外图像以及对齐后的所述样本可见光图像输入至初始化网络模型中进行特征融合，得到输出融合图像；
通过预设的损失函数计算所述输出融合图像分别与对齐后的样本红外图像以及对齐后的所述可见光图像之间的特征损差；
根据所述特征损差动态调整所述初始化网络模型，直至得到收敛的所述融合网络模型。
7.根据权利要求6中所述的黑色车检测方法，其特征在于，所述通过双目相机采集目标样本图像对包括：
通过双目相机采集样本视频，所述样本视频包括样本红外视频以及样本可见光视频；
从所述样本视频中提取出样本红外图像以及样本可见光图像。
8.一种黑色车检测系统，其特征在于，所述系统包括：
采集单元，用于通过双目相机采集目标黑车的红外图像以及可见光图像；
对齐单元，用于对所述红外图像以及所述可见光图像进行像素对齐；
提取单元，用于提取对齐后的可见光图像的第一色彩特征图以及对齐后的红外图像的第一亮度特征图；
融合单元，用于将所述第一色彩特征图以及所述第一亮度特征图输入到预设的网络模型中进行特征融合，得到融合图像；
检测单元，用于将所述融合图像输入至检测网络模型中对所述目标黑车进行检测。
9.一种黑色车检测装置，其特征在于，所述装置包括：
处理器、存储器、输入输出单元以及总线；
所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
所述存储器保存有程序，所述处理器调用所述程序以执行如权利要求1至7任一项所述方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行如权利要求1至7中任一项所述方法。
CN202110223859.9A 2021-03-01 2021-03-01 一种黑色车检测方法、系统、装置以及存储介质 Pending CN113076953A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110223859.9A CN113076953A (zh) 2021-03-01 2021-03-01 一种黑色车检测方法、系统、装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110223859.9A CN113076953A (zh) 2021-03-01 2021-03-01 一种黑色车检测方法、系统、装置以及存储介质

Publications (1)

Publication Number Publication Date
CN113076953A true CN113076953A (zh) 2021-07-06

Family

ID=76609619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110223859.9A Pending CN113076953A (zh) 2021-03-01 2021-03-01 一种黑色车检测方法、系统、装置以及存储介质

Country Status (1)

Country Link
CN (1) CN113076953A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115050016A (zh) * 2022-08-15 2022-09-13 深圳市爱深盈通信息技术有限公司 车牌检测方法、装置、设备终端和可读存储介质
WO2023045149A1 (zh) * 2021-09-26 2023-03-30 上海闻泰电子科技有限公司 图像融合方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111581A (zh) * 2019-05-21 2019-08-09 哈工大机器人（山东）智能装备研究院 目标识别方法、装置、计算机设备及存储介质
CN111611905A (zh) * 2020-05-18 2020-09-01 沈阳理工大学 一种可见光与红外融合的目标识别方法
CN111709902A (zh) * 2020-05-21 2020-09-25 江南大学 基于自注意力机制的红外和可见光图像融合方法
CN111738970A (zh) * 2020-06-19 2020-10-02 无锡英菲感知技术有限公司 图像融合方法、装置及计算机可读存储介质
CN112016478A (zh) * 2020-08-31 2020-12-01 中国电子科技集团公司第三研究所 一种基于多光谱图像融合的复杂场景识别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111581A (zh) * 2019-05-21 2019-08-09 哈工大机器人（山东）智能装备研究院 目标识别方法、装置、计算机设备及存储介质
CN111611905A (zh) * 2020-05-18 2020-09-01 沈阳理工大学 一种可见光与红外融合的目标识别方法
CN111709902A (zh) * 2020-05-21 2020-09-25 江南大学 基于自注意力机制的红外和可见光图像融合方法
CN111738970A (zh) * 2020-06-19 2020-10-02 无锡英菲感知技术有限公司 图像融合方法、装置及计算机可读存储介质
CN112016478A (zh) * 2020-08-31 2020-12-01 中国电子科技集团公司第三研究所 一种基于多光谱图像融合的复杂场景识别方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045149A1 (zh) * 2021-09-26 2023-03-30 上海闻泰电子科技有限公司 图像融合方法、装置、电子设备和存储介质
CN115050016A (zh) * 2022-08-15 2022-09-13 深圳市爱深盈通信息技术有限公司 车牌检测方法、装置、设备终端和可读存储介质
CN115050016B (zh) * 2022-08-15 2023-01-17 深圳市爱深盈通信息技术有限公司 车牌检测方法、装置、设备终端和可读存储介质

Similar Documents

Publication Publication Date Title
CN103400150B (zh) 一种基于移动平台进行道路边缘识别的方法及装置
US20160105636A1 (en) Image Processing Method and Device
CN108765333B (zh) 一种基于深度卷积神经网络的深度图完善方法
CN110189294B (zh) 基于深度可信度分析的rgb-d图像显著性检测方法
CN113052066B (zh) 三维目标检测中基于多视图和图像分割的多模态融合方法
CN110944200B (zh) 一种评估沉浸式视频转码方案的方法
CN113076953A (zh) 一种黑色车检测方法、系统、装置以及存储介质
CN111369548B (zh) 一种基于生成对抗网络的无参考视频质量评价方法及装置
CN104205826A (zh) 用于重建高密度三维图像的设备和方法
CN101115131A (zh) 基于像素空间相关性的图像融合效果实时评价方法及装置
CN107239760B (zh) 一种视频数据处理方法及系统
CN105931189B (zh) 一种基于改进超分辨率参数化模型的视频超分辨率方法及装置
US20230394829A1 (en) Methods, systems, and computer-readable storage mediums for detecting a state of a signal light
CN113673584A (zh) 一种图像检测方法及相关装置
CN113963170A (zh) 一种基于交互式特征融合的rgbd图像显著性检测方法
CN104243970A (zh) 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法
CN116778186A (zh) 全景图像显著性对象的检测方法、装置、设备及存储介质
CN114202775A (zh) 基于红外图像的变电站危险区域行人闯入检测方法及系统
CN111723735B (zh) 一种基于卷积神经网络的伪高码率hevc视频检测方法
KR20140118083A (ko) 입체 영상 제작 시스템 및 깊이 정보 획득방법
CN116962612A (zh) 应用于仿真系统的视频处理方法、装置、设备及存储介质
CN113674230B (zh) 一种室内逆光人脸关键点的检测方法及装置
CN113191210B (zh) 一种图像处理方法、装置及设备
CN113542864B (zh) 视频的花屏区域检测方法、装置、设备及可读存储介质
CN113727073A (zh) 一种基于云计算实现车载视频监控的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination