CN110807360A - 基于摄像头侦测挡车墙的方法、装置和系统 - Google Patents

基于摄像头侦测挡车墙的方法、装置和系统 Download PDF

Info

Publication number
CN110807360A
CN110807360A CN201910888519.0A CN201910888519A CN110807360A CN 110807360 A CN110807360 A CN 110807360A CN 201910888519 A CN201910888519 A CN 201910888519A CN 110807360 A CN110807360 A CN 110807360A
Authority
CN
China
Prior art keywords
stopping wall
camera
car
car stopping
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910888519.0A
Other languages
English (en)
Inventor
喻恺
詹志勇
顾晓勇
杜娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weichai Power Co Ltd
Original Assignee
Weichai Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weichai Power Co Ltd filed Critical Weichai Power Co Ltd
Priority to CN201910888519.0A priority Critical patent/CN110807360A/zh
Publication of CN110807360A publication Critical patent/CN110807360A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明具体涉及一种基于摄像头侦测挡车墙的方法、装置和设备。基于摄像头侦测挡车墙的方法包括：控制车辆内的引导程序模块在车辆启动后启动，引导程序模块引导车辆内的操作模块启动；控制操作模块启动车辆尾部的摄像头，将摄像头拍摄到的画面导入挡车墙图像识别模型，通过挡车墙图像识别模型判定画面内是否有挡车墙；根据画面内有挡车墙，则根据挡车墙图像识别模型中预存挡车墙的大小与预存车距之间的关系确定挡车墙与车辆尾部之间的距离。通过本发明的基于摄像头侦测挡车墙的方法，不仅能够辨认出画面内的障碍物是否为挡车墙，还能检测出挡车墙与车辆之间的间距。

Description

基于摄像头侦测挡车墙的方法、装置和系统
技术领域
本发明涉及车辆监控技术领域，具体涉及一种基于摄像头侦测挡车墙的方法、装置和系统。
背景技术
本部分提供的仅仅是与本公开相关的背景信息，其并不必然是现有技术。
现有技术中，矿山车采用超声波雷达检测后方挡车墙与车辆之间的距离，并传输到CAN总线上。通过超声波雷达来识别挡车墙的步骤为：超声波雷达控制器控制超声波雷达探头发送探测波(机械波)；探测波到达挡车墙之后被反射回去；超声波雷达探头检测到回波之后，将检测到的数据(回波强度、频率等)发回超声波雷达控制器；超声波雷达控制器解析探头发回的数据，并转换成障碍物到探头的距离数据发送到车辆的CAN总线上。
通过超声波雷达检测后方挡车墙与车辆之间的距离具有以下几个缺点：
1)由于超声波雷达是通过工作时不断震动发出机械波，所以寿命较短，只有1～2年；
2)由于超声波雷达是通过检测回波数据来判断障碍物的，所以无法分辨出障碍物的类型；
3)现有车载超声波雷达无法发出较强的机械波，因此超声波雷达探测距离较短，一般不超过5米；
4)由于道路上的坑洼也会引起超声波雷达回波的变化，因此超声波雷达探测的距离数据会出现跳变现象。
发明内容
本发明是针对上述现有技术的不足提出的一种基于摄像头侦测挡车墙的方法，该方法通过通过摄像头辨认出障碍物是否为挡车墙，还能检测出挡车墙与车辆之间的间距。
本发明的第一方面提供了一种基于摄像头侦测挡车墙的方法，该方法包括如下步骤：控制车辆内的引导程序模块在车辆启动后启动，并通过引导程序模块引导车辆内的操作模块启动；控制操作模块启动车辆尾部的摄像头，将摄像头拍摄到的画面导入挡车墙图像识别模型，通过挡车墙图像识别模型判定画面内是否有挡车墙；根据画面内有挡车墙，则根据挡车墙图像识别模型中预存挡车墙的大小与预存车距之间的关系确定挡车墙与车辆尾部之间的距离；
本发明的基于摄像头侦测挡车墙的方法，具有以下几个优点：
1)由于摄像头内无活动部件，因此寿命比超声波雷达探头高；
2)由于摄像头拍摄的是图像，通过算法可以清楚的辨认出障碍物是否挡车墙；
3)由于摄像头拍摄距离远，因此探测距离比超声波雷达远得多；
4)道路的坑洼不会引起摄像头辨认出的挡车墙距离数据变化；
5)相对于激光雷达，摄像头的成本较低。
进一步地，控制车辆内的引导程序模块在车辆启动后启动，引导程序模块引导车辆内的操作模块启动前包括：通过车辆尾部的摄像头拍摄包含有预存挡车墙的多个训练画面，通过卷积神经网络和多个训练画面训练出挡车墙图像识别模型。
进一步地，通过车辆尾部的摄像头拍摄包含有挡车墙多个训练画面，通过卷积神经网络和多个训练画面训练出挡车墙图像识别模型具体包括：提取多个训练画面内多个预存挡车墙的多个特征值；通过卷积计算和池化计算将多个特征值转化为数值存放在卷积核内；将卷积核经过全连接层后生成预测值并储存；通过损失函数层利用梯度下降法测量预测值与真实值的误差，并对预测值进行优化并保存；重复拍摄多个训练画面，通过卷积神经网络和重复拍摄的多个训练画面训练出挡车墙图像识别模型。
进一步地，提取多个训练画面内多个预存挡车墙的多个特征值具体包括：将训练画面中预存挡车墙的上边沿、下边沿、左边沿、右边沿、左上角、右上角、左下角和右下角定义为特征值并存放在卷积核。
进一步地，通过卷积计算和池化计算将多个特征值转化为数值存放在卷积核内具体包括：对多个特征值进行第一次卷积计算和第一次池化计算并存放在卷积核内；对卷积核内的经过第一次卷积计算和第一次池化计算的多个特征值进行第二次卷积计算和第二次池化计算。
本发明的第二方面还提供了一种基于摄像头侦测挡车墙的装置，基于摄像头侦测挡车墙的装置用于执行本发明第一方面的基于摄像头侦测挡车墙的方法，基于摄像头侦测挡车墙的装置包括控制模块、引导程序模块、操作模块和确定模块，控制模块用于：控制车辆内的引导程序模块在车辆启动后启动，并通过引导程序模块引导车辆内的操作模块启动；控制操作模块启动车辆尾部的摄像头，将摄像头拍摄到的画面导入挡车墙图像识别模型，通过挡车墙图像识别模型判定画面内是否有挡车墙；运算模块用于：根据画面内有挡车墙，则根据挡车墙图像识别模型中预存挡车墙的大小与预存车距之间的关系计算挡车墙与车辆尾部之间的距离。
进一步地，基于摄像头侦测挡车墙的装置还包括训练模块，训练模块用于：通过车辆尾部的摄像头拍摄包含有预存挡车墙的多个训练画面，通过卷积神经网络和多个训练画面训练出挡车墙图像识别模型。
进一步地，基于摄像头侦测挡车墙的装置还包括提取模块、生成模块，提取模块用于：提取多个训练画面内多个预存挡车墙的多个特征值；运算模块用于：通过卷积计算和池化计算将多个特征值转化为数值存放在卷积核内；生成模块用于：将卷积核经过全连接层后生成预测值并储存；运算模块用于：通过损失函数层利用梯度下降法测量预测值与真实值的误差，并对预测值进行优化并保存；训练模块用于：重复拍摄多个训练画面，通过卷积神经网络和重复拍摄的多个训练画面训练出挡车墙图像识别模型。
进一步地，基于摄像头侦测挡车墙的装置还包括定义模块，定义模块用于：将训练画面中预存挡车墙的上边沿、下边沿、左边沿、右边沿、左上角、右上角、左下角和右下角定义为特征值并存放在卷积核内。
进一步地，运算模块还用于：对多个特征值进行第一次卷积计算和第一次池化计算并存放在卷积核内；对卷积核内的经过第一次卷积计算和第一次池化计算的多个特征值进行第二次卷积计算和第二次池化计算。
本发明的第三方面还提供了一种基于摄像头侦测挡车墙的系统，基于摄像头侦测挡车墙的系统包括摄像头和基于深度神经网络模型的图像识别处理设备，图像识别处理设备内设置有根据本发明第二方面的基于摄像头侦测挡车墙的装置。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明一个实施例的车辆识别挡车墙的结构示意图；
图2为本发明一个实施例的基于摄像头侦测挡车墙的系统的结构框图；
图3为本发明一个实施例的基于摄像头侦测挡车墙的方法的流程示意图；
图4为本发明一个实施例的挡车墙图像识别模型内挡车墙的结构示意图；
图5为本发明一个实施例的生成挡车墙图像识别模型的流程示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是，本发明通过将基于摄像头侦测挡车墙的方法和装置应用于矿山车的挡车墙进行描述，但并不是对本发明基于摄像头侦测挡车墙的方法、装置和系统应用范围的限制，例如，本发明的基于摄像头侦测挡车墙的方法、装置和系统还可以用于其他车辆的障碍物如客运车的停车位档杆，这种调整属于本发明基于摄像头侦测挡车墙的方法、装置和系统的保护范围。
如图1和图2所示，本发明提供了一种基于摄像头1侦测挡车墙的系统。该系统包括若干用于采集车辆后方图像的摄像头1、基于深度神经网络模型的图像识别处理设备2。图像识别处理设备内包括用于处理数据的数据处理模块3、用于存储数据的数据存储模块4、用于远程传输数据的无线通讯模块5、用于将数据处理模块3发出的数据转换为车辆CAN协议数据的CAN模块6(包括CAN通讯模块和CAN接口10)、I/O接口7、电源接口8和天线接口9。
摄像头1安装在车辆尾部，其包括若干个1080p黑白摄像头1，与基于深度神经网络模型的图像识别处理设备2中的数据处理模块3相连接。
数据处理模块3包括处理器、RAM(运行内存)、ROM(只读存储器)，其中，ROM中存有用于升级程序的引导程序模块11。
数据存储模块4内部存有操作模块14、应用程序模块12、由训练数据训练出的挡车墙图像识别模型13、训练数据等，数据存储模块4与数据处理模块3相连接。
无线通讯模块5用于远程通讯，无线通讯模块5与数据处理模块3相连接，数据处理模块3可以通过无线通讯模块5发送及接收指令与数据，通过它与远程平台通讯。
CAN通讯模块用于与车辆进行CAN通讯，CAN通讯模块与数据处理模块3相连接，数据处理模块3可以通过CAN通讯模块发送及接收指令和数据，通过CAN通讯模块与车辆进行通讯。
I/O接口7用于将摄像头1与基于深度神经网络模型的图像识别处理设备2相连。
电源接口8用于将电源与基于深度神经网络模型的图像识别处理设备2相连。
天线接口9用于将天线与基于深度神经网络模型的图像识别处理设备2相连。
CAN接口10用于将车辆CAN网络与基于深度神经网络模型的图像识别处理设备2相连。
引导程序模块11用于引导数据处理模块3启动及远程更新，引导程序模块11存储在数据处理模块3的只读内存中。
应用程序模块12用于使基于深度神经网络模型的图像识别处理设备2具有输入图像、调用由训练数据训练出的挡车墙图像识别模型13、与CAN模块6通讯、与无线通讯模块5通讯等功能。
由训练数据训练出的挡车墙图像识别模型13用于识别摄像头1拍摄到的挡车墙并测量挡车墙与车尾部之间的距离。
操作模块14用于运行应用程序模块12及由训练数据训练出的挡车墙图像识别模型13。
如图3所示，基于上述基于摄像头侦测挡车墙的系统，本发明还提供了一种基于摄像头侦测挡车墙的方法，包括如下步骤：
S10，车辆启动后，控制储存在数据处理模块3中的引导程序模块11首先启动，然后通过引导程序模块11引导数据存储模块4中的操作模块14启动；
S12，操作模块14启动后，控制操作模块14调用应用程序模块12启动车辆尾部的摄像头1，然后将车辆尾部的摄像头1拍摄到的画面不断导入由训练数据训练出的挡车墙图像识别模型13进行判定，判定摄像头1拍摄到的画面里面是否有挡车墙；
S121，当挡车墙图像识别模型13判定摄像头1拍摄的画面中没有挡车墙时，则返回上一步骤S12，应用程序模块12继续将摄像头1拍摄到的下一帧画面导入挡车墙图像识别模型13进行判定；
S14，当挡车墙图像识别模型13判断摄像头1拍摄的画面中有挡车墙时，则根据挡车墙图像识别模型13的训练画面中预存挡车墙的大小与预存车距之间的关系，计算出当前挡车墙与车辆尾部之间的距离值，然后将距离值返回至应用程序模块12；
S16，当应用程序模块12接收到挡车墙图像识别模型13返回的距离值之后，将距离值转换为CAN数据并发送给CAN模块，然后CAN模块将距离值发送至车辆的CAN网络。
进一步地，基于摄像头侦测挡车墙的方法还包括步骤：当挡车墙图像识别处理设备2内的软件需要升级时，无线通讯模块5会接收升级后的软件，并将其存储在数据存储模块4的一个单独区块中，然后重新启动设备引导程序模块11，引导程序模块11从数据存储模块4中升级后的软件所在的区域开始启动。
如图4和图5所示，本发明基于深度神经网络模型通过训练数据训练出的挡车墙图像识别模型13的原理如下：
步骤一：读取专用挡车墙数据集，并且预定义数据；
读取使用1080p分辨率为1920*1080像素的黑白摄像头在正式安装位置拍摄的数据集，以确保训练出的挡车墙图像识别模型与摄像头在安装后拍摄到的挡车墙图像角度、位置一致，将模型中总像素定义为1920*1080＝2088960个；
步骤二：设置权重、偏置值函数；
产生随机变量：生成的值服从具有指定平均值和标准偏差的正态分布，如果生成的值大于平均值2个标准偏差值则丢弃重新选择；
从截断的正态分布中输出随机值，选取位于正态分布均值＝0.1附近的随机值；
步骤三：对卷积函数、池化函数定义
输入图片信息矩阵、卷积核的值、卷积核向右和向下移动的步长，卷积计算的向右和向下的步长都设置为1、池化计算向右和向下的步长设置为2。
将卷积核的大小设置为320*180个像素，将挡车墙的图像特征转化为数值放在卷积核中。
步骤四：第一次卷积+池化
卷积层1网络结构定义
卷积核1：由于这里的卷积核大小是320*180的，输入的通道数是1，输出的通道数是32。
第一次卷积之后输出图片的尺寸为1920*1080*32
为了减少计算，将图片池化，第一次池化之后输出图片的尺寸是960*540，通过激活函数ReLU进行非线性处理。
线性整流函数(Rectified Linear Unit,ReLU)，又称修正线性单元，是一种人工神经网络中常用的激活函数(activation function)，通常指代以斜坡函数及其变种为代表的非线性函数。
通常意义下，线性整流函数指代数学中的斜坡函数，即f(x)＝max(0，x)，而在神经网络中，线性整流作为神经元的激活函数，定义了该神经元在线性变换wTx+b之后的非线性输出结果。对于进入神经元的来自上一层神经网络的输入向量x，使用线性整流激活函数的神经元会输出max(0，wTx+b)至下一层神经元或作为整个神经网络的输出(取决现神经元在网络结构中所处位置)。
在矩阵2*2的区域中取平均值，池化步长是2。
卷积核的值这里就相当于权重值，用随机数列生成的方式得到
由于挡车墙数据集图片大小都是1920*1080，且是黑白单色，所以准确的图片尺寸大小是1920*1080*1(1表示图片只有一个色层，彩色图片都是3个色层——RGB)，所以经过第一次卷积后，输出的通道数由1变成32，图片尺寸变为：1920*1080*32(相当于拉伸了高度)
再经过第一次池化(池化步长是2)及激活后，图片尺寸为960*540*32
步骤五：第二次卷积+池化
卷积层2网络结构定义
卷积核2：第二次卷积核大小也是320*180的，输入的通道数是32，输出的通道数是64。
第二次卷积之后输出图片的尺寸为960*540*64
为了进一步减少计算量，进行第二次池化激活(池化步长是2)，池化激活之后输出图片的尺寸为480*270*64。
步骤六：设置全连接层1、全连接层2
全连接层1
全连接层1的输入就是第二次池化后的输出，尺寸是480*270*64，全连接层1有1024个神经元。
根据已有的维度计算出数组的另外形状属性值，例如一个三维数组是[[[0]，[1]]，[[2]，[3]]，[[4]，[5]]]，则其形状是(3,2,1)。
为了减小过拟合现象。每次只让部分神经元参与工作使权重得到调整。
全连接层2
全连接层2有10个神经元，相当于生成的分类器。
经过全连接层1、2，将前面经过卷积池化后得到的预测值保存起来。
步骤七：损失函数层选择梯度下降法优化、求准确率
损失函数使用二次代价函数，测量预测值与真实值的误差。
由于数据集太庞大，使用梯度下降法学习，学习率是1e-4，这里采用的优化器是AdamOptimizer优化器。
将结果存放在一个布尔型列表中。
返回对于输入预测到的标签值。
为了计算分类的准确率，将返回的布尔数组转换为浮点数来代表对与错，然后取平均值。
步骤八：设置其它参数、保存参数
将图像原始数据包设置为来源于DangCheQiang数据集，一个批次包含50条数据
保存模型参数
将神经元参与率设置为0.5，只有一半的神经元参与工作。
步骤九：重复运行一万次，得到较精确的挡车墙图像识别模型
每运行一次，都会由损失函数评估运行的结果与实际图像之间的区别，运行一万次之后，挡车墙图像识别模型识别图像的识别率能够达到95％以上。
本发明由于采用了基于摄像头侦测挡车墙的技术，所以有以下几个优点：
1)由于摄像头内无活动部件，因此寿命比超声波雷达探头高。
2)由于摄像头拍摄的是图像，通过算法可以清楚的辨认出障碍物是否挡车墙。
3)由于摄像头拍摄距离远，因此探测距离比超声波雷达远得多。
4)道路的坑洼不会引起摄像头辨认出的挡车墙距离数据的变化。
5)相对于超声波雷达，成本只有约10％左右。
进一步地，基于上述基于摄像头侦测挡车墙的系统和方法，本发明还提供了一种基于摄像头侦测挡车墙的装置，基于摄像头侦测挡车墙的装置用于执行本发明的基于摄像头侦测挡车墙的方法，基于摄像头侦测挡车墙的装置设置于上述基于摄像头侦测挡车墙的系统的图像识别处理设备内，基于摄像头侦测挡车墙的装置包括控制模块、引导程序模块、操作模块和确定模块，控制模块用于：控制车辆内的引导程序模块在车辆启动后启动，并通过引导程序模块引导车辆内的操作模块启动；控制操作模块启动车辆尾部的摄像头，将摄像头拍摄到的画面导入挡车墙图像识别模型，通过挡车墙图像识别模型判定画面内是否有挡车墙；运算模块用于：根据画面内有挡车墙，则根据挡车墙图像识别模型中预存挡车墙的大小与预存车距之间的关系计算挡车墙与车辆尾部之间的距离。
进一步地，基于摄像头侦测挡车墙的装置还包括训练模块，训练模块用于：通过车辆尾部的摄像头拍摄包含有预存挡车墙的多个训练画面，通过卷积神经网络和多个训练画面训练出挡车墙图像识别模型。
进一步地，基于摄像头侦测挡车墙的装置还包括提取模块、生成模块，提取模块用于：提取多个训练画面内多个预存挡车墙的多个特征值；运算模块用于：通过卷积计算和池化计算将多个特征值转化为数值存放在卷积核内；生成模块用于：将卷积核经过全连接层后生成预测值并储存；运算模块用于：通过损失函数层选择梯度下降法测量预测值与真实值的误差，并对预测值进行优化并保存；训练模块用于：重复拍摄多个训练画面，通过卷积神经网络和重复拍摄的多个训练画面训练出挡车墙图像识别模型。
进一步地，基于摄像头侦测挡车墙的装置还包括定义模块，定义模块用于：将训练画面中预存挡车墙的上边沿、下边沿、左边沿、右边沿、左上角、右上角、左下角和右下角定义为特征值并存放在卷积核内。
进一步地，运算模块还用于：对多个特征值进行第一次卷积计算和第一次池化计算并存放在卷积核内；对卷积核内的经过第一次卷积计算和第一次池化计算的多个特征值进行第二次卷积计算和第二次池化计算。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种基于摄像头侦测挡车墙的方法，其特征在于，所述基于摄像头侦测挡车墙的方法包括如下步骤：
控制车辆内的引导程序模块在车辆启动后启动，并通过引导程序模块引导车辆内的操作模块启动；
控制操作模块启动车辆尾部的摄像头，将摄像头拍摄到的画面导入挡车墙图像识别模型，通过挡车墙图像识别模型判定画面内是否有挡车墙；
根据画面内有挡车墙，则根据挡车墙图像识别模型中预存挡车墙的大小与预存车距之间的关系确定挡车墙与车辆尾部之间的距离。
2.根据权利要求1所述的基于摄像头侦测挡车墙的方法，其特征在于，所述控制车辆内的引导程序模块在车辆启动后启动，引导程序模块引导车辆内的操作模块启动前包括：
通过车辆尾部的摄像头拍摄包含有预存挡车墙的多个训练画面，通过卷积神经网络和多个训练画面训练出挡车墙图像识别模型。
3.根据权利要求2所述的基于摄像头侦测挡车墙的方法，其特征在于，所述通过车辆尾部的摄像头拍摄包含有挡车墙多个训练画面，通过卷积神经网络和多个训练画面训练出挡车墙图像识别模型具体包括：
提取多个训练画面内多个预存挡车墙的多个特征值；
通过卷积计算和池化计算将多个特征值转化为数值存放在卷积核内；
将卷积核经过全连接层后生成预测值并储存；
通过损失函数层利用梯度下降法测量预测值与真实值的误差，并对预测值进行优化并保存；
重复拍摄多个训练画面，通过卷积神经网络和重复拍摄的多个训练画面训练出挡车墙图像识别模型。
4.根据权利要求3所述的基于摄像头侦测挡车墙的方法，其特征在于，所述提取多个训练画面内多个预存挡车墙的多个特征值具体包括：
将训练画面中预存挡车墙的上边沿、下边沿、左边沿、右边沿、左上角、右上角、左下角和右下角作为特征值并存放在卷积核内。
5.根据权利要求3所述的基于摄像头侦测挡车墙的方法，其特征在于，所述通过卷积计算和池化计算将多个特征值转化为数值存放在卷积核内具体包括：
对多个特征值进行第一次卷积计算和第一次池化计算并存放在卷积核内；
对卷积核内的经过第一次卷积计算和第一次池化计算的多个特征值进行第二次卷积计算和第二次池化计算。
6.一种基于摄像头侦测挡车墙的装置，基于摄像头侦测挡车墙的装置用以执行权利要求1至5中任一项所述的基于摄像头侦测挡车墙的方法，其特征在于，所述基于摄像头侦测挡车墙的装置包括控制模块、引导程序模块、操作模块和运算模块，
控制模块用于：控制车辆内的引导程序模块在车辆启动后启动，并通过引导程序模块引导车辆内的操作模块启动；
并控制操作模块启动车辆尾部的摄像头，将摄像头拍摄到的画面导入挡车墙图像识别模型，通过挡车墙图像识别模型判定画面内是否有挡车墙；
运算模块用于：根据画面内有挡车墙，则根据挡车墙图像识别模型中预存挡车墙的大小与预存车距之间的关系计算挡车墙与车辆尾部之间的距离。
7.根据权利要求6所述的基于摄像头侦测挡车墙的装置，其特征在于，所述基于摄像头侦测挡车墙的装置还包括训练模块，
训练模块用于：通过车辆尾部的摄像头拍摄包含有预存挡车墙的多个训练画面，通过卷积神经网络和多个训练画面训练出挡车墙图像识别模型。
8.根据权利要求7所述的基于摄像头侦测挡车墙的装置，其特征在于，所述基于摄像头侦测挡车墙的装置还包括提取模块、生成模块，
提取模块用于：提取多个训练画面内多个预存挡车墙的多个特征值；
运算模块用于：通过卷积计算和池化计算将多个特征值转化为数值存放在卷积核内；
生成模块用于：将卷积核经过全连接层后生成预测值并储存；
运算模块用于：通过损失函数层利用梯度下降法测量预测值与真实值的误差，并对预测值进行优化并保存；
训练模块用于：重复拍摄多个训练画面，通过卷积神经网络和重复拍摄的多个训练画面训练出挡车墙图像识别模型。
9.根据权利要求8所述的基于摄像头侦测挡车墙的装置，其特征在于，所述基于摄像头侦测挡车墙的装置还包括定义模块，
定义模块用于：将训练画面中预存挡车墙的上边沿、下边沿、左边沿、右边沿、左上角、右上角、左下角和右下角定义为特征值并存放在卷积核。
10.根据权利要求9所述的基于摄像头侦测挡车墙的装置，其特征在于，所述运算模块还用于：
对多个特征值进行第一次卷积计算和第一次池化计算并存放在卷积核内；
对卷积核内的经过第一次卷积计算和第一次池化计算的多个特征值进行第二次卷积计算和第二次池化计算。
11.一种基于摄像头侦测挡车墙的系统，所述基于摄像头侦测挡车墙的系统包括摄像头和基于深度神经网络模型的图像识别处理设备，图像识别处理设备内设置有权利要求5至10中任一项所述的基于摄像头侦测挡车墙的装置。
CN201910888519.0A 2019-09-19 2019-09-19 基于摄像头侦测挡车墙的方法、装置和系统 Pending CN110807360A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910888519.0A CN110807360A (zh) 2019-09-19 2019-09-19 基于摄像头侦测挡车墙的方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910888519.0A CN110807360A (zh) 2019-09-19 2019-09-19 基于摄像头侦测挡车墙的方法、装置和系统

Publications (1)

Publication Number Publication Date
CN110807360A true CN110807360A (zh) 2020-02-18

Family

ID=69487686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910888519.0A Pending CN110807360A (zh) 2019-09-19 2019-09-19 基于摄像头侦测挡车墙的方法、装置和系统

Country Status (1)

Country Link
CN (1) CN110807360A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101131321A (zh) * 2007-09-28 2008-02-27 深圳先进技术研究院 一种实时测量安全车距用于汽车防撞预警的方法及装置
CN202022205U (zh) * 2011-03-17 2011-11-02 交通运输部公路科学研究所 面向安全辅助驾驶的多源信息融合装置
CN102735256A (zh) * 2012-06-26 2012-10-17 上海安悦四维信息技术有限公司 一种识别主辅路的车载导航装置及导航方法
CN105608916A (zh) * 2016-03-09 2016-05-25 深圳市中天安驰有限责任公司 一种车辆起步提醒系统
CN106064587A (zh) * 2016-07-06 2016-11-02 北方工业大学 一种基于车牌识别的多车道车间距识别方法及装置
CN106778480A (zh) * 2016-11-22 2017-05-31 武汉大学 一种基于车牌的高精度近距离车距测量方法
CN106802144A (zh) * 2016-12-28 2017-06-06 深圳市美好幸福生活安全系统有限公司 一种基于单目视觉和车牌的车距测量方法
CN107741231A (zh) * 2017-10-11 2018-02-27 福州大学 一种基于机器视觉的多运动目标快速测距方法
CN107944390A (zh) * 2017-11-24 2018-04-20 西安科技大学 机动车行驶前方物体视频测距及方向定位方法
CN108399403A (zh) * 2018-02-28 2018-08-14 重庆大学 一种基于车牌尺寸计算的车距检测方法
CN108515967A (zh) * 2018-04-25 2018-09-11 深圳卡安兴科技有限公司 一种基于车牌识别的防撞预警方法及装置
CN208013826U (zh) * 2017-10-24 2018-10-26 深圳市鼎微科技有限公司 一种汽车新型中控导航娱乐系统核心板
CN109029363A (zh) * 2018-06-04 2018-12-18 泉州装备制造研究所 一种基于深度学习的目标测距方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101131321A (zh) * 2007-09-28 2008-02-27 深圳先进技术研究院 一种实时测量安全车距用于汽车防撞预警的方法及装置
CN202022205U (zh) * 2011-03-17 2011-11-02 交通运输部公路科学研究所 面向安全辅助驾驶的多源信息融合装置
CN102735256A (zh) * 2012-06-26 2012-10-17 上海安悦四维信息技术有限公司 一种识别主辅路的车载导航装置及导航方法
CN105608916A (zh) * 2016-03-09 2016-05-25 深圳市中天安驰有限责任公司 一种车辆起步提醒系统
CN106064587A (zh) * 2016-07-06 2016-11-02 北方工业大学 一种基于车牌识别的多车道车间距识别方法及装置
CN106778480A (zh) * 2016-11-22 2017-05-31 武汉大学 一种基于车牌的高精度近距离车距测量方法
CN106802144A (zh) * 2016-12-28 2017-06-06 深圳市美好幸福生活安全系统有限公司 一种基于单目视觉和车牌的车距测量方法
CN107741231A (zh) * 2017-10-11 2018-02-27 福州大学 一种基于机器视觉的多运动目标快速测距方法
CN208013826U (zh) * 2017-10-24 2018-10-26 深圳市鼎微科技有限公司 一种汽车新型中控导航娱乐系统核心板
CN107944390A (zh) * 2017-11-24 2018-04-20 西安科技大学 机动车行驶前方物体视频测距及方向定位方法
CN108399403A (zh) * 2018-02-28 2018-08-14 重庆大学 一种基于车牌尺寸计算的车距检测方法
CN108515967A (zh) * 2018-04-25 2018-09-11 深圳卡安兴科技有限公司 一种基于车牌识别的防撞预警方法及装置
CN109029363A (zh) * 2018-06-04 2018-12-18 泉州装备制造研究所 一种基于深度学习的目标测距方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
中国铁路总公司: "《列车运行监控装置 LKJ》", 30 November 2013, 北京铁道出版社 *
喻恺 等: "面向人机协同共驾的驾驶行为短时预测方法的研究", 《交通信息与安全》 *

Similar Documents

Publication Publication Date Title
US11453335B2 (en) Intelligent ultrasonic system and rear collision warning apparatus for vehicle
CN111868803B (zh) 产生合成雷达信号
US11783568B2 (en) Object classification using extra-regional context
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
KR102269750B1 (ko) Cnn을 활용한 카메라 및 라이다 센서 기반 실시간 객체 탐지 방법
CN113366496A (zh) 用于粗略和精细对象分类的神经网络
US9809227B2 (en) Apparatus and method for identifying target object
KR102108953B1 (ko) 센서 품질 저하에 강인한 딥러닝 기반 카메라, 라이더 센서 융합 인지 방법 및 시스템
EP3690731A2 (en) Method and device for attention-driven resource allocation by using reinforcement learning and v2x communication to thereby achieve safety of autonomous driving
CN113383283B (zh) 感知信息处理方法、装置、计算机设备和存储介质
US10520940B2 (en) Autonomous operation using deep spatio-temporal learning
JP4937844B2 (ja) 歩行者検出装置
CN112444822A (zh) 合成激光雷达信号的产生
US11941889B2 (en) Advanced driver assist system and method of detecting object in the same
CN116634638A (zh) 灯光控制策略的生成方法、灯光控制方法以及相关装置
CN110659548A (zh) 车辆及其目标检测方法、装置
CN118135543B (zh) 车位及障碍物检测方法、装置、电子设备及存储介质
CN111435457B (zh) 对传感器获取的采集进行分类的方法
CN110807360A (zh) 基于摄像头侦测挡车墙的方法、装置和系统
CN112509321A (zh) 一种基于无人机的城市复杂交通情景的驾驶控制方法、系统及可读存储介质
CN113536867A (zh) 物体识别的方法、装置及系统
CN111144361A (zh) 一种基于二值化cgan网络的公路车道检测方法
CN115375613A (zh) 带基于神经网络的双密度点云生成器的车载激光雷达系统
CN114945961B (zh) 变道预测回归模型训练方法、变道预测方法和装置
CN114078331B (zh) 超速检测方法、装置、视觉传感器和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200218

RJ01 Rejection of invention patent application after publication