CN108873097A - 无人停车库中载车板停车时的安全检测方法及装置 - Google Patents

无人停车库中载车板停车时的安全检测方法及装置 Download PDF

Info

Publication number
CN108873097A
CN108873097A CN201810433819.5A CN201810433819A CN108873097A CN 108873097 A CN108873097 A CN 108873097A CN 201810433819 A CN201810433819 A CN 201810433819A CN 108873097 A CN108873097 A CN 108873097A
Authority
CN
China
Prior art keywords
vehicle
carrying plate
image
feature
described image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810433819.5A
Other languages
English (en)
Other versions
CN108873097B (zh
Inventor
钟超
刘洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Extreme Song Enterprise Management Consulting Center (limited Partnership)
Original Assignee
Shanghai Extreme Song Enterprise Management Consulting Center (limited Partnership)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Extreme Song Enterprise Management Consulting Center (limited Partnership) filed Critical Shanghai Extreme Song Enterprise Management Consulting Center (limited Partnership)
Priority to CN201810433819.5A priority Critical patent/CN108873097B/zh
Publication of CN108873097A publication Critical patent/CN108873097A/zh
Application granted granted Critical
Publication of CN108873097B publication Critical patent/CN108873097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V9/00Prospecting or detecting by methods not provided for in groups G01V1/00 - G01V8/00
    • EFIXED CONSTRUCTIONS
    • E04BUILDING
    • E04HBUILDINGS OR LIKE STRUCTURES FOR PARTICULAR PURPOSES; SWIMMING OR SPLASH BATHS OR POOLS; MASTS; FENCING; TENTS OR CANOPIES, IN GENERAL
    • E04H6/00Buildings for parking cars, rolling-stock, aircraft, vessels or like vehicles, e.g. garages
    • E04H6/42Devices or arrangements peculiar to garages, not covered elsewhere, e.g. securing devices, safety devices, monitoring and operating schemes; centering devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Geophysics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开揭示了一种无人停车库中载车板停车时的安全检测方法及装置,属于计算机技术领域。所述方法包括:采用卷积神经网络算法对采集的图像进行识别,确定载车板、车辆在所述图像中的位置,根据所述载车板、车辆在所述图像的所述位置,从所述图像中提取所述载车板和车辆相关的图像特征,根据所述图像特征,通过安全停车特征对所述载车板停车时进行安全检测。上述无人停车库中载车板停车时的安全检测方法及装置能够自动根据载车板上不同的停放车辆进行自适应性地判断,大大提高在载车板上停车时进行安全检测的精度,有效地解决载车板上停车时的安全隐患问题。

Description

无人停车库中载车板停车时的安全检测方法及装置
技术领域
本公开涉及计算机技术领域,特别涉及一种无人停车库中载车板停车时的安全检测方法及装置。
背景技术
在汽车数量迅速增长而土地越来越稀缺的今天,立体停车库的应用很大程度上缓解了停车难的问题。立体停车库的工作原理是车辆停放在载车板上,通过机械装置使载车板升降或横移,将车辆有序地、立体地停放,从而实现停车空间的有效拓展。
载车板在运行过程中,必须有完备的安全检测装置。传统方法主要是在载车板周边安装一系列光电传感器进行探测,通过光电开关、接近开关、行程开关等对载车板准确运行到位进行安全检测。一方面,由于传统方法主要是针对载车板自身的保护进行安全检测,并不支持对车辆的状态、车辆在载车板上的停放位置等情况进行安全检测;另一方面,由于车辆尺寸各不相同,安装的一系列光电传感器无法对每一车辆进行均进行精准地探测。这些原因将使在载车板上停车时的探测精度不高、安全检测不全面,从而导致立体停车库经常出现安全隐患问题。
发明内容
为了解决相关技术中对载车板停车时进行安全检测的精度不高、安全检测不全面的技术问题,本公开提供了一种无人停车库中载车板停车时的安全检测方法、装置及终端。
第一方面,提供了一种无人停车库中载车板停车时的安全检测方法,其特征在于,包括:
采用卷积神经网络算法对采集的图像进行识别,确定载车板、车辆在所述图像中的位置;
根据所述载车板、车辆在所述图像中的所述位置,从所述图像中提取所述载车板和车辆相关的图像特征;
根据所述图像特征,通过安全停车特征对所述载车板停车时进行安全检测。
第二方面,提供了一种无人停车库中载车板停车时的安全检测装置,其特征在于,所述装置包括:
位置确定模块,用于采用卷积神经网络算法对采集的图像进行识,确定载车板、车辆在所述图像中的位置;
图像特征提取模块,用于根据所述载车板、车辆在所述图像中的所述位置,从所述图像中提取所述载车板和车辆相关的图像特征;
安全检测模块,用于根据所述图像特征,通过安全停车特征对所述载车板停车时进行安全检测。
第三方面,提供了一种终端,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行上述所述无人停车库中载车板停车时的安全检测方法的步骤。
第四方面,提供了一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述所述无人停车库中载车板停车时的安全检测方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:
在进行载车板停车的安全检测时,通过采用卷积神经网络算法对采集的图像进行识别确定载车板、车辆在所述图像中的位置后,从图像中提取所述载车板和车辆相关的图像特征,进而根据图像特征及安全停车特征即可实现对载车板停车时进行安全检测,由于能够自动根据载车板上不同的停放车辆进行自适应性地判断,大大提高了载车板上停车时的探测精度,有效地解决了载车板上停车时的安全隐患问题。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种装置的框图。
图2是根据一示例性实施例示出的一种无人停车库中载车板停车时的安全检测方法的流程图。
图3是图2对应实施例的无人停车库中载车板停车时的安全检测方法中步骤S110的一种具体实现的流程图。
图4是图2对应实施例的步骤S110的另一种具体实现的流程图。
图5是根据一示例性实施例示出的对图像进行处理的流程示意图。
图6是图2对应实施例的步骤S130的一种具体实现的流程图。
图7是图6对应实施例的无人停车库中载车板停车时的安全检测方法中步骤S131的一种具体实现的流程图。
图8是图6对应实施例的无人停车库中载车板停车时的安全检测方法中步骤S131的另一种具体实现的流程图。
图9是图6对应实施例的无人停车库中载车板停车时的安全检测方法中步骤S131的另一种具体实现的流程图。
图10是根据一示例性实施例示出的一种无人停车库中载车板停车时的安全检测装置的框图。
图11是图10对应实施例示出的无人停车库中载车板停车时的安全检测装置中位置确定模块110的一种框图。
图12是图10对应实施例示出的无人停车库中载车板停车时的安全检测装置中位置确定模块110的另一种框图。
图13是图10对应实施例示出的无人停车库中载车板停车时的安全检测装置中安全检测模块130的一种框图。
图14是图10对应实施例示出的无人停车库中载车板停车时的安全检测装置中安全检测模块130的另一种框图。
图15是图10对应实施例示出的无人停车库中载车板停车时的安全检测装置中安全检测模块130的另一种框图。
图16是图10对应实施例示出的无人停车库中载车板停车时的安全检测装置中安全检测模块130的另一种框图。
具体实施方式
这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种装置100的框图。装置100可以应用于智能手机、电脑等终端。
参考图1,装置100可以包括以下一个或者多个组件:处理组件101,存储器102,电源组件103,多媒体组件104,音频组件105,传感器组件107以及通信组件108。
处理组件101通常控制装置100的整体操作,诸如与显示,电话呼叫,数据通信,相机操作以及记录操作相关联的操作等。处理组件101可以包括一个或多个处理器109来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件101可以包括一个或多个模块,便于处理组件101和其他组件之间的交互。例如,处理组件101可以包括多媒体模块,以方便多媒体组件104和处理组件101之间的交互。
存储器102被配置为存储各种类型的数据以支持在装置100的操作。这些数据的示例包括用于在装置100上操作的任何应用程序或方法的指令。存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。存储器102中还存储有一个或多个模块,该一个或多个模块被配置成由该一个或多个处理器109执行,以完成以下任一所示方法中的全部或者部分步骤。
电源组件103为装置100的各种组件提供电力。电源组件103可以包括电源管理系统,一个或多个电源,及其他与为装置100生成、管理和分配电力相关联的组件。
多媒体组件104包括在所述装置100和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件105被配置为输出和/或输入音频信号。例如,音频组件105包括一个麦克风(MIC),当装置100处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或经由通信组件108发送。在一些实施例中,音频组件105还包括一个扬声器,用于输出音频信号。
传感器组件107包括一个或多个传感器,用于为装置100提供各个方面的状态评估。例如,传感器组件107可以检测到装置100的打开/关闭状态,组件的相对定位,传感器组件107还可以检测装置100或装置100一个组件的位置改变以及装置100的温度变化。在一些实施例中,该传感器组件107还可以包括磁传感器,压力传感器或温度传感器。
通信组件108被配置为便于装置100和其他设备之间有线或无线方式的通信。装置100可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件108经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件108还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置100可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行下述方法。
其中,该实施例的终端中的处理器被配置为执行:
采用卷积神经网络算法对采集的图像进行识别,确定载车板、车辆在所述图像中的位置;
根据所述载车板、车辆在所述图像的所述位置,从所述图像中提取所述载车板和车辆相关的图像特征;
根据所述图像特征,通过安全停车特征对所述载车板停车时进行安全检测。
该实施例中的终端中处理器执行操作的具体方式将在有关无人停车库中载车板停车时的安全检测方法的实施例中进行详细描述,此处将不做详细阐述说明。
图2是根据一示例性实施例示出的一种无人停车库中载车板停车时的安全检测方法的流程图。该无人停车库中载车板停车时的安全检测方法用于智能手机、电脑等终端中。如图2所示,该无人停车库中载车板停车时的安全检测方法可以包括以下步骤。
步骤S110,采用卷积神经网络算法对采集的图像进行识别,确定载车板、车辆在所述图像中的位置。
在载车板的可运行区域,均配备有高清摄像头进行视频或图像拍摄。
卷积神经网络是LeCun等人在1998年提出的用于文字识别,他们称之为LeNet-5。卷积操作是基于图像二维结构定义的,其定义局部感受域每个底层特征只跟输入的一个子集有关,如拓扑邻域。卷积层里面的拓扑局部限制会使得权重矩阵非常稀疏,所以卷积操作连接的两层只有局部连接。计算这样的矩阵乘法比起计算一个稠密矩阵乘法更方便高效,另外更小数目的自由参数会使得统计计算有更多的好处。在拥有二维拓扑结构的图像里,相同的输入模式会在不同位置出现,而且相近的值更可能有更强的依赖,这对于数据的模型是非常重要的。计算相同的局部特征可能是在整个图的任意平移位置,所以我们用这样一个局部特征算子在整个图中扫描。这就是卷积并把输入图变换为一个特征图。这个扫描可以看作在不同的位置提取相同的特征,它们是共享权重的,与生物神经网络更相似。通过这种设计不仅可以使模型的复杂度降低,而且使网络权值的数量也大大的减少。CNN利用权值共享的方式减少需要学习的参数数目,较之一般前向BP算法(Error Back Propagation,误差反向传播)使得训练速度和准确度得到了极大的提高。CNN作为一个深度学习算法,可以使得数据的预处理的开销达到最小化。
很明显,深度卷积网络需要大量的有标注样本进行训练,而且还需要在训练过程中进行样本增强。而且由于卷积结构的存在和数据量的庞大,训练一个深度卷积网络需要密集的运算量,因此现在大部分深度卷积网络都是通过GPU训练的。
卷积神经网络一般使用卷积和聚合操作作为基础操作,但是它不需要无监督的逐层预训练策略。在整个训练过程中,反向传播起到的作用是非常突出的,另外通过合适的激励函数能够在提升训练速度的同时提高最终的准确率。
因此,通过卷积神经网络算法,从图像中识别载车板、车辆。
步骤S120,根据所述载车板、车辆在所述图像的所述位置,从所述图像中提取所述载车板和车辆相关的图像特征。
图像特征包括图像的颜色特征、纹理特征、形状特征和空间关系特征等。
可选的,通过一个裁剪后VGG16的卷积神经网络(去掉VGG16最后的三层全连接层和输出层,只保留前16层网络的输出,将最后一层最大池化的特征图输出做为后级边界识别和提取神经网络的输入)从采集的图像中提取载车板和车辆相关的图像特征,得到特征图输出(例如,3*3*512像素矩阵)。
步骤S130,根据所述图像特征,通过安全停车特征对所述载车板停车时进行安全检测。
安全停车特征是表征载车板安全停车的特征。
安全停车特征可以是一个,也可以是多个。例如,安全停车特征为正常停车状态、周边安全状态、安全停放位置的一个或多个。
由于图像特征是体现与载车板、车辆相关的图像,因此,通过安全停车特征对载车板或车辆进行这些特征进行检测,即可判断载车板停车是否安全。
利用如上所述的方法,通过采用卷积神经网络算法对采集的图像进行识别确定载车板、车辆在所述图像中的位置后,从图像中提取所述载车板和车辆相关的图像特征,进而根据图像特征及安全停车特征即可实现对载车板停车时进行安全检测,由于能够自动根据载车板上不同的停放车辆进行自适应性地判断,大大提高了在载车板上停车时进行安全检测的精度,有效地解决了载车板上停车时的安全隐患问题。
图3是根据图2对应示例性实施例示出的对步骤S110的细节的描述。如图3所示,该步骤S110可以包括以下步骤。
步骤S111,按照预设的图像尺寸对采集的图像进行裁剪,得到裁剪图像。
可以理解的是,由于不同的拍摄系统采集的图像可能尺寸上存在一定的差异。因此,按照预设的图像尺寸对采集的图像进行裁剪,使裁剪后的裁剪图像保持统一的尺寸。
例如,采集的图像尺寸为X1*Y1(X1、Y1可以为任何尺寸),通过裁剪后得到的裁剪图像的尺寸为448*448。
通过在进行图像裁剪后保持统一的图像尺寸,避免在进行图像识别时对不同的图像尺寸进行处理而导致识别错误,大大提高了图像识别时的图像适应性。
步骤S112,采用卷积神经网络算法对所述裁剪图像进行识别,确定载车板、车辆在所述图像中的位置。
利用如上所述的方法,在进行图像识别之前,预先对采集的图像进行裁剪,使进行图像识别的图像保持统一的尺寸,大大增强了图像识别时的图像适应性。
可选的,图4是根据图2对应示例性实施例示出的对步骤S110的细节的描述。如图4所示,该步骤S110可以包括以下步骤。
步骤S114,在预设的图像训练集中采用卷积神经网络算法对采集的图像进行识别,确定所述图像中的各目标区域。
预设的图像训练集是预先对样本图像进行训练后得到的样本图像集合。
目标区域是进行图像识别后各物体在图像中的所处区域。
例如,目标区域可以为车辆、载车板、不确定物体等在图像中的所处区域。
在一示例性实施例中,通过确定各物体在图像中的边界,确定各物体在图像中的所处区域。
例如,通过构建以下数学模型计算各物体边界的分布概率图:
c=exp(cs)/exp(cs)+exp(bs)+exp(ds)
然后我们构建以下数学模型得到车辆和载车板的最大边界:
m=βmTbm+β(m-1)Tc(m-1)+mTLm
其中m为最终边界像素值,1表示全1矩阵,L是输入图像对应的拉普拉斯矩阵,β为调节参数。
进而通过预设的图像训练集(包含车辆头部正向左右两侧45度角,车辆左右两侧正对角度,车辆尾部左右两侧45度角,车辆顶部正对,载车板四侧45度角,载车板顶部正对预处理图片集),迭代训练整个的深度神经网络的可调参数,最终完成自动识别和提取视频图像中停靠车辆和载车板最大边界。
步骤S115,采用激励函数对所述目标区域进行分类识别,在所述图像中确定载车板和车辆分别对应的所述目标区域。
激励函数是神经网络中隐层和输出层节点的输入和输出之间的函数关系。
激励函数可以为Sigmoid函数、阶跃函数、softmax函数等。
例如,激励函数为softmax函数,通过采用softmax函数,使输出的后验概率分布接近于目标概率分布(标签类为1,其他类为0)。
通过激励函数对各目标区域对应的物体进行识别,从而进一步保证物体识别的准确性。
例如,如图5所示,输入的图像被预处理为448*448*3的数据矩阵,首先通过一个标准的56层残差网络进行特征提取,提取的特征依次通过9*9*1024、9*9*1024、7*7*512、5*5*512、3*3*256、1*1*256的卷积网络进行特征分类,输出结果通过一个softmax对于四个不同的目标区域进行分类识别,另外用L(x,y,w,h)表示识别类型的区域位置,其中x,y表示区域坐标,w表示目标的宽度,h表示目标的高度。在网络的每个层每个位置预测4个目标框,对于每个目标框,预测4个类别得分,以及相对于图片画面的4个位置偏移值L(x,y,w,h),最终通过分类器和逻辑回归层,把4个类型目标的种类和偏移值获取出来得到TL(t,x,y,w,h),其中t为四种类型的可能概率。通过以上构筑的深度神经网络算法,结合图像训练集与验证数据集,经过迭代训练网络参数,最终达到97.8%精度的识别四个目标区域的结果。
利用如上所述的方法,通过采用卷积神经网络算法对采集的图像进行识别确定各物体在图像中的目标区域,进而采用激励函数对各目标区域进行分类识别,在所述图像中确定载车板和车辆分别对应的所述目标区域,从而进一步保证物体识别的准确性。
可选的,图6是根据图2对应示例性实施例示出的对步骤S130的细节的描述。如图6所示,该步骤S130可以包括以下步骤。
步骤S131,对所述图像中的载车板及车辆进行安全停车特征的存在性判断。
可以理解的是,在判断载车板停车是否安全时,需通过一个或多个安全停车特征进行安全检测。
在一个示例性实施例中,安全停车特征包括正常停车状态、周边安全状态、安全停放位置等特征的任意一种或者任意组合。
安全停车特征的存在性判断,所指的所有安全停车特征,将是预先指定的若干个安全停车特征。可以理解的,在具体实现中,可以对所有车辆停放在载车板上进行安全检测时指定统一的安全停车特征,也可以针对特定的车辆而指定一个或多个安全停车特征,在此不进行限定,将根据实际运行的需要进行指定。
根据安全停车特征对载车板停车时进行安全检测,当具有所有安全停车特征均具备时,则确定该载车板上停车安全;当不具备任何一个安全停车特征时,则确定载车板上停车不安全。
例如,安全停车特征包括特征A1、A2、A3,当车辆C停放在载车板上时,通过采集图像并识别图像中的载车板、车辆后,对载车板、车辆进行特征A1、A2、A3的存在判断。当特征A1、A2、A3均存在时,则判定车辆C在载车板上停放安全;当特征A1、A2、A3中任何一个不存在时,则判定车辆C在载车板上停放不安全。
步骤S132,如果所有的所述安全停车特征均存在,则确定所述载车板上停车安全。
利用如上所述的方法,通过安全停车特征的存在性判断即可确定车辆是否在载车板上安全停放,而安全停车特征可根据实际情况进行调整,从而在准确进行安全检测的同时,为对车辆是否安全停放的检测带来更好的灵活性。
可选的,图7是根据图6对应实施例示出的对步骤S131的细节的描述。安全停车特征包括正常停车状态,该步骤S131可以包括以下步骤。
步骤S1311,根据所述车辆在所述图像中的图像特征对所述车辆进行部位识别,确定所述车辆在所述图像中的各车辆部位。
车辆部位包括车身、车门、车窗、后备箱等。
正常停车状态是停放在载车板上车辆的各车辆部位均处于关闭状态。
例如车门已关闭、车窗已关闭、后备箱已关闭和车内无乘客等。
在一示例性实施例中,通过卷积神经网络算法对各车辆部位进行识别。
例如,对图像进行预处理得到448*448*3的像素矩阵,先通过一个裁剪后VGG16的卷积神经网络(去掉VGG16最后的三层全连接层和输出层,只保留前16层网络的输出,将最后一层最大池化的特征图输出做为后级边界识别和提取神经网络的输入)进行图像特征的提取得到特征图输出p(3*3*512像素矩阵),这里我们按照输出分类为7个不同的目标区域,每个目标区域的像素分别表示车身最大边界a,车门最大边界b,车窗最大边界c,后备箱最大边界d,人最大边界e和不确定区域f的概率以及相关形状边界s,构建以下数学模型并通过激励函数softmax实现车身、车门、车窗、后备箱和车内乘客的边界分布概率图:
a=exp(as)/exp(as)+exp(bs)+exp(cs)+exp(ds)+exp(es)+exp(fs)
然后我们构建以下数学模型得到每个元素的最大边界:
m=mTam+β(m-1)Tb(m-1)+β(m-1)Tc(m-1)+β(m-1)Td(m-1)+β(m-1)Te(m-1)+m TLm
其中m为最终边界像素值,1表示全1矩阵,L是输入图像对应的拉普拉斯矩阵,β为调节参数。
卷积神经网络每个神经元采用以上构建的函数和Relu激励函数组成,网络深度为9层,输出层采用softmax函数进行分类处理,最终通过预处理的视频图像训练集(包含车头正向和45°角,车顶正向,左右两个侧向,车尾正向和45°角预处理图片集),迭代训练整个的卷积神经网络的可调参数,最终完成自动识别和提取图像中停靠车辆的车身、车门、车窗、后备箱和车内乘客。
步骤S1312,在预设的图像训练集中采用卷积神经网络算法对所述各车辆部位进行迭代运算,判断所述各车辆部位是否均符合正常停车状态,如果为是(Y),则执行步骤S1313;如果为否(N),则执行步骤S1319。
通过数学建模作为卷积神经网络的每个神经元,网络深度为7层,结合训练数据集与验证数据集的n个样本,就可以自动分析和判断车门、车窗、后备箱、车内乘客和车身的相对位置,具体方案如下:通过上述构造的深度神经网络计算被检测图像中的车门、车窗、后备箱、车内乘客和车身的相对位置,然后比对与所有训练好网络中的样本的欧氏距离,最终判断出来停靠车辆的车门是否关闭、车窗是否关闭、后备箱是否关闭和车内是否无乘客等状态信息,并根据状态情况产生相应告警操作。
步骤S1313,判定存在所述正常停车状态。
步骤S1319,判定所述载车板上停车不安全。
可选的,图8是根据图6对应实施例示出的对步骤S131的细节的描述。安全停车特征包括安全停放位置,该步骤S131可以包括以下步骤。
步骤S1314,在预设的图像训练集中采用卷积神经网络算法对所述载车板和车辆的图像特征进行迭代运算,计算所述载车板与车辆之间的相对距离。
安全停放位置是车辆在载车板上的停放位置处于安全位置。
在一示例性实施例中,在从所述图像中提取所述载车板和车辆相关的图像特征后,通过空间记忆计算载车板与车辆之间的相对距离。用空间记忆S来存储检测到的目标物体,存储地点就在目标物体被检测到时在图像中的所处位置。空间记忆S是三维张量,高度H和宽度W为图像缩减后的尺寸(1/16),深度D(=512)将记忆的每个单元c作为向量,存储当前位置可能有用的信息。空间记忆S通过高层和中层特征来更新,高层存储有关估计的类别标签信息。给定一个待更新的图像区域r,先从底层提取相应特征,用双线性插值将其调整为预定大小(5*5)的矩阵m。因为高层特征f是覆盖整个区域的向量,所以将其附加在所有位置(共25个)。然后用两个1*1的卷积核来提取特征并为r生成输入特征Fr。记忆S中的相同区域也提取出来,加权平均后归一化重新转置调整为5*5像素矩阵,标注为Sr。构建一个数学模型来计算最终的Sr如下:
Sr’=uoSr+(1-u)oσ(WfFr+Ws(zosr)+b)
其中,Sr’是Sr更新后的数据,u是更新后的门,z是重置门,Wf、Ws和b分别是卷积的权重f和偏置,o是矩阵内积,σ为激活函relu。
以上述数学建模做为深度神经网络的每个神经元,网络深度为7层,结合训练数据集与验证数据集的n个样本,就可以自动分析和判断载车板和车辆停靠的相对位置距离,具体方案如下:通过上述构造的深度神经网络计算正被检测视频内容中的车辆和载车板空间距离,然后比对安全距离,如果未超出安全距离则判定车辆在载车板上的停放位置处于安全位置。
步骤S1315,判断所述相对距离是否达到安全距离,如果为是(Y),则执行步骤S1316;如果为否(N),则执行步骤S1319。
安全距离是车辆安全停放在载车板上时,载车板边界与车辆之间的临界距离。
安全距离可以是预先设置的长度绝对值,也可以是相对车身的长度相对值,也可以是根据不同车辆安全停放在载车板上的样本位置而训练出的欧氏距离,还可以是通过其他方式而得到的长度值。
通过将载车板与车辆之间的相对距离与安全距离进行比对,判断相对距离是否达到安全距离。若相对距离达到安全距离,则判定所述车辆处于所述安全停放位置;若相对距离未达到安全距离,则判定所述车辆处于所述安全停放位置
步骤S1316,判定所述车辆处于所述安全停放位置。
可选的,图9是根据图6对应实施例示出的对步骤S131的细节的描述。安全停车特征包括周边安全状态,该步骤S131可以包括以下步骤。
步骤S1317,在预设的图像训练集中采用卷积神经网络算法对所述载车板周边的周边图像特征进行迭代运算,判断所述载车板周边是否存在动物,如果为是(Y),则执行步骤S1318;如果为否(N),则执行步骤S1319。
周边安全状态是载车板的周边环境无安全隐患的状态。
采用卷积神经网络算法对所述载车板周边的周边图像特征进行迭代运算而的方法与上述进行正常停车状态的存在性判断方法及载车板与车辆之间的相对距离计算方法类似,在此不再进行赘述。
在预设的图像训练集中采用卷积神经网络算法对所述载车板周边的周边图像特征进行迭代运算,判断所述载车板周边是否存在动物,当载车板周边不存在动物时,则判定存在所述正常停车状态;当存在动物时,则载车板上停车不安全。
步骤S1318,判定存在所述正常停车状态。
可选的,根据图2对应实施例示出的无人停车库中载车板停车时的安全检测方法,在步骤S130之后,该方法还可以包括以下步骤。
当判定所述载车板上停车不安全时,则进行报警提醒。
报警提醒包括声音、灯光闪烁、通知监控管理人员等方式中的任意一种或多种。
在载车板上停车不安全时,通过报警提醒告知车库管理人员,从而更加方便地知晓存在的安全隐患,并进行相应处理。
下述为本公开装置实施例,可以用于执行本上述无人停车库中载车板停车时的安全检测方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开无人停车库中载车板停车时的安全检测方法实施例。
图10是根据一示例性实施例示出的一种无人停车库中载车板停车时的安全检测装置的框图,该装置包括但不限于:位置确定模块110、图像特征提取模块120及安全检测模块130。
位置确定模块110,用于采用卷积神经网络算法对采集的图像进行识,确定载车板、车辆在所述图像中的位置;
图像特征提取模块120,用于根据所述载车板、车辆在所述图像的所述位置,从所述图像中提取所述载车板和车辆相关的图像特征;
安全检测模块130,用于根据所述图像特征,通过安全停车特征对所述载车板停车时进行安全检测。
上述装置中各个模块的功能和作用的实现过程具体详见上述无人停车库中载车板停车时的安全检测方法中对应步骤的实现过程,在此不再赘述。
可选的,如图11所示,位置确定模块110包括但不限于:图像裁剪子模块111和图像识别子模块112。
图像裁剪子模块111,用于按照预设的图像尺寸对采集的图像进行裁剪,得到裁剪图像;
图像识别子模块112,用于采用卷积神经网络算法对所述裁剪图像进行识别,确定载车板、车辆在所述图像中的位置。
可选的,如图12所示,位置确定模块110还包括但不限于:目标区域确定子模块114和分类识别子模块115。
目标区域确定子模块114,用于在预设的图像训练集中采用卷积神经网络算法对采集的图像进行识别,确定所述图像中的各目标区域;
分类识别子模块115,用于采用激励函数对所述目标区域进行分类识别,在所述图像中确定载车板和车辆分别对应的所述目标区域。
可选的,如图13所示,安全停车特征的数量为至少一个,安全检测模块130还包括但不限于:特征判断子模块131和安全确定子模块132。
特征判断子模块131,用于对所述图像中的载车板及车辆进行安全停车特征的存在性判断;
安全确定子模块132,用于如果所有的所述安全停车特征均存在,则确定所述载车板上停车安全。
可选的,如图14所示,安全停车特征包括正常停车状态,特征判断子模块131包括但不限于:车辆部位确定单元1311和正常停车状态判断单元1312。
车辆部位确定单元1311,用于根据所述车辆在所述图像中的图像特征对所述车辆进行部位识别,确定所述车辆在所述图像中的各车辆部位;
正常停车状态判断单元1312,用于在预设的图像训练集中采用卷积神经网络算法对所述各车辆部位进行迭代运算,判断所述各车辆部位是否均符合正常停车状态,如果为是,则判定存在所述正常停车状态。
可选的,如图15所示,安全停车特征包括周边安全状态,特征判断子模块131还包括但不限于:周边安全判断单元1314和周边安全判定单元1315。
周边安全判断单元1314,用于在预设的图像训练集中采用卷积神经网络算法对所述载车板周边的周边图像特征进行迭代运算,判断所述载车板周边是否存在动物;
周边安全判定单元1315,用于载车板周边不存在动物时,则判定存在所述周边安全状态。
可选的,如图16所示,安全停车特征包括安全停放位置,特征判断子模块131包括但不限于:相对距离计算单元1316和安全距离判断单元1317。
相对距离计算单元1316,用于在预设的图像训练集中采用卷积神经网络算法对所述载车板和车辆的图像特征进行迭代运算,计算所述载车板与车辆之间的相对距离;
安全距离判断单元1317,用于判断所述相对距离是否达到安全距离,如果为是,则判定所述车辆处于所述安全停放位置。
可选的,图10对应实施例示出的无人停车库中载车板停车时的安全检测装置还包括但不限于:关报警提醒模块。
报警提醒模块,用于当判定所述载车板上停车不安全时,则进行报警提醒。
可选的,本发明还提供一种终端,执行如上述示例性实施例任一所示的无人停车库中载车板停车时的安全检测方法的全部或者部分步骤。终端包括:
处理器;以及
与所述处理器通信连接的存储器;其中,
所述存储器存储有可读性指令,所述可读性指令被所述处理器执行时实现如上述任一示例性实施例所述的方法。
该实施例中的终端中处理器执行操作的具体方式已经在有关该无人停车库中载车板停车时的安全检测方法的实施例中执行了详细描述,此处将不做详细阐述说明。
在示例性实施例中,还提供了一种存储介质,该存储介质为计算机可读性存储介质,例如可以为包括指令的临时性和非临时性计算机可读性存储介质。该存储介质例如包括指令的存储器102,上述指令可由终端100的处理器109执行以完成上述无人停车库中载车板停车时的安全检测方法。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种无人停车库中载车板停车时的安全检测方法,其特征在于,所述方法包括:
在预设的图像训练集中采用卷积神经网络算法对采集的图像进行识别,确定所述图像中的各目标区域;
采用激励函数对所述目标区域进行分类识别,在所述图像中确定载车板和车辆分别对应的所述目标区域;
根据所述载车板、车辆在所述图像中的所述位置,从所述图像中提取所述载车板和车辆相关的图像特征;
根据所述图像特征,通过安全停车特征对所述载车板停车时进行安全检测。
2.根据权利要求1所述的方法,其特征在于,所述在预设的图像训练集中采用卷积神经网络算法对采集的图像进行识别,确定载车板、车辆在所述图像中的位置的步骤包括:
按照预设的图像尺寸对采集的图像进行裁剪,得到裁剪图像;
在预设的图像训练集中采用卷积神经网络算法对所述裁剪图像进行识别,确定所述裁剪图像中的各目标区域。
3.根据权利要求1所述的方法,其特征在于,所述安全停车特征的数量为至少一个,所述根据所述图像特征,通过安全停车特征对所述载车板停车时进行安全检测的步骤包括:
对所述图像中的载车板及车辆进行安全停车特征的存在性判断;
如果所有的所述安全停车特征均存在,则确定所述载车板上停车安全。
4.根据权利要求3所述的方法,其特征在于,所述安全停车特征包括正常停车状态,所述对所述图像中的载车板及车辆进行安全停车特征的存在性判断的步骤包括:
根据所述车辆在所述图像中的图像特征对所述车辆进行部位识别,确定所述车辆在所述图像中的各车辆部位;
在预设的图像训练集中采用卷积神经网络算法对所述各车辆部位进行迭代运算,判断所述各车辆部位是否均符合正常停车状态,如果为是,则判定存在所述正常停车状态。
5.根据权利要求3所述的方法,其特征在于,所述安全停车特征包括周边安全状态,所述对所述图像中的载车板及车辆进行安全停车特征的存在性判断的步骤包括:
在预设的图像训练集中采用卷积神经网络算法对所述载车板周边的周边图像特征进行迭代运算,判断所述载车板周边是否存在动物,如果为否,则判定存在所述周边安全状态。
6.根据权利要求3所述的方法,其特征在于,所述安全停车特征包括安全停放位置,所述对所述图像中的载车板及车辆进行安全停车特征的存在性判断的步骤包括:
在预设的图像训练集中采用卷积神经网络算法对所述载车板和车辆的图像特征进行迭代运算,计算所述载车板与车辆之间的相对距离;
判断所述相对距离是否达到安全距离,如果为是,则判定所述车辆处于所述安全停放位置。
7.根据权利要求1所述的方法,其特征在于,所述根据所述图像特征,通过安全停车特征对所述载车板停车时进行安全检测的步骤之后,所述方法还包括:
当判定所述载车板上停车不安全时,则进行报警提醒。
8.一种无人停车库中载车板停车时的安全检测装置,其特征在于,所述装置包括:
目标区域识别模块,用于在预设的图像训练集中采用卷积神经网络算法对采集的图像进行识别,确定所述图像中的各目标区域;
目标区域确定模块,用于采用激励函数对所述目标区域进行分类识别,在所述图像中确定载车板和车辆分别对应的所述目标区域;
图像特征提取模块,用于根据所述载车板、车辆在所述图像中的所述位置,从所述图像中提取所述载车板和车辆相关的图像特征;
安全检测模块,用于根据所述图像特征,通过安全停车特征对所述载车板停车时进行安全检测。
9.根据权利要求8所述的装置,其特征在于,所述安全检测模块包括:
特征判断子模块,用于对所述图像中的载车板及车辆进行安全停车特征的存在性判断;
安全确定子模块,用于在所有的所述安全停车特征均存在时,确定所述载车板上停车安全。
10.根据权利要求9所述的装置,其特征在于,所述安全停车特征包括正常停车状态,所述特征判断子模块包括:
车辆部位确定单元,用于根据所述车辆在所述图像中的图像特征对所述车辆进行部位识别,确定所述车辆在所述图像中的各车辆部位;
正常停车状态判断单元,用于在预设的图像训练集中采用卷积神经网络算法对所述各车辆部位进行迭代运算,判断所述各车辆部位是否均符合正常停车状态,如果为是,则判定存在所述正常停车状态。
CN201810433819.5A 2018-05-08 2018-05-08 无人停车库中载车板停车时的安全检测方法及装置 Active CN108873097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810433819.5A CN108873097B (zh) 2018-05-08 2018-05-08 无人停车库中载车板停车时的安全检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810433819.5A CN108873097B (zh) 2018-05-08 2018-05-08 无人停车库中载车板停车时的安全检测方法及装置

Publications (2)

Publication Number Publication Date
CN108873097A true CN108873097A (zh) 2018-11-23
CN108873097B CN108873097B (zh) 2020-07-07

Family

ID=64332837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810433819.5A Active CN108873097B (zh) 2018-05-08 2018-05-08 无人停车库中载车板停车时的安全检测方法及装置

Country Status (1)

Country Link
CN (1) CN108873097B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613363A (zh) * 2020-12-11 2021-04-06 浙江大华技术股份有限公司 一种车辆图像划分的方法、装置及存储介质
CN116189098A (zh) * 2023-04-23 2023-05-30 四川弘和通讯集团有限公司 识别车辆引擎盖是否打开的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201103259Y (zh) * 2007-08-30 2008-08-20 宋强 载车板自动对准系统
CN102418427A (zh) * 2011-10-12 2012-04-18 南通纺织职业技术学院 立体车库载车板到位检测装置
CN103065520A (zh) * 2012-12-28 2013-04-24 苏州苏迪智能系统有限公司 倒车入库检测系统及其检测方法
US20130147954A1 (en) * 2011-12-13 2013-06-13 Electronics And Telecommunications Research Institute Parking lot management system in working cooperation with intelligent cameras
CN104217606A (zh) * 2014-09-04 2014-12-17 苏州美罗升降机械有限公司 一种立体车库停车状况检测系统
CN204715833U (zh) * 2015-06-18 2015-10-21 吴江市聚力机械有限公司 一种车库载车板到位检测报警装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201103259Y (zh) * 2007-08-30 2008-08-20 宋强 载车板自动对准系统
CN102418427A (zh) * 2011-10-12 2012-04-18 南通纺织职业技术学院 立体车库载车板到位检测装置
US20130147954A1 (en) * 2011-12-13 2013-06-13 Electronics And Telecommunications Research Institute Parking lot management system in working cooperation with intelligent cameras
CN103065520A (zh) * 2012-12-28 2013-04-24 苏州苏迪智能系统有限公司 倒车入库检测系统及其检测方法
CN104217606A (zh) * 2014-09-04 2014-12-17 苏州美罗升降机械有限公司 一种立体车库停车状况检测系统
CN204715833U (zh) * 2015-06-18 2015-10-21 吴江市聚力机械有限公司 一种车库载车板到位检测报警装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613363A (zh) * 2020-12-11 2021-04-06 浙江大华技术股份有限公司 一种车辆图像划分的方法、装置及存储介质
CN112613363B (zh) * 2020-12-11 2024-04-05 浙江大华技术股份有限公司 一种车辆图像划分的方法、装置及存储介质
CN116189098A (zh) * 2023-04-23 2023-05-30 四川弘和通讯集团有限公司 识别车辆引擎盖是否打开的方法及装置

Also Published As

Publication number Publication date
CN108873097B (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
US11488392B2 (en) Vehicle system and method for detecting objects and object distance
US11928866B2 (en) Neural networks for object detection and characterization
US20230415788A1 (en) Multi-Task Machine-Learned Models for Object Intention Determination in Autonomous Driving
US20200349847A1 (en) System and method for camera or sensor-based parking spot detection and identification
EP3278317B1 (en) Method and electronic device
KR102095685B1 (ko) 차량 식별 방법 및 장치
US8059864B2 (en) System and method of image-based space detection
Lee et al. Available parking slot recognition based on slot context analysis
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
CN108875754B (zh) 一种基于多深度特征融合网络的车辆再识别方法
US10713541B2 (en) Systems and methods for occlusion handling in a neural network via activation subtraction
CN112766069A (zh) 基于深度学习的车辆违停检测方法、装置及电子设备
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN114454875A (zh) 一种基于强化学习的城市道路自动泊车方法及系统
CN114067295A (zh) 一种车辆装载率的确定方法、装置及车辆管理系统
CN108873097A (zh) 无人停车库中载车板停车时的安全检测方法及装置
CN105574511B (zh) 具平行架构的适应性物体分类装置及其方法
Song et al. Vision-based parking space detection: A mask R-CNN approach
CN113593256B (zh) 基于城市管理的无人机智能驱离控制方法、系统及云平台
Bernuy et al. Adaptive and real-time unpaved road segmentation using color histograms and RANSAC
CN114724107A (zh) 一种图像检测方法、装置、设备及介质
Yasaswi AOA based masked region-CNN model for detection of parking space in IoT environment
CN111723601A (zh) 一种图像处理的方法及装置
Sharma Towards the development of a cost-effective Image-Sensing-Smart-Parking Systems (ISenSmaP)
Leelavathy et al. Effective traffic model for intelligent traffic monitoring enabled deep RNN algorithm for autonomous vehicles surveillance systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant