CN113065427A - 一种车辆停车状态确定方法、装置、设备和存储介质 - Google Patents

一种车辆停车状态确定方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN113065427A
CN113065427A CN202110298275.8A CN202110298275A CN113065427A CN 113065427 A CN113065427 A CN 113065427A CN 202110298275 A CN202110298275 A CN 202110298275A CN 113065427 A CN113065427 A CN 113065427A
Authority
CN
China
Prior art keywords
vehicle
target frame
angle
image information
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110298275.8A
Other languages
English (en)
Inventor
丁子凡
高凯珺
徐麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN202110298275.8A priority Critical patent/CN113065427A/zh
Publication of CN113065427A publication Critical patent/CN113065427A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种车辆停车状态确定方法、装置、设备和存储介质，该方法包括：通过获取停车场内车辆的图像信息；根据预设位置检测网络和所述图像信息，确定所述车辆的预测目标框，其中，所述车辆的图像信息包括所述车辆的中心坐标、宽度、高度和角度；通过比对所述车辆的预测目标框和采集到的所述停车场内车位对应的车位框，确定所述车辆的停车状态。上述技术方案，在获取到停车场内车辆的图像信息之后，可以通过车辆的中心坐标、宽度、高度和角度，确定车辆的预测目标框，再比对预测目标框和车位框，确定车辆的停车状态，实现了对停车场内车辆的停车状态的确定，进一实现对停车场内车辆和车位的监管。

Description

一种车辆停车状态确定方法、装置、设备和存储介质
技术领域
本发明实施例涉及目标检测技术，尤其涉及一种车辆停车状态确定、装置、设备和存储介质。
背景技术
目标检测是计算机视觉中最为基本和最具挑战性的问题之一，在智能视频监控，机器人导航、飞机航拍或卫星图像中道路的检测、车载摄像机图像中的障碍物检测等领域都具有重要的研究价值。对图像中的目标进行精确识别变得越来越重要，我们将不仅关注对图像的简单分类，而且希望能够准确获得图像中存在的感兴趣目标及其准确位置，并将这些信息应用到视频监控、自主驾驶等一系列现实任务中，因此目标检测技术深受广泛关注。
随着私家车的大量增加，违停乱停现象日益显现，过去针对路侧停车位和室外停车场的车位管理均靠管理员不间断指挥实现车辆停放摆放，这种方式需要大量的劳动力成本。现在通过计算机视觉技术同样可以实现对车辆的指挥与警示，例如，基于深度学习的车辆检测可以很好的解决这个问题，车辆位置检测方法中，可以基于目标检测网络对停车场内车辆的位置进行确定。
但是停车场的车辆通常密集得排布在一起，现有技术不能精确识别每个车辆的位置信息，可能造成车辆停车状态的误判。所以，亟需一种车辆停车状态确定方法，以精确确定车辆的停车状态。
发明内容
本发明提供一种车辆停车状态确定方法、装置、设备和存储介质，以实现精确确定车辆的停车状态。
第一方面，本发明实施例提供了一种车辆停车状态确定方法，包括：
获取停车场内车辆的图像信息；
根据预设位置检测网络和所述图像信息，确定所述车辆的目标框，其中，所述车辆的图像信息包括所述车辆的中心坐标、宽度、高度和角度；
通过比对所述车辆的目标框和采集到的所述停车场内车位对应的车位框，确定所述车辆的停车状态。
进一步地，所述预设位置检测网络包括卷积层和预测层，所述预测层包含多个通道，
相应地，根据预设位置检测网络和所述图像信息，确定所述停车场内车辆的预测目标框，包括：
将所述图像信息输入所述预设位置检测网络后，所述卷积层提取所述图像信息的特征信息；
所述预测层的各所述通道分别根据所述通道对应的旋转预选框和所述特征信息，确定各所述旋转预选框与所述预测目标框的中心坐标偏置值、宽度偏置值、高度偏置值、角度偏置值和置信度；
基于最大置信度的所述旋转预选框和对应的所述中心坐标偏置值、所述宽度偏置值、所述高度偏置值和所述角度偏置值，确定所述预测目标框。
进一步地，所述预设位置检测网络通过如下方式得到：获取训练图像信息，并对所述训练图像信息所包含的车辆进行标注，得到真实目标框；
将所述训练图像信息和对应的所述真实目标框作为训练数据进行网络训练，并计算损失函数；
基于反向传播算法进行网络优化，直至所述损失函数收敛，确定所述预设位置检测网络。
进一步地，将所述训练图像信息和对应的所述真实目标框作为训练数据进行网络训练，并计算损失函数，包括：
将所述训练图像信息和对应的所述真实目标框作为输入信息输入所述预设位置检测网络，得到预测目标框；
根据所述真实目标框和所述预测目标框，确定所述训练预测目标框的位置损失函数、角度损失函数和大小损失函数。
进一步地，根据所述真实目标框和所述预测目标框，确定所述预测目标框的角度损失函数，包括：
确定所述真实目标框和所述预测目标框的角度交并比；
根据所述角度交并比，计算所述角度损失函数。
进一步地，确定所述真实目标框和所述训练预测目标框的角度交并比，包括：
基于公式
Figure BDA0002985128710000031
确定所述真实目标框和所述训练目标框的角度交并比，其中，RIOU(A,B)为A和B的角度交并比，A为所述真实目标框，
Figure BDA0002985128710000032
为与所述真实目标框保持相同角度、宽度和高度，且中心坐标与所述训练目标框保持一致的旋转框，B为所述预测目标框，
Figure BDA0002985128710000033
Figure BDA0002985128710000034
为
Figure BDA0002985128710000035
与B的面积交集，
Figure BDA0002985128710000036
为
Figure BDA0002985128710000037
与B的面积并集，θA为A的角度，θB为B的角度。
进一步地，根据所述角度交并比，计算所述角度损失函数，包括：
基于公式
Figure BDA0002985128710000041
计算所述角度损失函数，其中，N为多角度旋转预选框的个数；Lossconf(c)为置信度损失函数，c是二维的置信度向量；l为旋转预选框，g为真实目标框。
进一步地，通过比对所述车辆的目标框和采集到的所述停车场内车位对应的车位框，确定所述车辆的停车状态，包括：
如果所述目标框和所述车位框的重合率大于预设重合率，则确定所述车辆的停车状态为正常；
否则，确定所述车辆的停车状态为异常。
第二方面，本发明实施例还提供了一种车辆停车状态确定装置，包括：
获取模块，用于获取停车场内车辆的图像信息；
第一执行模块，用于根据预设位置检测网络和所述图像信息，确定所述车辆的预测目标框，其中，所述车辆的图像信息包括所述车辆的中心坐标、宽度、高度和角度；
第二执行模块，用于通过比对所述车辆的目标框和采集到的所述停车场内车位对应的车位框，确定所述车辆的停车状态。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如第一方面任一所述的车辆停车状态确定方法。
第四方面，本发明实施例还提供了一种计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面任一所述的车辆停车状态确定方法。
本发明提供的一种车辆停车状态确定方法，通过获取停车场内车辆的图像信息；根据预设位置检测网络和所述图像信息，确定所述车辆的目标框，其中，所述车辆的图像信息包括所述车辆的中心坐标、宽度、高度和角度；通过比对所述车辆的目标框和采集到的所述停车场内车位对应的车位框，确定所述车辆的停车状态。上述技术方案，在获取到停车场内车辆的图像信息之后，预设位置检测网络可以通过车辆的中心坐标、宽度、高度和角度，确定图像信息所包含的停车场内车辆的目标框，再比对车辆的目标框和停车场内车位的车位框，如果目标框与停车场内任一车位的车位框的重合率均小于预设值，则确定车辆的停车状态为异常，否则，车辆的停车状态为正常，实现了对停车场内车辆的停车状态的确定，进一实现对停车场内车辆和车位的监管。
附图说明
图1为本发明实施例一提供的一种车辆停车状态确定方法的流程图；
图2a为现有技术提供的水平预选框示意图，图2b为根据现有技术所提供的水平预选框获取到的车辆的检测框的示意图，图2c为本发明实施例一提供的多角度旋转预选框示意图，图2d为本发明实施例一提供的一种车辆停车状态确定方法中预设位置检测网络所包含的多角度预选框所获取到的车辆的检测框的示意图；
图3为本发明实施例二提供的一种车辆停车状态确定方法的流程图；
图4为本发明实施例二提供的一种车辆停车状态确定方法中，中心坐标、宽度、高度和角度的示意图；
图5为本发明实施例二提供的一种车辆停车状态确定方法中步骤320的流程图；
图6为本发明实施例二提供的一种车辆停车状态确定方法中通过预设位置检测网络的卷积层和预测层确定目标框的流程图；
图7为本发明实施例二提供的一种车辆停车状态确定方法中得到预设位置检测网络的流程图；
图8为本发明实施例三提供的一种车辆停车状态确定装置的结构图；
图9为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1为本发明实施例一提供的一种车辆停车状态确定方法的流程图，本实施例可适用于需要精确确定停车场内车辆的停车状态的情况，该方法可以由计算机设备来执行，具体包括如下步骤：
步骤110、获取停车场内车辆的图像信息。
具体地，停车场上方可以设置有图像获取装置，图像获取装置可以包括高清摄像头，可以实时采集停车场内车辆的图像信息。另外，还可以从图像获取装置的存储模块中提取历史时间内任一时刻停车场内的图像信息。获取到的图像信息所包含的车辆姿态可以为水平姿态，也可以为倾斜姿态。停车场内车辆的图像信息可以包括停车场内所有的车辆的图像信息，也可以包括停车场内部分车辆的图像信息。
需要说明的是，获取到的停车场内车辆的图像信息可以为实时图像信息，用于确定当前时刻停车场内车辆的停车状态，还可以为历史图像信息，用于确定一段时间内停车场内车辆的停车状态。
步骤120、根据预设位置检测网络和所述图像信息，确定所述车辆的目标框，其中，所述车辆的图像信息包括所述车辆的中心坐标、宽度、高度和角度。
其中，预设位置检测网络可以包括多角度旋转预选框，在每个像素位置上，预选框均可以以预设间隔旋转一系列的角度生成，例如，可以以30度的间隔，从0度旋转到150度，生成6个旋转预选框。在每个像素位置上，可以包括多个不同尺寸的多角度旋转预选框，用于对不同尺寸的目标车辆进行检测，进一步确定不同尺寸的车辆的目标框。
具体地，可以将车辆的图像信息输入预设位置检测网络，该预设位置检测网络可以对图像信息进行特征提取和目标框确定。当图像信息所包含的车辆姿态为倾斜姿态时，由于现有的目标检测中的目标框均为水平目标框，水平目标框的尺寸与宽高比经常不能很好的反映目标车辆的真实形状，特别是针对一些排布比较密集和倾斜的目标车辆。图2a为现有技术提供的水平预选框示意图，图2b为根据现有技术所提供的水平预选框获取到的车辆的检测框的示意图，如图2b所示，经常会出现大量检测框重叠，不能很好的将目标车辆分开，进而不能获取到车辆对应的较为准确的目标框；图2c为本发明实施例一提供的多角度旋转预选框示意图，图2d为本发明实施例一提供的一种车辆停车状态确定方法中预设位置检测网络所包含的多角度预选框所获取到的车辆的检测框的示意图，如图2d所示，多角度预选框的宽度和高度可以反映目标车辆的物理尺寸，这有助于定制预选框。多角度预选框比水平矩形框包含更少的背景像素，因此目标车辆和背景之间的分类更容易。且多角度旋转预选框可以有效地分隔目标车辆，在相邻目标车辆之间没有重叠区域。
需要说明的是，在将图像信息输入预设位置检测网络之前，可以将图像信息的尺寸重置到300×300，然后在输入图像信息中基于每个像素点位置，使用大小为20×10、50×15、70×20和90×25像素尺寸，角度为0:30:150旋转来产生预选框，即在每个像素位置上，可以产生4×6＝24个多角度旋转预选框以进行多角度预测。
另外，像素尺寸和旋转角度均可以根据待检测目标的尺寸进行确定，例如，本发明实施例所提供的停车状态确定方法还可以用于码头内船只停靠状态确定，此时检测目标可以为船只，由于船只的体积远大于车辆，所以可以根据船只的体积调节像素尺寸和旋转角度均可以根据待检测船只的尺寸进行确定。
在根据多角度旋转预选框确定目标框时，可以根据车辆类型和车辆的体积，选取该像素点对应的不同尺寸不同角度的旋转预选框，用于确定目标框，适量减少了多角度旋转预选框的选取次数进一步减少了数据运算量，提升车辆停车状态确定的速率。本发明实施例中，在根据图像信息确定像素尺寸和多角度旋转预选框的旋转角度和旋转间隔之后，可以将图像信息输入预设位置检测网络，进而确定车辆的目标框。本发明实施例采用多角度的旋转预选框，可以使得确定的目标框与真实目标框更加接近，提升了目标框的准确度。
步骤130、通过比对所述车辆的目标框和采集到的所述停车场内车位对应的车位框，确定所述车辆的停车状态。
具体地，可以计算目标框和对应位置的多个车位框的重合率，若目标框与任一车位框的重合率均小于重合阈值，则确定该车辆的停车状态为异常，否则，确定该车辆的停车状态为正常。
需要说明的是，还可以通过比对目标框的位置信息和对应位置的多个车位框的位置信息，实现对车辆的停车状态的确定。
本发明实施例一提供的一种车辆停车状态确定方法，通过获取停车场内车辆的图像信息；根据预设位置检测网络和所述图像信息，确定所述车辆的目标框，其中，所述车辆的图像信息包括所述车辆的中心坐标、宽度、高度和角度；通过比对所述车辆的目标框和采集到的所述停车场内车位对应的车位框，确定所述车辆的停车状态。上述技术方案，在获取到停车场内车辆的图像信息之后，预设位置检测网络可以通过车辆的中心坐标、宽度、高度和角度，确定图像信息所包含的停车场内车辆的目标框，再比对车辆的目标框和停车场内车位的车位框，如果目标框与停车场内任一车位的车位框的重合率均小于预设值，则确定车辆的停车状态为异常，否则，车辆的停车状态为正常，实现了对停车场内车辆的停车状态的确定，进一实现对停车场内车辆和车位的监管。
实施例二
图3为本发明实施例二提供的一种车辆停车状态确定方法的流程图，本实施例是在上述实施例的基础上进行具体化。在本实施例中，该方法还可以包括：
步骤310、获取停车场内车辆的图像信息。
具体获取停车场内车辆的图像信息的方式在实施例一中已经进行了详细的说明，在此不再赘述。
步骤320、根据预设位置检测网络和所述图像信息，确定所述车辆的目标框，其中，所述车辆的图像信息包括所述车辆的中心坐标、宽度、高度和角度。
图4为本发明实施例二提供的一种车辆停车状态确定方法中，中心坐标、宽度、高度和角度的示意图，如图4所示，中心坐标包括横坐标和纵坐标，宽度可以为w，高度可以为h，角度θ可以为多角度旋转预选框的横向中心轴线与横轴之间的夹角。
一种实施方式中，所述预设位置检测网络包括卷积层和预测层，所述预测层包含多个通道，
相应地，图5为本发明实施例二提供的一种车辆停车状态确定方法中步骤320的流程图，如图5所示，步骤320具体可以包括：
步骤3210、将所述图像信息输入所述预设位置检测网络后，所述卷积层提取所述图像信息的特征信息。
具体地，预设位置检测网络可以包括多个卷积层，提取图像信息多个尺度的特征信息。
步骤3220、所述预测层的各所述通道分别根据所述通道对应的旋转预选框和所述特征信息，确定各所述旋转预选框与所述目标框的中心坐标偏置值、宽度偏置值、高度偏置值、角度偏置值和置信度。
其中，预测层包含多个通道，对应每个像素位置的多个旋转预选框，对每一个旋转预选框，预测层可以输出该角度的旋转预选框的置信度和参数偏置值，参数偏置值可以包括目标框与该角度的旋转预选框的偏置值，即中心坐标偏置值、宽度偏置值、高度偏置值和角度偏置值，由于中心坐标可以包括横坐标和纵坐标，所以，中心坐标偏置值可以包括横坐标偏置值和纵坐标偏置值。另外，置信度可以为该角度的旋转预选框为车辆的概率和为背景的概率。
具体地，从卷积层中提取得到的特征信息，可以输入预测层，预测层的多个通道可以确定目标框与多角度旋转预选框的偏置值。
步骤3230、基于最大置信度的所述旋转预选框和对应的所述中心坐标偏置值、所述宽度偏置值、所述高度偏置值和所述角度偏置值，确定所述目标框。
可以通过置信度为车辆的概率最大的旋转预选框，确定目标框，具体地，在获取到最大置信度的旋转预选框和对应的中心坐标偏置值、宽度偏置值、高度偏置值和角度偏置值之后，基于中心坐标偏置值、宽度偏置值、高度偏置值和角度偏置值调整前述旋转预选框，可以得到目标框。
另外，在对预测的旋转预选框进行置信度排名时，可以通过非极大值抑制删除重复的旋转预选框。
图6为本发明实施例二提供的一种车辆停车状态确定方法中通过预设位置检测网络的卷积层和预测层确定目标框的流程图，如图5所示，
步骤610、预设位置检测网络的卷积层从车辆的图像信息中提取尺寸为38×38的特征图；
步骤620、将特征图输入预设位置检测网络的预测层后，预测层的每个通道可以确定每个旋转预选框对应的置信度得分和参数偏置值；
步骤630、根据每个旋转预选框对应的置信度得分，对旋转预选框进行排序，同时可以基于非极大抑制删除重复置信度的旋转预选框；
步骤640、根据目标对象为车辆且置信度最大的旋转预选框和其对应的参数偏置值，解码计算得到目标框。
上述根据多角度多尺寸的旋转预选框确定的目标框更加精确，可以更加接近真实目标框。
图7为本发明实施例二提供的一种车辆停车状态确定方法中得到预设位置检测网络的流程图，如图7所示，一种实施方式中，所述预设位置检测网络通过如下方式得到：
步骤320a、获取训练图像信息，并对所述训练图像信息所包含的车辆进行标注，得到真实目标框。
具体地，训练图像信息可以包括历史时间段内任一时刻停车场内车辆的图像信息，在获取到训练图像信息之后，可以基于图像信息所包含的车辆，对车辆进行标注，进而得到真实目标框。
另外，在获取到训练图像信息之后，可以对训练图像信息进行预处理，预处理可以包括降噪、增强和复原等。
步骤320b、将所述训练图像信息和对应的所述真实目标框作为训练数据进行网络训练，并计算损失函数。
步骤320c、基于反向传播算法进行网络优化，直至所述损失函数收敛，确定所述预设位置检测网络。
一种实施方式中，步骤320b具体可以包括：
将所述训练图像信息和对应的所述真实目标框作为输入信息输入所述预设位置检测网络，得到预测目标框；根据所述真实目标框和所述预测目标框，确定所述预测目标框的位置损失函数、角度损失函数和大小损失函数。
具体地，将训练图像信息输入预设位置检测网络之后，预设位置检测网络的卷积层和预测层可以依次作用于训练图像信息，进而可以确定训练图像信息对应的预测目标框。
由于训练图像信息包含已经标注的真实目标框，所以可以计算真实目标框和预测目标框的位置损失函数、角度损失函数和大小损失函数。
另外，在对预设位置检测网络进行训练时，每个真实目标框会被分配多个预定义的多角度旋转预选框，具体的分配方式由两者之间的角度交并比决定。对一系列预定义的多角度旋转预选框，计算它们与真实目标框之间的角度交并比值，当角度交并比>0.5时则认为其被匹配上，则该预定义多角度旋转预选框被设为是正样本，可以用于计算位置、角度和大小等损失。
一种实施方式中，可以通过如下方式计算被确定为正样本的多角度旋转预选框与真实目标框的角度损失函数：
确定所述真实目标框和所述预测目标框的角度交并比；根据所述角度交并比，计算所述角度损失函数。
可选的，确定所述真实目标框和所述预测目标框的角度交并比，包括：
基于公式
Figure BDA0002985128710000131
确定所述真实目标框和所述训练目标框的角度交并比，其中，RIOU(A,B)为A和B的角度交并比，A为所述真实目标框，
Figure BDA0002985128710000132
为与所述真实目标框保持相同角度、宽度和高度，且中心坐标与所述预测目标框保持一致的旋转框，B为所述预测目标框，
Figure BDA0002985128710000133
Figure BDA0002985128710000141
为
Figure BDA0002985128710000142
与B的面积交集，
Figure BDA0002985128710000143
为
Figure BDA0002985128710000144
与B的面积并集，θA为A的角度，θB为B的角度。
其中，角度可以指预测目标框的主轴和横轴之间的角度。
具体地，可以在预测目标框处构建对比目标框，对比目标框的第二中心坐标与预测目标框的第一中心坐标重合，且对比目标框的第二宽度、第二高度和第二角度与真实目标框的第一宽度、第一高度和第一角度保持一致；基于预测目标框的第一角度和对比目标框的第二角度，以及预测目标框与对比目标框的交集面积和并集面积，可以确定角度交并比。
可选的，根据所述角度交并比，计算所述角度损失函数，包括：
基于公式
Figure BDA0002985128710000145
计算所述角度损失函数，其中，N为多角度旋转预选框的个数；Lossconf(c)为置信度损失函数，c为二维置信度向量；l为旋转预选框，g为真实目标框。
其中，Lossrbox(x,l,g)为旋转预选框与真实目标框之间添加了角度回归的回归损失。
另外，
Figure BDA0002985128710000146
其中，xij可以取值为0或1，它可以对“第i个预定义多角度旋转框和第j个真实目标框之间是否匹配”进行判断，如果匹配上则xij可以取值为1，否则，xij可以取值为0。l^和g^分别为旋转预选框l和真实目标框g所对应的偏置参数。
步骤330、通过比对所述车辆的目标框和采集到的所述停车场内车位对应的车位框，确定所述车辆的停车状态。
一种实施方式中，步骤330具体可以包括：
如果所述目标框和所述车位框的重合率大于预设重合率，则确定所述车辆的停车状态为正常；否则，确定所述车辆的停车状态为异常。
在确定车辆的停车状态后，停车场管理人员可以根据车辆的停车状态对车辆进行管理，具体可以包括根据车牌信息通知车主或者根据车牌信息增加停车费等，实现对停车场的高速便捷管理。
本发明实施例二提供的一种车辆停车状态确定方法，通过获取停车场内车辆的图像信息；根据预设位置检测网络和所述图像信息，确定所述车辆的目标框，其中，所述车辆的图像信息包括所述车辆的中心坐标、宽度、高度和角度；通过比对所述车辆的目标框和采集到的所述停车场内车位对应的车位框，确定所述车辆的停车状态。上述技术方案，在获取到停车场内车辆的图像信息之后，预设位置检测网络可以通过车辆的中心坐标、宽度、高度和角度，确定图像信息所包含的停车场内车辆的目标框，再比对车辆的目标框和停车场内车位的车位框，如果目标框与停车场内任一车位的车位框的重合率均小于预设值，则确定车辆的停车状态为异常，否则，车辆的停车状态为正常，实现了对停车场内车辆的停车状态的确定，进一实现对停车场内车辆和车位的监管。
另外，还可以根据多角度旋转预选框确定目标框，提高了目标框的准确性，进一步提高了对车辆停车状态确定的准确性。进一步地，上述预设位置检测网络还可以根据位置回归、角度回归和大小回归对其进行训练，使得预设位置检测网络可以输出更加精确的预测目标框。
实施例三
图8为本发明实施例三提供的一种车辆停车状态确定装置的结构图，该装置可以适用于在需要精确确定停车场内车辆的停车状态的情况，提高车辆停车状态确定的精确度。该装置可以通过软件和/或硬件实现，并一般集成在计算机设备中。
如图8所示，该装置包括：
获取模块810，用于获取停车场内车辆的图像信息；
第一执行模块820，用于根据预设位置检测网络和所述图像信息，确定所述车辆的目标框，其中，所述车辆的图像信息包括所述车辆的中心坐标、宽度、高度和角度；
第二执行模块830，用于通过比对所述车辆的目标框和采集到的所述停车场内车位对应的车位框，确定所述车辆的停车状态。
本发明实施例提供的一种车辆停车状态确定方法，通过获取停车场内车辆的图像信息；根据预设位置检测网络和所述图像信息，确定所述车辆的目标框，其中，所述车辆的图像信息包括所述车辆的中心坐标、宽度、高度和角度；通过比对所述车辆的目标框和采集到的所述停车场内车位对应的车位框，确定所述车辆的停车状态。上述技术方案，在获取到停车场内车辆的图像信息之后，预设位置检测网络可以通过车辆的中心坐标、宽度、高度和角度，确定图像信息所包含的停车场内车辆的目标框，再比对车辆的目标框和停车场内车位的车位框，如果目标框与停车场内任一车位的车位框的重合率均小于预设值，则确定车辆的停车状态为异常，否则，车辆的停车状态为正常，实现了对停车场内车辆的停车状态的确定，进一实现对停车场内车辆和车位的监管。
在上述实施例的基础上，所述预设位置检测网络包括卷积层和预测层，所述预测层包含多个通道，
相应地，第一执行模块820具体用于：
将所述图像信息输入所述预设位置检测网络后，所述卷积层提取所述图像信息的特征信息；
所述预测层的各所述通道分别根据所述通道对应的旋转预选框和所述特征信息，确定各所述旋转预选框与所述目标框的中心坐标偏置值、宽度偏置值、高度偏置值、角度偏置值和置信度；
基于最大置信度的所述旋转预选框和对应的所述中心坐标偏置值、所述宽度偏置值、所述高度偏置值和所述角度偏置值，确定所述目标框。
在上述实施例的基础上，所述预设位置检测网络通过如下方式得到：获取训练图像信息，并对所述训练图像信息所包含的车辆进行标注，得到真实目标框；
将所述训练图像信息和对应的所述真实目标框作为训练数据进行网络训练，并计算损失函数；
基于反向传播算法进行网络优化，直至所述损失函数收敛，确定所述预设位置检测网络。
在上述实施例的基础上，将所述训练图像信息和对应的所述真实目标框作为训练数据进行网络训练，并计算损失函数，包括：
将所述训练图像信息和对应的所述真实目标框作为输入信息输入所述预设位置检测网络，得到预测目标框；
根据所述真实目标框和所述预测目标框，确定所述预测目标框的位置损失函数、角度损失函数和大小损失函数。
在上述实施例的基础上，根据所述真实目标框和所述预测目标框，确定所述预测目标框的角度损失函数，包括：
确定所述真实目标框和所述预测目标框的角度交并比；
根据所述角度交并比，计算所述角度损失函数。在上述实施例的基础上，确定所述真实目标框和所述预测目标框的角度交并比，包括：
基于公式
Figure BDA0002985128710000181
确定所述真实目标框和所述训练目标框的角度交并比，其中，RIOU(A,B)为A和B的角度交并比，A为所述真实目标框，
Figure BDA0002985128710000182
为与所述真实目标框保持相同角度、宽度和高度，且中心坐标与所述预测目标框保持一致的旋转框，B为所述预测目标框，
Figure BDA0002985128710000183
为
Figure BDA0002985128710000184
与B的面积交集，
Figure BDA0002985128710000185
为
Figure BDA0002985128710000186
与B的面积并集，θA为A的角度，θB为B的角度。
在上述实施例的基础上，根据所述角度交并比，计算所述角度损失函数，包括：
基于公式
Figure BDA0002985128710000187
计算所述角度损失函数，其中，N为多角度旋转预选框的个数；Lossconf(c)为置信度损失函数，c为二维置信度向量；l为旋转预选框，g为真实目标框。
在上述实施例的基础上，第二执行模块830具体用于：
如果所述目标框和所述车位框的重合率大于预设重合率，则确定所述车辆的停车状态为正常；
否则，确定所述车辆的停车状态为异常。
本发明实施例所提供的一种车辆停车状态确定装置可执行本发明任意实施例所提供的车辆停车状态确定方法，具备执行方法相应的功能模块和有益效果。
实施例四
图9为本发明实施例四提供的一种计算机设备的结构示意图，如图8所示，该计算机设备包括处理器910和存储器920；计算机设备中处理器910的数量可以是一个或多个，图8中以一个处理器910为例；计算机设备中的处理器910和存储器920可以通过总线或其他方式连接，图8中以通过总线连接为例。
存储器920作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的车辆停车状态确定方法对应的程序指令/模块(例如，车辆停车状态确定装置中的获取模块810、第一执行模块820和第二执行模块830)。处理器910通过运行存储在存储器920中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的车辆停车状态确定方法。
存储器920可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器920可进一步包括相对于处理器910远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明实施例提供的计算机设备可以执行上述实施例提供的车辆停车状态确定方法，具备相应的功能和有益效果。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种车辆停车状态确定方法，该方法包括：
获取停车场内车辆的图像信息；
根据预设位置检测网络和所述图像信息，确定所述车辆的目标框，其中，所述车辆的图像信息包括所述车辆的中心坐标、宽度、高度和角度；
通过比对所述车辆的目标框和采集到的所述停车场内车位对应的车位框，确定所述车辆的停车状态。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的车辆停车状态确定方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述车辆停车状态确定装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种车辆停车状态确定方法，其特征在于，包括：
获取停车场内车辆的图像信息；
根据预设位置检测网络和所述图像信息，确定所述车辆的目标框，其中，所述车辆的图像信息包括所述车辆的中心坐标、宽度、高度和角度；
通过比对所述车辆的目标框和采集到的所述停车场内车位对应的车位框，确定所述车辆的停车状态。
2.根据权利要求1所述的车辆停车状态确定方法，其特征在于，所述预设位置检测网络包括卷积层和预测层，所述预测层包含多个通道，
相应地，根据预设位置检测网络和所述图像信息，确定所述停车场内车辆的目标框，包括：
将所述图像信息输入所述预设位置检测网络后，所述卷积层提取所述图像信息的特征信息；
所述预测层的各所述通道分别根据所述通道对应的旋转预选框和所述特征信息，确定各所述旋转预选框与所述目标框的中心坐标偏置值、宽度偏置值、高度偏置值、角度偏置值和置信度；
基于最大置信度的所述旋转预选框和对应的所述中心坐标偏置值、所述宽度偏置值、所述高度偏置值和所述角度偏置值，确定所述目标框。
3.根据权利要求1所述的车辆停车状态确定方法，其特征在于，所述预设位置检测网络通过如下方式得到：
获取训练图像信息，并对所述训练图像信息所包含的车辆进行标注，得到真实目标框；
将所述训练图像信息和对应的所述真实目标框作为训练数据进行网络训练，并计算损失函数；
基于反向传播算法进行网络优化，直至所述损失函数收敛，确定所述预设位置检测网络。
4.根据权利要求3所述的车辆停车状态确定方法，其特征在于，将所述训练图像信息和对应的所述真实目标框作为训练数据进行网络训练，并计算损失函数，包括：
将所述训练图像信息和对应的所述真实目标框作为输入信息输入所述预设位置检测网络，得到预测目标框；
根据所述真实目标框和所述预测目标框，确定所述预测目标框的位置损失函数、角度损失函数和大小损失函数。
5.根据权利要求4所述的车辆停车状态确定方法，其特征在于，根据所述真实目标框和所述预测目标框，确定所述预测目标框的角度损失函数，包括：
确定所述真实目标框和所述预测目标框的角度交并比；
根据所述角度交并比，计算所述角度损失函数。
6.根据权利要求5所述的车辆停车状态确定方法，其特征在于，确定所述真实目标框和所述预测目标框的角度交并比，包括：
基于公式
Figure FDA0002985128700000021
确定所述真实目标框和所述训练目标框的角度交并比，其中，RIOU(A,B)为A和B的角度交并比，A为所述真实目标框，
Figure FDA0002985128700000022
为与所述真实目标框保持相同角度、宽度和高度，且中心坐标与所述预测目标框保持一致的旋转框，B为所述预测目标框，
Figure FDA0002985128700000023
为
Figure FDA0002985128700000024
与B的面积交集，
Figure FDA0002985128700000025
为
Figure FDA0002985128700000026
与B的面积并集，θA为A的角度，θB为B的角度。
7.根据权利要求5所述的车辆停车状态确定方法，其特征在于，根据所述角度交并比，计算所述角度损失函数，包括：
基于公式
Figure FDA0002985128700000031
计算所述角度损失函数，其中，N为多角度旋转预选框的个数；Lossconf(c)为置信度损失函数，c为二维置信度向量；l为旋转预选框，g为真实目标框。
8.根据权利要求1所述的车辆停车状态确定方法，其特征在于，通过比对所述车辆的目标框和采集到的所述停车场内车位对应的车位框，确定所述车辆的停车状态，包括：
如果所述目标框和所述车位框的重合率大于预设重合率，则确定所述车辆的停车状态为正常；
否则，确定所述车辆的停车状态为异常。
9.一种车辆停车状态确定装置，其特征在于，包括：
获取模块，用于获取停车场内车辆的图像信息；
第一执行模块，用于根据预设位置检测网络和所述图像信息，确定所述车辆的预测目标框，其中，所述车辆的图像信息包括所述车辆的中心坐标、宽度、高度和角度；
第二执行模块，用于通过比对所述车辆的目标框和采集到的所述停车场内车位对应的车位框，确定所述车辆的停车状态。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8任一所述的车辆停车状态确定方法。
11.一种计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-8中任一所述的车辆停车状态确定方法。
CN202110298275.8A 2021-03-19 2021-03-19 一种车辆停车状态确定方法、装置、设备和存储介质 Pending CN113065427A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110298275.8A CN113065427A (zh) 2021-03-19 2021-03-19 一种车辆停车状态确定方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110298275.8A CN113065427A (zh) 2021-03-19 2021-03-19 一种车辆停车状态确定方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN113065427A true CN113065427A (zh) 2021-07-02

Family

ID=76562521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110298275.8A Pending CN113065427A (zh) 2021-03-19 2021-03-19 一种车辆停车状态确定方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN113065427A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114023064A (zh) * 2021-11-03 2022-02-08 浙江宇联信息发展有限公司 社区网格化的社区治安管理系统及管理方法
CN115049948A (zh) * 2022-08-15 2022-09-13 深圳市万物云科技有限公司 基于神经网络模型的无人机巡检方法、装置及相关设备
CN115050005A (zh) * 2022-06-17 2022-09-13 北京精英路通科技有限公司 目标检测方法及用于高位视频智慧停车场景的检测装置
CN117553695A (zh) * 2024-01-11 2024-02-13 摩斯智联科技有限公司 基于宽高比抑制噪声计算车辆高度的方法、装置及计算机存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114023064A (zh) * 2021-11-03 2022-02-08 浙江宇联信息发展有限公司 社区网格化的社区治安管理系统及管理方法
CN115050005A (zh) * 2022-06-17 2022-09-13 北京精英路通科技有限公司 目标检测方法及用于高位视频智慧停车场景的检测装置
CN115050005B (zh) * 2022-06-17 2024-04-05 北京精英路通科技有限公司 目标检测方法及用于高位视频智慧停车场景的检测装置
CN115049948A (zh) * 2022-08-15 2022-09-13 深圳市万物云科技有限公司 基于神经网络模型的无人机巡检方法、装置及相关设备
CN117553695A (zh) * 2024-01-11 2024-02-13 摩斯智联科技有限公司 基于宽高比抑制噪声计算车辆高度的方法、装置及计算机存储介质
CN117553695B (zh) * 2024-01-11 2024-05-03 摩斯智联科技有限公司 计算车辆高度的方法、装置及计算机存储介质

Similar Documents

Publication Publication Date Title
CN113065427A (zh) 一种车辆停车状态确定方法、装置、设备和存储介质
CN110758246B (zh) 一种自动泊车方法及装置
US20200349847A1 (en) System and method for camera or sensor-based parking spot detection and identification
CN110689761B (zh) 一种自动泊车方法
CN111081064B (zh) 一种车载以太网的自动泊车系统及自动代客泊车方法
EP3806064B1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN111376895B (zh) 一种环视泊车感知方法、装置、自动泊车系统和车辆
CN113196331A (zh) 利用卫星影像的应用服务提供装置及方法
CN112597807B (zh) 一种违章检测系统、方法、装置、图像采集设备及介质
CN111295666A (zh) 一种车道线检测方法、装置、控制设备及存储介质
CN113469045B (zh) 无人集卡的视觉定位方法、系统、电子设备和存储介质
CN112820137A (zh) 一种停车场的管理方法及装置
CN109615925A (zh) 基于视频监控的车辆停车控制方法、装置、系统及服务器
CN111213154A (zh) 一种车道线检测方法、设备、移动平台及存储介质
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
CN112949583A (zh) 复杂城市场景的目标检测方法、系统、设备及存储介质
CN114360261B (zh) 车辆逆行的识别方法、装置、大数据分析平台和介质
CN113409194A (zh) 泊车信息获取方法及装置、泊车方法及装置
FAN et al. Robust lane detection and tracking based on machine vision
WO2021138372A1 (en) Feature coverage analysis
Singh et al. Improved YOLOv5l for vehicle detection: an application to estimating traffic density and identifying over speeding vehicles on highway scenes
CN116612493A (zh) 一种行人地理轨迹提取方法及设备
CN113569752B (zh) 车道线结构识别方法、装置、设备及介质
CN115527187A (zh) 一种障碍物的分类方法以及装置
CN114972731A (zh) 交通灯检测识别方法及装置、移动工具、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination