CN113240734A - 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质 - Google Patents

一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质 Download PDF

Info

Publication number
CN113240734A
CN113240734A CN202110608149.8A CN202110608149A CN113240734A CN 113240734 A CN113240734 A CN 113240734A CN 202110608149 A CN202110608149 A CN 202110608149A CN 113240734 A CN113240734 A CN 113240734A
Authority
CN
China
Prior art keywords
point cloud
vehicle
video image
parking space
order video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110608149.8A
Other languages
English (en)
Other versions
CN113240734B (zh
Inventor
唐健
徐凯亮
石伟
陶昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jieshun Science and Technology Industry Co Ltd
Original Assignee
Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jieshun Science and Technology Industry Co Ltd filed Critical Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority to CN202110608149.8A priority Critical patent/CN113240734B/zh
Priority claimed from CN202110608149.8A external-priority patent/CN113240734B/zh
Publication of CN113240734A publication Critical patent/CN113240734A/zh
Application granted granted Critical
Publication of CN113240734B publication Critical patent/CN113240734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本申请公开了一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质。该方法包括：获取不同视角下目标车位的高位视频图像，得到高位视频图像组；依次选取高位视频图像组中的高位视频图像作为参考图，并基于高位视频图像组利用深度估计模型得到参考图对应的深度图；根据深度图构建得到对应的点云图，并对得到的点云图进行配准和融合以得到与高位视频图像组对应的融合后点云图；基于融合后点云图生成鸟瞰图，并通过鸟瞰图判断目标车位存在的车辆跨位行为。利用目标车位在多个视角的高位视频图像，转换得到目标车位的鸟瞰图，可以在一个平面内清楚的显示车辆与车位框之间的关系，然后通过鸟瞰图进行车辆跨位的判断，提高了车辆跨位判断的准确性。

Description

一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质
技术领域
本发明涉及车辆监控领域，特别涉及一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质。
背景技术
当前，路侧停车管理是智慧城市建设中的重点难点，针对智慧城市建设中停车位资源紧张和停车难的问题，通过监控车位状态和实时上报车位停车情况，可以充分管理车位资源，实现资源合理管理和有效整合。基于高位视频的监控方式是路侧停车管理系统中的常用手段，该方法可以同时有效的采集多个车辆和停车位的视频信息，通过车辆检测方法检测车辆位置并分析与处理，从而完成对路侧停车中跨位事件的监控和判断。但是，路侧停车现场往往由于停车环境复杂，停车位上存在车辆遮挡、车辆车位的相对位置判断不精确等问题，这为车辆跨位事件判断带来了极大的挑战，尤其是如何精确定位车辆与停车位的位置关系。
现有技术中，高位视频桩可以对停车位中车辆进出作出准确地判断，但对于车位中车辆前后跨位事件难以判断，受到场景复杂度和摄像头角度限制，高位视频桩还存在许多视觉盲区，这使得无法有效获取车辆和不同停车位的相对位置。在路侧停车系统中，车辆跨位行为分析依靠车辆和车位框的位置关系来判断车辆的跨位情况，在高位视频桩拍摄的视频中，车位框由人工提前标记，在不同的视角下表现为不规则的四边形，车辆检测框由车辆检测方法所得，始终与视角平面保持平行并表现为规则的矩形，这就导致车位框和车辆检测框所存在的二维平面相互不平行。另外，由于车辆具有一定的高度，在三维的空间内不同的视角下表现为不同的立体形状，在前后车位上有车的情况下，仅依靠车辆检测框判断跨位事件会严重地受到视觉上的车辆遮挡影响，降低了车辆跨位事件判断的准确性。
发明内容
有鉴于此，本发明的目的在于提供一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质，能够提高车辆跨位判断的准确性。其具体方案如下：
第一方面，本申请公开了一种基于鸟瞰图的车辆跨位判断方法，包括：
获取不同视角下目标车位的高位视频图像，得到高位视频图像组；
依次选取所述高位视频图像组中的高位视频图像作为参考图，并基于所述高位视频图像组利用深度估计模型得到所述参考图对应的深度图；
根据所述深度图构建得到对应的点云图，并对得到的点云图进行配准和融合以得到与所述高位视频图像组对应的融合后点云图；
基于所述融合后点云图生成鸟瞰图，并通过所述鸟瞰图判断所述目标车位存在的车辆跨位行为。
可选的，所述基于所述高位视频图像组利用深度估计模型得到所述参考图对应的深度图，包括：
将所述高位视频图像组输入至预先基于MVSNet框架构建的深度估计模型，以得到所述参考图像对应的深度图。
可选的，所述根据所述深度图构建得到对应的点云图，并对得到的点云图进行配准和融合以得到与所述高位视频图像组对应的融合后点云图，包括：
通过三角测量对所述深度图进行三维建模，以得到每张深度图对应的点云图；
利用采样一致性初始配准算法对得到的多个点云图进行粗配准，再利用迭代最近点算法对粗配准后点云图进行精配准，以得到与所述高位视频图像组对应的所述融合后点云图。
可选的，所述高位视频图像中包含车位框标记、车辆检测框和车辆中心标识。
可选的，所述基于所述融合后点云图生成鸟瞰图，包括：
根据融合后点云图中与所述车位框标记对应的点云数据，确定出目标矩形区域，并根据所述目标矩形区域从所述融合后点云图中提取出目标点云数据；
根据所述目标矩形区域和所述目标点云数据的坐标位置关系进行原点平移；
将平移后的目标点云数据进行归一化处理或裁减处理，并将处理后点云数据填充至所述目标矩形区域，以得到所述鸟瞰图。
可选的，所述通过所述鸟瞰图判断所述目标车位存在的车辆跨位行为，包括：
根据所述鸟瞰图中的车位框标记、车辆中心标识，以及预设交并比数值判断所述目标车位是否存在车辆跨位行为。
第二方面，本申请公开了一种基于鸟瞰图的车辆跨位判断装置，包括：
高位视频图像获取模块，用于获取不同视角下目标车位的高位视频图像，得到高位视频图像组；
深度图生成模块，用于依次选取所述高位视频图像组中的高位视频图像作为参考图，并基于所述高位视频图像组利用深度估计模型得到所述参考图对应的深度图；
点云图生成模块，用于根据所述深度图构建得到对应的点云图，并对得到的点云图进行配准和融合以得到与所述高位视频图像组对应的融合后点云图；
鸟瞰图生成模块，用于基于所述融合后点云图生成鸟瞰图，并通过所述鸟瞰图判断所述目标车位存在的车辆跨位行为。
可选的，所述高位视频图像中包含车位框标记、车辆检测框和车辆中心标识。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述的基于鸟瞰图的车辆跨位判断方法。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中计算机程序被处理器执行时实现前述的基于鸟瞰图的车辆跨位判断方法。
本申请中，首先获取不同视角下目标车位的高位视频图像，得到高位视频图像组；然后依次选取高位视频图像组中的高位视频图像作为参考图，并基于高位视频图像组利用深度估计模型得到参考图对应的深度图；再根据深度图构建得到对应的点云图，并对得到的点云图进行配准和融合以得到与高位视频图像组对应的融合后点云图；最后基于融合后点云图生成鸟瞰图，并通过鸟瞰图判断目标车位存在的车辆跨位行为。可见，通过依次选取高位视频图像组中的每张高位视频图像作为参考图，并利用深度估计模型得到每张参考图对应的深度图，然后通过深度图到点云变化得到每张深度图对应的点云图，最后通过融合得到融合后点云图，然后根据融合后点云图构建鸟瞰图以判断车辆跨位行为。由此一来，基于目标车位在多个视角的高位视频图像构建生成目标车位的鸟瞰图，可以在一个平面内清楚的显示车辆与车位框之间的关系，提高了车辆跨位判断的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种基于鸟瞰图的车辆跨位判断方法流程图；
图2为本申请提供的一种鸟瞰图举例示意图；
图3为本申请提供的一种具体的基于鸟瞰图的车辆跨位判断方法流程图；
图4为本申请提供的一种基于鸟瞰图的车辆跨位判断装置结构示意图；
图5为本申请提供的一种电子设备结构图。
具体实施方式
现有技术中，通过标记的车位框以及根据车辆特征检测得到的车辆检测框，判断车辆的驶入驶出及跨位行为，但是由于车位框和车辆检测框所存在的二维平面相互不平行，降低了车辆跨位检测的准确性。为克服上述技术问题，本申请提出一种基于鸟瞰图的车辆跨位判断方法，可以提高车辆跨位判断的准确性。
本申请实施例公开了一种基于鸟瞰图的车辆跨位判断方法，参见图1所示，该方法可以包括以下步骤：
步骤S11：获取不同视角下目标车位的高位视频图像，得到高位视频图像组。
本实施例中，首先获取不同视角下目标车位的高位视频图像，得到高位视频图像组，可以理解的是，针对目标停车位，通过摄像头从不同目标视角获取上述目标停车位对应得高位视频图像，得到针对相同目标车位的不同视角下的高位视频图像，以组成上述高位视频图像组，其中，上述高位视频图像中可以包括一个或多个目标车位。
本实施例中，所述高位视频图像中包含车位框标记、车辆检测框和车辆中心标识。可以理解的是，通过摄像头得到图像后，车位框标记即为根据人工划分的车位框检测得到的车位框标记，通过车辆检测模块获取车辆检测框，并根据车辆检测框计算得到车辆中心标识，其中，车辆中心标识为车辆检测框的中心，并且，可以理解的是，此时的高位视频图像由于不是俯视图，车位框标记和车辆检测框并不在一个平面上。
步骤S12：依次选取所述高位视频图像组中的高位视频图像作为参考图，并基于所述高位视频图像组利用深度估计模型得到所述参考图对应的深度图。
本实施例中，在得到高位视频图像组后，依次从高位视频图像组中选取一张高位视频图像作为参考图，其余图像作为原始图，然后将上述参考图像和原始图像输入至预先构建的深度估计模型，以得到上述参考图对应的深度图。可以理解的是，高位视频图像组会多次输入至上述深度估计模型，但每次输入是以不同的高位视频图像作为参考图输入的。其中，上述深度估计模型以为基于深度学习构建的端到端深度估计模型，模型采用卷积神经网络进行特征匹配，可以提高三维立体匹配的精确度，
本实施例中，所述基于所述高位视频图像组利用深度估计模型得到所述参考图对应的深度图，可以包括：将所述高位视频图像组输入至预先基于MVSNet框架构建的深度估计模型，以得到所述参考图像对应的深度图。可以理解的是，上述深度估计模型可以为基于MVSNet框架构建的深度估计模型，具体的，模型在获取一张参考图像和多张原始图像后，通过神经网络提取图像的深度特征，再通过可微分投影变换构造3D的代价体，然后通过正则化输出对应的3D概率体实现代价累计，最后通过soft argMin层沿深度方向求取深度期望，以获得参考图像的深度图。
步骤S13：根据所述深度图构建得到对应的点云图，并对得到的点云图进行配准和融合以得到与所述高位视频图像组对应的融合后点云图。
本实施例中，在得到多张深度图后，根据上述深度图构建对应的点云图，以得到对应的多张点云图，然后对得到的点云图进行配准和融合，最终得到与上述高位视频图像组对应的的融合后点云图。由此，通过为每张参考图构建深度图融合每张深度图像对应的点云图，得到的融合后点云图精确度更高。
本实施例中，所述根据所述深度图构建得到对应的点云图，可以包括：通过三角测量对所述深度图进行三维建模，以得到每张深度图对应的点云图。具体的，深度图转点云图可以通过相似三角形的几何关系，推理出如下坐标系转化公式：
Figure BDA0003094870210000061
即利用深度图像坐标系中已知的每个像素的坐标点m(u，v)和深度值zc，代入可计算出世界坐标系的坐标M(xw，yw，zw)；其中f为相机焦距，zc表示相机坐标的z轴值，即目标到相机的距离，u0，v0分别为图像的中心坐标，当图像物理坐标系(x，y)原点在图像坐标系(u，v)中的坐标为(u0，v0)时，则像面上每个像素点在x轴和y轴方向上的物理尺寸为dx和dy。
本实施例中，所述对得到的点云图进行配准和融合以得到融合后点云图，可以包括：利用采样一致性初始配准算法对得到的多个点云图进行粗配准，再利用迭代最近点算法对粗配准后点云图进行精配准，以得到与所述高位视频图像组对应的所述融合后点云图。可以理解的是，点云的配准过程就是求不同点云图之间的旋转平移矩阵，例如，得到两个点云图，一个作为源点云，另一个作为目标点云，配准过程是将源点云变换到目标点云相同的坐标系下，其中，具体的变换公式为：
pt＝R·ps+T；
其中，pt和ps是目标点云和源点云中的一对对应点，R和T分别为需要求解的旋转矩阵和平移矩阵。本实施例中，点云配准包括粗配准和精配准两步，粗配准目的是为精配准提供比较准确的初值，防止精配准落入局部最优，精配准目的是为了计算得到更精确的旋转平移矩阵。
其中，上述粗配准可以采用一致性初始配准算法(SAC-IA，Sample ConsensusInitial Aigment)，具体步骤如下：
(1)点云降采样，即适当降低点云的点数，以加快配准速率，减小配准耗时；
(2)提取法向量，通过PCA主成分分析法求得一个方向向量使得所有领域点在该方向上的投影点分布最为集中；
(3)提取快速点特征直方图(FPFH，fast pointfetures histograms)特征，通过带有法线信息的点云，求取能反映每个点周围领域相关特征的直方图，利用FPFH结果可以寻找点云内部或不同点云之间的关联关系；
(4)选取采样点，在源点云中选取n个采样点，并且为保证采样点具有不同的FPFH特征，采样点两两之间距离应大于预设的最小距离阈值；
(5)选取对应点，在目标点云中查找与源点云采样点具有相似FPFH特征的一个点或多个点，从相似点中随机选取一个点作为源点云在目标点云中的对应点；
(6)优化旋转平移矩阵，计算对应点之间旋转平移矩阵，然后通过求解对应点变换后的距离误差函数来判断当前配准变换的性能，距离误差函数使用Huber Loss作为损失函数，记为
Figure BDA0003094870210000071
该函数能增强平方误差损失函数(MSE，mean square error)对离群点的鲁棒性。
其中，上述损失函数的表达式为：
Figure BDA0003094870210000072
其中，δ为定值，di是第i组对应点变换之后的距离差，通过反复迭代步骤(4)、(5)、(6)使得误差函数
Figure BDA0003094870210000073
最小，以求得最终的旋转平移矩阵。
其中，上述精配准可以采用迭代最近点算法(ICP，Iterative Cloest Point)，具体步骤如下：
(1)设置目标函数f(R，T)和最邻近距离阈值ε，其中，目标损失函数的表达式为：
Figure BDA0003094870210000081
上述目标函数可以表示所有对应点之间的欧氏距离平方和，其中，
Figure BDA0003094870210000082
和
Figure BDA0003094870210000083
为目标点云和源点云中的一对对应点，Np表示对应点数量。其中，上述最邻近距离阈值ε用于当两个对应点距离小于阈值ε时，则认为这两个点为最邻近点；
(2)寻找最邻近点，首先利用粗配准获取的初始旋转平移矩阵对源点云进行变换，然后将变换后点云与目标点云进行比较，只要两个点云中存在距离小于阈值的点，则认为这两个点为最邻近点且为最优点对；
(3)旋转平移矩阵优化，固定最优点对，采用最小二乘法来最小化目标损失f(R，T)，以计算最优的旋转平移矩阵；
(4)迭代求解，在优化得到新的旋转平移矩阵后，重新寻找最邻近点，重复寻找最邻近点和旋转平移矩阵优化的步骤，迭代时可设置最邻近距离阈值ε由大到小，最后固定该阈值，反复迭代直到对应点之间平均距离小于最终阈值则迭代终止。
最后将源点云通过配准求得的旋转变换矩阵变换到目标点云相同的坐标系下，得到上述融合后点云图。
步骤S14：基于所述融合后点云图生成鸟瞰图，并通过所述鸟瞰图判断所述目标车位存在的车辆跨位行为。
本实施例中，在得到融合后点云图后，根据所述融合后点云图生成鸟瞰图；其中，所述基于所述融合后点云图生成鸟瞰图，可以包括：根据融合后点云图中与所述车位框标记对应的点云数据，确定出目标矩形区域，并根据所述目标矩形区域从所述融合后点云图中提取出目标点云数据；根据所述目标矩形区域和所述目标点云数据的坐标位置关系进行原点平移；将平移后的目标点云数据进行归一化处理或裁减处理，并将处理后点云数据填充至所述目标矩形区域，以得到所述鸟瞰图。可以理解的是，例如图2所示，图中框1为车辆检测框，框2为车位框标记，框3为目标矩形区域，框2中的实心标记为车辆中心标识，可以理解的是，高位视频图像中的车位框标记、车辆检测框和车辆中心标识会跟随转化并显示在鸟瞰图中。在得到融合后点云图后，根据融合后点云图中与车位框标记对应的点云数据以及预设区域大小，确定出目标矩形区域，并提取出目标矩形区域对应的立方体内的点云数据，得到上述目标点云数据；并且，由于确定的目标矩形区域图像得坐标轴和点云坐标轴维度不同，x值和y值存在负数，因此需要平移数据，使得原点位置的数据最小，根据情况可设置目标矩形区域对应坐标系的原点，以及车位框标记对应坐标系的原点。然后将平移后的目标点云数据进行归一化处理或裁减处理，具体的，可以将点数据归一化到0至255之间，或设置一个投影的高度范围在0至255之间，裁减掉高于或低于该范围的点云数据，最后填充至上述目标矩形区域，即将点云图中Z轴上的高度值转为深度值填充到鸟瞰平面坐标系上，以得到鸟瞰图。
本实施例中，所述通过所述鸟瞰图判断所述目标车位存在的车辆跨位行为，可以包括：根据所述鸟瞰图中的车位框标记、车辆中心标识，以及预设交并比数值判断所述目标车位是否存在车辆跨位行为。可以理解的是，例如图2所示，点云图转换成鸟瞰图后，车辆中心标识与车位框标记被投影到了同一平面，并且车位框标记为标准矩形，车辆跨位事件通过车辆中心标识与车位框标记的相对位置来判断，当车位框与车辆中心区域的交并比数值(IOU，Intersection over Union)大于预设阈值时则认为车辆在该车位内，未发生车辆跨位行为，其中，上述预设阈值可以为0.5。
例如图3所示，以含有两张高位视频图像的高位视频图像组的输入为例，包括A、B两张图像，第一次输入时A作为参考图片即refImageA，B作为原始图片即ImageB；第二次输入时B作为参考图片即refImageB，A作为原始图片即ImageA，将高位视频图像组依次输入基于MVSNet框架的深度估计模型，通过深度特征提取、构造匹配代价、代价积累、深度估计和深度图优化，得到不同视角下的参考图像视角深度图，即以A为参考图像时的深度图DeepImageA和，以B为参考图像时的深度图DeepImageB，然后构造深度图对应的点云图，即PointA为DeepImageA变换得到的点云，PointB为DeepImageB变换得到的点云，然后通过SAC-IA粗匹配和ICP精匹配得到融合后点云图PointMix，再通过设置感兴趣的目标矩形区域、平移原点和像素填充的步骤，将融合后点云图PointMix转换到鸟瞰视角填充的鸟瞰图BevImage，最后通过车辆中心标识与车位框标记的重叠区域比例判断车辆跨位行为。由此，通过深度学习深度估计模型、深度图转点云和多视角点云配准技术对场景建模，再将三维空间的点云降维填充到竖直鸟瞰平面上，在二维鸟瞰平面图上进行车辆跨位事件判断。其中深度估计模型对两个不同视角的单目相机拍摄图像进行深度估计，可以获取不同视角的深度图，模型可以通过预先训练后得到。
由上可见，本实施例中获取不同视角下目标车位的高位视频图像，得到高位视频图像组；然后依次选取高位视频图像组中的高位视频图像作为参考图，并基于高位视频图像组利用深度估计模型得到参考图对应的深度图；再根据深度图构建得到对应的点云图，并对得到的点云图进行配准和融合以得到与高位视频图像组对应的融合后点云图；最后基于融合后点云图生成鸟瞰图，并通过鸟瞰图判断目标车位存在的车辆跨位行为。可见，通过依次选取高位视频图像组中的每张高位视频图像作为参考图，并利用深度估计模型得到每张参考图对应的深度图，然后通过深度图到点云变化得到每张深度图对应的点云图，最后通过融合得到融合后点云图，然后根据融合后点云图构建鸟瞰图以判断车辆跨位行为。由此一来，基于目标车位在多个视角的高位视频图像构建生成目标车位的鸟瞰图，可以在一个平面内清楚的显示车辆与车位框之间的关系，提高了车辆跨位判断的准确性。
相应的，本申请实施例还公开了一种基于鸟瞰图的车辆跨位判断装置，参见图4所示，该装置包括：
高位视频图像获取模块11，用于获取不同视角下目标车位的高位视频图像，得到高位视频图像组；
深度图生成模块12，用于依次选取所述高位视频图像组中的高位视频图像作为参考图，并基于所述高位视频图像组利用深度估计模型得到所述参考图对应的深度图；
点云图生成模块13，用于根据所述深度图构建得到对应的点云图，并对得到的点云图进行配准和融合以得到与所述高位视频图像组对应的融合后点云图；
鸟瞰图生成模块14，用于基于所述融合后点云图生成鸟瞰图，并通过所述鸟瞰图判断所述目标车位存在的车辆跨位行为。
由上可见，本实施例中获取不同视角下目标车位的高位视频图像，得到高位视频图像组；然后依次选取高位视频图像组中的高位视频图像作为参考图，并基于高位视频图像组利用深度估计模型得到参考图对应的深度图；再根据深度图构建得到对应的点云图，并对得到的点云图进行配准和融合以得到与高位视频图像组对应的融合后点云图；最后基于融合后点云图生成鸟瞰图，并通过鸟瞰图判断目标车位存在的车辆跨位行为。可见，通过依次选取高位视频图像组中的每张高位视频图像作为参考图，并利用深度估计模型得到每张参考图对应的深度图，然后通过深度图到点云变化得到每张深度图对应的点云图，最后通过融合得到融合后点云图，然后根据融合后点云图构建鸟瞰图以判断车辆跨位行为。由此一来，基于目标车位在多个视角的高位视频图像构建生成目标车位的鸟瞰图，可以在一个平面内清楚的显示车辆与车位框之间的关系，提高了车辆跨位判断的准确性。
本实施例中，所述高位视频图像中包含车位框标记、车辆检测框和车辆中心标识。
在一些具体实施例中，所述点云图生成模块13具体可以包括：
点云图生成单元，用于通过三角测量对所述深度图进行三维建模，以得到每张深度图对应的点云图；
融合单元，用于利用采样一致性初始配准算法对得到的多个点云图进行粗配准，再利用迭代最近点算法对粗配准后点云图进行精配准，以得到与所述高位视频图像组对应的所述融合后点云图。
在一些具体实施例中，所述鸟瞰图生成模块14具体可以包括：
目标点云数据提取单元，用于根据融合后点云图中与所述车位框标记对应的点云数据，确定出目标矩形区域，并根据所述目标矩形区域从所述融合后点云图中提取出目标点云数据；
原点平移单元，用于根据所述目标矩形区域和所述目标点云数据的坐标位置关系进行原点平移；
像素填充单元，用于将平移后的目标点云数据进行归一化处理或裁减处理，并将处理后点云数据填充至所述目标矩形区域，以得到所述鸟瞰图；
跨位行为判定单元，用于根据所述鸟瞰图中的车位框标记、车辆中心标识，以及预设交并比数值判断所述高位视频图像中是否存在车辆跨位行为。
进一步的，本申请实施例还公开了一种电子设备，参见图5所示，图中的内容不能被认为是对本申请的使用范围的任何限制。
图5为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的基于鸟瞰图的车辆跨位判断方法中的相关步骤。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及包括高位视频图像在内的数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的基于鸟瞰图的车辆跨位判断方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请实施例还公开了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述任一实施例公开的基于鸟瞰图的车辆跨位判断方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于鸟瞰图的车辆跨位判断方法，其特征在于，包括：
获取不同视角下目标车位的高位视频图像，得到高位视频图像组；
依次选取所述高位视频图像组中的高位视频图像作为参考图，并基于所述高位视频图像组利用深度估计模型得到所述参考图对应的深度图；
根据所述深度图构建得到对应的点云图，并对得到的点云图进行配准和融合以得到与所述高位视频图像组对应的融合后点云图；
基于所述融合后点云图生成鸟瞰图，并通过所述鸟瞰图判断所述目标车位存在的车辆跨位行为。
2.根据权利要求1所述的基于鸟瞰图的车辆跨位判断方法，其特征在于，所述基于所述高位视频图像组利用深度估计模型得到所述参考图对应的深度图，包括：
将所述高位视频图像组输入至预先基于MVSNet框架构建的深度估计模型，以得到所述参考图像对应的深度图。
3.根据权利要求1所述的基于鸟瞰图的车辆跨位判断方法，其特征在于，所述根据所述深度图构建得到对应的点云图，并对得到的点云图进行配准和融合以得到与所述高位视频图像组对应的融合后点云图，包括：
通过三角测量对所述深度图进行三维建模，以得到每张深度图对应的点云图；
利用采样一致性初始配准算法对得到的多个点云图进行粗配准，再利用迭代最近点算法对粗配准后点云图进行精配准，以得到与所述高位视频图像组对应的所述融合后点云图。
4.根据权利要求1所述的基于鸟瞰图的车辆跨位判断方法，其特征在于，所述高位视频图像中包含车位框标记、车辆检测框和车辆中心标识。
5.根据权利要求4所述的基于鸟瞰图的车辆跨位判断方法，其特征在于，所述基于所述融合后点云图生成鸟瞰图，包括：
根据融合后点云图中与所述车位框标记对应的点云数据，确定出目标矩形区域，并根据所述目标矩形区域从所述融合后点云图中提取出目标点云数据；
根据所述目标矩形区域和所述目标点云数据的坐标位置关系进行原点平移；
将平移后的目标点云数据进行归一化处理或裁减处理，并将处理后点云数据填充至所述目标矩形区域，以得到所述鸟瞰图。
6.根据权利要求4所述的基于鸟瞰图的车辆跨位判断方法，其特征在于，所述通过所述鸟瞰图判断所述目标车位存在的车辆跨位行为，包括：
根据所述鸟瞰图中的车位框标记、车辆中心标识，以及预设交并比数值判断所述目标车位是否存在车辆跨位行为。
7.一种基于鸟瞰图的车辆跨位判断装置，其特征在于，包括：
高位视频图像获取模块，用于获取不同视角下目标车位的高位视频图像，得到高位视频图像组；
深度图生成模块，用于依次选取所述高位视频图像组中的高位视频图像作为参考图，并基于所述高位视频图像组利用深度估计模型得到所述参考图对应的深度图；
点云图生成模块，用于根据所述深度图构建得到对应的点云图，并对得到的点云图进行配准和融合以得到与所述高位视频图像组对应的融合后点云图；
鸟瞰图生成模块，用于基于所述融合后点云图生成鸟瞰图，并通过所述鸟瞰图判断所述目标车位存在的车辆跨位行为。
8.根据权利要求7所述的基于鸟瞰图的车辆跨位判断装置，其特征在于，所述高位视频图像中包含车位框标记、车辆检测框和车辆中心标识。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至6任一项所述的基于鸟瞰图的车辆跨位判断方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于鸟瞰图的车辆跨位判断方法。
CN202110608149.8A 2021-06-01 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质 Active CN113240734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110608149.8A CN113240734B (zh) 2021-06-01 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110608149.8A CN113240734B (zh) 2021-06-01 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113240734A true CN113240734A (zh) 2021-08-10
CN113240734B CN113240734B (zh) 2024-05-17

Family

ID=

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113851015A (zh) * 2021-09-24 2021-12-28 深圳市捷顺科技实业股份有限公司 一种视频桩协同的方法以及视频桩
CN114023064A (zh) * 2021-11-03 2022-02-08 浙江宇联信息发展有限公司 社区网格化的社区治安管理系统及管理方法
CN114255584A (zh) * 2021-12-20 2022-03-29 济南博观智能科技有限公司 一种停放车辆的定位方法、系统、存储介质和电子设备
CN114267180A (zh) * 2022-03-03 2022-04-01 科大天工智能装备技术（天津）有限公司 一种基于计算机视觉的停车管理方法及系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090243889A1 (en) * 2008-03-27 2009-10-01 Mando Corporation Monocular motion stereo-based free parking space detection apparatus and method
CN108875911A (zh) * 2018-05-25 2018-11-23 同济大学 一种泊车位检测方法
CN109243289A (zh) * 2018-09-05 2019-01-18 武汉中海庭数据技术有限公司 高精度地图制作中地下车库停车位提取方法及系统
CN109766404A (zh) * 2019-02-12 2019-05-17 湖北亿咖通科技有限公司 点云处理方法、装置及计算机可读存储介质
FR3078667A1 (fr) * 2018-03-12 2019-09-13 Renault S.A.S Procede et systeme d'assistance au stationnement par vision active a lumiere structuree
CN110758246A (zh) * 2018-07-25 2020-02-07 广州小鹏汽车科技有限公司 一种自动泊车方法及装置
CN110766979A (zh) * 2019-11-13 2020-02-07 奥特酷智能科技(南京)有限公司 一种用于自动驾驶车辆的泊车车位检测方法
CN110929692A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置
CN111274943A (zh) * 2020-01-19 2020-06-12 深圳市商汤科技有限公司 一种检测方法、装置、电子设备及存储介质
CN111476822A (zh) * 2020-04-08 2020-07-31 浙江大学 一种基于场景流的激光雷达目标检测与运动跟踪方法
CN111559314A (zh) * 2020-04-27 2020-08-21 长沙立中汽车设计开发股份有限公司 深度与图像信息融合的3d增强全景环视系统及实现方法
US20200380773A1 (en) * 2019-05-28 2020-12-03 Applied Intuition, Inc. Map data filtering for simulated-driving-environment generation
CN112132829A (zh) * 2020-10-23 2020-12-25 北京百度网讯科技有限公司 车辆信息的检测方法、装置、电子设备和存储介质
CN112348921A (zh) * 2020-11-05 2021-02-09 上海汽车集团股份有限公司 一种基于视觉语义点云的建图方法及系统
CN112580561A (zh) * 2020-12-25 2021-03-30 上海高德威智能交通系统有限公司 目标检测方法、装置、电子设备及存储介质
CN112733812A (zh) * 2021-03-01 2021-04-30 知行汽车科技（苏州）有限公司 三维车道线检测方法、装置及存储介质
CN112766206A (zh) * 2021-01-28 2021-05-07 深圳市捷顺科技实业股份有限公司 一种高位视频车辆检测方法、装置、电子设备和存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090243889A1 (en) * 2008-03-27 2009-10-01 Mando Corporation Monocular motion stereo-based free parking space detection apparatus and method
FR3078667A1 (fr) * 2018-03-12 2019-09-13 Renault S.A.S Procede et systeme d'assistance au stationnement par vision active a lumiere structuree
CN108875911A (zh) * 2018-05-25 2018-11-23 同济大学 一种泊车位检测方法
CN110758246A (zh) * 2018-07-25 2020-02-07 广州小鹏汽车科技有限公司 一种自动泊车方法及装置
CN109243289A (zh) * 2018-09-05 2019-01-18 武汉中海庭数据技术有限公司 高精度地图制作中地下车库停车位提取方法及系统
CN109766404A (zh) * 2019-02-12 2019-05-17 湖北亿咖通科技有限公司 点云处理方法、装置及计算机可读存储介质
US20200380773A1 (en) * 2019-05-28 2020-12-03 Applied Intuition, Inc. Map data filtering for simulated-driving-environment generation
CN110766979A (zh) * 2019-11-13 2020-02-07 奥特酷智能科技(南京)有限公司 一种用于自动驾驶车辆的泊车车位检测方法
CN110929692A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置
CN111274943A (zh) * 2020-01-19 2020-06-12 深圳市商汤科技有限公司 一种检测方法、装置、电子设备及存储介质
CN111476822A (zh) * 2020-04-08 2020-07-31 浙江大学 一种基于场景流的激光雷达目标检测与运动跟踪方法
CN111559314A (zh) * 2020-04-27 2020-08-21 长沙立中汽车设计开发股份有限公司 深度与图像信息融合的3d增强全景环视系统及实现方法
CN112132829A (zh) * 2020-10-23 2020-12-25 北京百度网讯科技有限公司 车辆信息的检测方法、装置、电子设备和存储介质
CN112348921A (zh) * 2020-11-05 2021-02-09 上海汽车集团股份有限公司 一种基于视觉语义点云的建图方法及系统
CN112580561A (zh) * 2020-12-25 2021-03-30 上海高德威智能交通系统有限公司 目标检测方法、装置、电子设备及存储介质
CN112766206A (zh) * 2021-01-28 2021-05-07 深圳市捷顺科技实业股份有限公司 一种高位视频车辆检测方法、装置、电子设备和存储介质
CN112733812A (zh) * 2021-03-01 2021-04-30 知行汽车科技（苏州）有限公司 三维车道线检测方法、装置及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
VICTOR VAQUERO: "Improving Map Re-localization with Deep ‘Movable’ Objects Segmentation on 3D LiDAR Point Clouds", 《IEEE XPLORE》 *
彭真: "基于关键点提取与优化迭代最近点的点云配准", 《激光与光电子学进展》, pages 2 *
杨毅: "基于多源信息的停车场环境认知", 《无人载体与控制技术发展及应用学术研讨峰会文集》, pages 2 - 4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113851015A (zh) * 2021-09-24 2021-12-28 深圳市捷顺科技实业股份有限公司 一种视频桩协同的方法以及视频桩
CN114023064A (zh) * 2021-11-03 2022-02-08 浙江宇联信息发展有限公司 社区网格化的社区治安管理系统及管理方法
CN114255584A (zh) * 2021-12-20 2022-03-29 济南博观智能科技有限公司 一种停放车辆的定位方法、系统、存储介质和电子设备
CN114267180A (zh) * 2022-03-03 2022-04-01 科大天工智能装备技术（天津）有限公司 一种基于计算机视觉的停车管理方法及系统

Similar Documents

Publication Publication Date Title
EP2731075B1 (en) Backfilling points in a point cloud
WO2018061010A1 (en) Point cloud transforming in large-scale urban modelling
JP7422105B2 (ja) 路側計算装置に用いる障害物３次元位置の取得方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラム
EP3274964B1 (en) Automatic connection of images using visual features
EP3367334B1 (en) Depth estimation method and depth estimation apparatus of multi-view images
EP3304500B1 (en) Smoothing 3d models of objects to mitigate artifacts
CN109271861B (zh) 多尺度融合的点云交通标识牌自动提取方法
Kim et al. Interactive 3D building modeling method using panoramic image sequences and digital map
CN113673400A (zh) 基于深度学习的实景三维语义重建方法、装置及存储介质
WO2023016182A1 (zh) 位姿确定方法、装置、电子设备和可读存储介质
JP2016218694A (ja) ３次元モデル生成装置、３次元モデル生成方法、及びプログラム
Saxena et al. 3-d reconstruction from sparse views using monocular vision
CN116778094B (zh) 一种基于优选视角拍摄的建筑物变形监测方法及装置
CN116823966A (zh) 相机的内参标定方法、装置、计算机设备和存储介质
CN113240734B (zh) 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质
CN113240734A (zh) 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质
CN112991436B (zh) 基于物体尺寸先验信息的单目视觉slam方法
CN115937449A (zh) 高精地图生成方法、装置、电子设备和存储介质
EP4036859A1 (en) A system and method for providing improved geocoded reference data to a 3d map representation
He et al. Sparse depth map upsampling with rgb image and anisotropic diffusion tensor
CN112598736A (zh) 一种基于地图构建的视觉定位方法及装置
JP6546898B2 (ja) ３次元空間特定装置、方法、及びプログラム
CN116007637B (zh) 定位装置、方法、车载设备、车辆、及计算机程序产品
Arefi et al. Ridge based decomposition of complex buildings for 3D model generation from high resolution digital surface models
WO2023281797A1 (ja) 設備認識システム及び設備認識方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant