CN113191221A - 基于全景相机的车辆检测方法、装置以及计算机存储介质 - Google Patents

基于全景相机的车辆检测方法、装置以及计算机存储介质 Download PDF

Info

Publication number
CN113191221A
CN113191221A CN202110406602.7A CN202110406602A CN113191221A CN 113191221 A CN113191221 A CN 113191221A CN 202110406602 A CN202110406602 A CN 202110406602A CN 113191221 A CN113191221 A CN 113191221A
Authority
CN
China
Prior art keywords
vehicle
detection
vehicle frame
frame
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110406602.7A
Other languages
English (en)
Other versions
CN113191221B (zh
Inventor
张兴明
王利升
朱梦超
王亚运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110406602.7A priority Critical patent/CN113191221B/zh
Publication of CN113191221A publication Critical patent/CN113191221A/zh
Priority to EP21936704.2A priority patent/EP4226274A4/en
Priority to PCT/CN2021/119300 priority patent/WO2022217834A1/en
Priority to KR1020237021895A priority patent/KR20230118881A/ko
Application granted granted Critical
Publication of CN113191221B publication Critical patent/CN113191221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G08G1/146—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本申请提供了一种基于全景相机的车辆检测方法、装置以及计算机存储介质。该车辆检测方法包括：获取待检测车辆图像，利用待检测车辆图像的分辨率比值设置第一预检测区和第二预检测区；分别获取第一预检测区中的第一车辆框，以及第二预检测区中的第二车辆框；利用第一车辆框和/或第二车辆框设置第一检测分区和第二检测分区；基于第一车辆框和第二车辆框划分第一上检测分区和第一下检测分区、第二上检测分区和第二下检测分区；分别在以上检测分区进行车辆检测，基于车辆检测结果在待检测车辆图像上标注目标车辆框。本申请通过设置检测分区，保证检测分区的小目标可以准确识别，同时减少划分区域对目标切分的影响，提高车辆检测方法的准确性。

Description

基于全景相机的车辆检测方法、装置以及计算机存储介质
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种基于全景相机的车辆检测方法、装置以及计算机存储介质。
背景技术
随着城市化进程的发展，机动车的保有量也在持续增加，相对应的室外封闭停车场也越来越多。目前的室外封闭停车场，通过车辆目标的检测，实现停车场的车位余位引导和管理。
全景相机视角优于单目相机，图像可见360度大场景，覆盖目标更多，基于全景相机的目标检测方法，能够给出更好的用户体验。然而，由于全景相机的特性，导致大场景图像下的面积较小的目标车辆识别率较低，导致出现漏报问题。
发明内容
本申请提供了一种基于全景相机的车辆检测方法、装置以及计算机存储介质。
本申请提供了一种基于全景相机的车辆检测方法，所述车辆检测方法包括：
获取待检测车辆图像，利用所述待检测车辆图像的分辨率比值在所述待检测车辆图像中央位置设置第一预检测区和第二预检测区；
分别在所述第一预检测区和所述第二预检测区中进行车辆检测，获取所述第一预检测区中的第一车辆框，以及所述第二预检测区中的第二车辆框；
利用所述第一车辆框和/或所述第二车辆框设置第一检测分区和第二检测分区；
基于所述第一车辆框在所述第一检测分区划分第一上检测分区和第一下检测分区，以及基于所述第二车辆框在所述第二检测分区划分第二上检测分区和第二下检测分区；
分别在所述第一上检测分区、所述第一下检测分区、所述第二上检测分区和所述第二下检测分区进行车辆检测，基于车辆检测结果在所述待检测车辆图像上标注目标车辆框。
其中，所述车辆检测方法，还包括：
在所述第一上检测分区进行车辆检测，得到第三车辆框；
在所述第一下检测分区进行车辆检测，得到第四车辆框；
获取所述第三车辆框的车辆框和所述第四车辆框的车辆框存在车辆框重叠的车辆框集合，其中，所述车辆框集合包括两两框区域重叠的车辆框；
按照预设规则删除所述车辆框集合中两两框区域重叠的车辆框的其中一个车辆框。
其中，所述按照预设规则删除所述车辆框集合中两两框区域重叠的车辆框的其中一个车辆框，包括：
在所述两两框区域重叠的车辆框之间的交并比大于预设数值的情况下，删除其中置信度低的一个车辆框。
其中，所述按照预设规则删除所述车辆框集合中两两框区域重叠的车辆框的其中一个车辆框，包括：
在所述两两框区域重叠的车辆框中存在一个车辆框的中心点处于其他检测分区的车辆框中的情况下，删除其中置信度低的一个车辆框。
其中，所述车辆检测方法，还包括：
获取所述第一上检测分区，以及其中预设的停车检测区；
在所述第一上检测分区进行车辆检测，得到第五车辆框；
在所述第五车辆框的中心点位于所述停车检测区的情况下，获取所述停车检测区的边沿坐标，以及所述第五车辆框的边沿坐标；
基于所述停车检测区的边沿坐标和所述第五车辆框的边沿坐标计算停车位倾斜角度，以及基于所述停车位倾斜角度调整所述第五车辆框，得到倾斜第五车辆框；
将所述倾斜第五车辆框过滤重复的车辆框。
其中，所述停车检测区为停车框或者包括所述多个停车框的停车区；
所述在所述第五车辆框的中心点位于所述停车检测区的情况下，获取所述停车检测区的边沿坐标，以及所述第五车辆框的边沿坐标，包括：
在所述第五车辆框的中心点位于所述停车框的情况下，获取所述停车框的下边沿坐标，以及所述第五车辆框的下边沿坐标；
或者，在所述第五车辆框的中心点位于所述停车区的情况下，获取所述第五车辆框的下边沿坐标，以及所述停车区的下边沿坐标，其中，所述停车区的下边沿截断点的纵坐标与所述第五车辆框的中心点坐标的纵坐标相同，所述停车区的下边沿长度为所述第五车辆框下边沿长度的一半。
其中，所述利用所述待检测车辆图像的分辨率比值在所述待检测车辆图像中央位置设置第一预检测区和第二预检测区，包括：
通过所述待检测车辆图像的分辨率，计算所述分辨率比值，其中，所述分辨率比值为宽高比；
取所述待检测车辆图像的中央位置为界，设置所述第一预检测区和所述第二预检测区；
其中，所述第一预检测区的底边与所述待检测车辆图像的底边重合，所述第一预检测区位于所述中央位置左侧的面积与位于所述中央位置右侧的面积的比值为所述分辨率比值；
所述第二预检测区的底边与所述待检测车辆图像的底板重合，所述第二预检测区位于所述中央位置右侧的面积与位于所述中央位置左侧的面积的比值为所述分辨率比值。
其中，所述利用所述第一车辆框和/或所述第二车辆框设置第一检测分区和第二检测分区，包括：
检测所述第一车辆框和/或所述第二车辆框中是否存在车辆框处于所述待检测车辆图像的中央位置；
若是，则按照处于所述待检测车辆图像中央位置的车辆框位置向左或向右偏移设置分界线，其中，分界线不经过任意车辆框；
基于所述分界线设置所述第一检测分区和所述第二检测分区。
本申请还提供了一种车辆检测装置，所述车辆检测装置包括存储器和处理器，其中，所述存储器与所述处理器耦接；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的车辆检测方法。
本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如上述的车辆检测方法。
本申请的有益效果是：车辆检测装置获取待检测车辆图像，利用待检测车辆图像的分辨率比值在待检测车辆图像中央位置设置第一预检测区和第二预检测区；分别在第一预检测区和第二预检测区中进行车辆检测，获取第一预检测区中的第一车辆框，以及第二预检测区中的第二车辆框；利用第一车辆框和/或第二车辆框设置第一检测分区和第二检测分区；基于第一车辆框在第一检测分区划分第一上检测分区和第一下检测分区，以及基于第二车辆框在第二检测分区划分第二上检测分区和第二下检测分区；分别在第一上检测分区、第一下检测分区、第二上检测分区和第二下检测分区进行车辆检测，基于车辆检测结果在待检测车辆图像上标注目标车辆框。通过上述方式，本申请通过设置检测分区，保证检测分区的小目标可以准确识别，同时减少划分区域对目标切分的影响，提高车辆检测方法的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的车辆检测方法一实施例的流程示意图；
图2是本申请提供的待检测车辆图像一实施例的示意图；
图3是本申请提供的预检测区和检测分区一实施例的示意图；
图4是本申请提供的分割区域识别结果的示意图；
图5是图1所示车辆检测方法步骤S501一实施例的流程示意图；
图6是图1所示车辆检测方法步骤S501另一实施例的流程示意图；
图7是本申请提供的图像畸变倾斜情况的示意图；
图8是本申请提供的车辆框畸变校正的示意图；
图9是本申请提供的车辆检测装置一实施例的结构示意图；
图10是本申请提供的车辆检测装置另一实施例的结构示意图；
图11是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提出了一种灯杆利旧的智慧化方案，智慧城市建设对灯杆利旧提出更多设想，目前城市路灯照明还处于原始阶段，大大降低了相关实施设备的使用功能和效率，通过发挥路灯灯杆使用率最大化，尤其在智能监控的应用，即降低施工成本又提升城市智慧化水平。
大型室外停车场，一般使用高光灯照明，灯杆的高度一般设置为10米至15米，并且灯杆之间间距较大。对此，对灯杆进行利旧时，如果只应用单目相机的智能监控，由于角度和焦距等问题，灯杆间会存在多个望去，导致漏掉多个目标车辆。基于这种现实，本申请提出使用全景相机进行监控，能够保证灯杆正下方，以及远处的目标车辆都可以覆盖。
基于以上原理，本申请提出了一种基于全景相机的车辆检测方法，具体请参阅图1，图1是本申请提供的车辆检测方法一实施例的流程示意图。
其中，本申请的车辆检测方法应用于一种车辆检测装置，其中，本申请的车辆检测装置可以为服务器，也可以为终端设备，还可以为由服务器和终端设备相互配合的系统。相应地，电子设备包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。在一些可能的实现方式中，本申请实施例的车辆检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。具体地，本申请实施例的车辆检测装置可以为一种全景相机，该全景相机可以设置在室外封闭停车场的灯杆上，用于检测停车场内车辆的情况。
如图1所示，本申请实施例的车辆检测方法具体包括以下步骤：
步骤S101：获取待检测车辆图像，利用待检测车辆图像的分辨率比值在待检测车辆图像中央位置设置第一预检测区和第二预检测区。
其中，车辆检测装置获取设置在灯杆上的全景相机拍摄的全景图像，即待检测车辆图像，具体请参阅图2，图2是本申请提供的待检测车辆图像一实施例的示意图。本申请实施例的全景相机，是基于四目鱼眼拼接而成，输出的全景图像像素为5520*2700，或者3840*2160。由于全景相机能够获取360度大场景画面，全图能够覆盖的目标车辆数量较多，导致每个目标车辆占用的像素过小。若直接对全图进行车辆检测，全图压缩到神经网络的输入尺寸，每个目标经过几次缩放后就会消失掉，导致车辆检测网络无法实现准确的目标车辆检测。
因此，本申请实施例提出了一种基于深度学习的图像分割方法，通过对待检测车辆图像进行分割，进而对分割子图再进行算法处理，识别每个分割子图中的目标车辆，能够保证分割子图中的目标车辆可以高准确识别。对待检测车辆图像的画面分割，具体可以划分为第一预检测区和第二预检测区，以及四个检测分区，具体请参阅图3，图3是本申请提供的预检测区和检测分区一实施例的示意图。
具体地，首先，车辆检测装置获取待检测车辆图像的图像分辨率，并计算其分辨率比值，即待检测车辆图像的宽高比f。然后，车辆检测装置采用分辨率大小为1920*1080的预检测框，根据宽高比f，调整预检测框在待检测车辆图像中的位置。具体地，车辆检测装置将预检测框的底部与待检测车辆图像的底部重合，取待检测车辆图像的中心点所在的中央位置为界，调整预检测框的位置，满足预检测框位于中央位置左侧的面积与位于中央位置右侧的面积的比值与宽高比f的值相同。此时，预检测框所包含的区域即为第一预检测区，如图3所示的检测区域A。
同理，车辆检测装置将预检测框的底部与待检测车辆图像的底部重合，取待检测车辆图像的中心点所在的中央位置为界，调整预检测框的位置，满足预检测框位于中央位置右侧的面积与位于中央位置左侧的面积的比值与宽高比f的值相同。此时，预检测框所包含的区域即为第二预检测区。
步骤S102：分别在第一预检测区和第二预检测区中进行车辆检测，获取第一预检测区中的第一车辆框，以及第二预检测区中的第二车辆框。
其中，车辆检测装置采用预先训练好的车辆检测网络分别在第一预检测区和第二预检测区中进行车辆检测。本申请实施例的车辆检测网络采用常规的车辆检测算法，使用yolo深度学习训练架构，网络模型使用金字塔网络结构。针对具有大目标车辆和小目标车辆的不同场景，采用金字塔网络结构中的深层网络识别大目标车辆，深层网络特征和浅层网络融合后，在浅层网络识别小目标车辆。通过这种网络结构，可以保证深层网络重点优化大目标识别，浅层网络重点优化小目标识别。本申请实施例的车辆检测网络的训练参数可以采用室外停车场场景5万张图像，覆盖相机高度6米、12米和20米，素材比例设置为3:3:4，训练迭代20万次左右，直至完成训练。
车辆检测装置获取车辆检测网络输出的第一预检测区中的第一车辆框及其置信度，以及第二预检测区中的第二车辆框及其置信度。
步骤S103：利用第一车辆框和/或第二车辆框设置第一检测分区和第二检测分区。
其中，车辆检测装置取待检测车辆图像的中央位置，即图像中心点所在的竖直分界线，结合第一车辆框和/或第二车辆框的情况，在待检测车辆图像中划分出左右两个检测分区，即第一检测分区和第二检测分区。
具体地，由于第一预检测区和第二预检测区均包含中央位置，检测得到的第一车辆框和第二车辆框均存在有车辆框处于中央位置的可能。因此，车辆检测装置可以检测是否存在车辆框处于待检测车辆图像的中央位置，若不存在，则直接按照中央位置划分第一检测分区和第二检测分区；若存在，则按照处于中央位置的车辆框位置及其大小向左或向右偏移设置分界线，该分界线不经过任意车辆框。最后，车辆检测装置按照该分界线划分出第一检测分区和第二检测分区，相较于直接按照中央位置划分，本申请实施例的划分方式可以保证左右两个检测分区对待检测车辆图像中间的目标车辆无分割。其中，第一检测分区的位置具体请参阅图3中的检测区域B。
步骤S104：基于第一车辆框在第一检测分区划分第一上检测分区和第一下检测分区，以及基于第二车辆框在第二检测分区划分第二上检测分区和第二下检测分区。
其中，车辆检测装置标定第一车辆框在第一预检测区的位置，取第一车辆框中处于第一预检测区最顶端的一排车辆目标，并在这一排车辆目标中选取置信度最高和/或最左侧的目标车辆，即图3所示的目标车辆S。
车辆检测装置按照目标车辆所在车辆框的下边沿水平坐标，设置第一上检测分区的下边沿，即第一上检测分区的下边沿水平坐标与目标车辆所在车辆框的下边沿水平坐标相同。另外，第一上检测分区的左边沿与待检测车辆图像的左边沿重合，第一上检测分区的右边沿与第一检测分区的右边沿重合。由于考虑到全景相机远景目标车辆遮挡较多，为了提高车辆检测效率，只取待检测车辆图像的下3/4区域为有效识别区域。因此，第一上检测分区的上边沿为下边沿水平坐标加1080或者待检测车辆图像的3/4高度水平线。
第一下检测分区的上边沿与第一检测分区的上边沿重合，第一下检测分区的左边沿与待检测车辆图像的左边沿重合，第一下检测分区的右边沿与第一检测分区的右边沿重合，第一下检测分区的下边沿与待检测车辆图像的下边沿重合，即图3所示的检测区域C。
针对全景相机成像特点，导致画面畸变，体现在现实中的水平区域，在图像中体现却是有倾斜的区域，尤其以近景中两侧的画面，倾斜畸变较为严重。由图3所示，第一上检测分区和第一下检测分区有部分区域出现重叠，本申请实施例通过该部分区域重叠设置，可以保证距离全景相机相对较近的大目标车辆和较远处的小目标车辆的车辆识别，不受检测分区分割的影响。
同理，车辆检测装置通过上述过程基于第二车辆框在第二检测分区划分第二上检测分区和第二下检测分区，在此不再赘述。
步骤S105：分别在第一上检测分区、第一下检测分区、第二上检测分区和第二下检测分区进行车辆检测，基于车辆检测结果在待检测车辆图像上标注目标车辆框。
其中，通过上述自适应分割过程后，车辆检测装置可以分别在第一上检测分区、第一下检测分区、第二上检测分区和第二下检测分区进行车辆检测，既可保证各个检测分区的小目标车辆可以高准确识别，也可最小化分割检测区域对目标车辆切分的影响。
在对各个检测分区进行车辆检测后，车辆检测装置可以根据车辆检测结果在待检测车辆图像上标注目标车辆框，即如图4所示的分割区域识别结果示意图。
为进一步提高车辆检测方法的准确性，本申请实施例还提出了一种过滤检测分区之间重叠区域相同目标的策略。下面以第一上检测分区和第一下检测分区的车辆检测结果为例进行说明，具体请参阅图5，图5是图1所示车辆检测方法步骤S105一实施例的流程示意图。
如图5所示，步骤S105体可以包括以下子步骤：
步骤S201：在第一上检测分区进行车辆检测，得到第三车辆框。
步骤S202：在第一下检测分区进行车辆检测，得到第四车辆框。
步骤S203：获取第三车辆框的车辆框和第四车辆框的车辆框存在车辆框重叠的车辆框集合，其中，车辆框集合包括两两框区域重叠的车辆框。
其中，在进行重叠区域目标车辆过滤时，车辆检测装置需要遍历第一上检测分区中的所有第三车辆框，以及第一下检测分区中的所有第四车辆框，根据坐标相对点，完成在待检测车辆图像中的坐标映射。
在重叠区域内，车辆检测装置提取第三车辆框中的车辆框与第四车辆框中的车辆框出现重叠的车辆框组，其中，重叠的定义为两个车辆框的交并比大于0，交并比由两个车辆框的交集面积除以两个车辆框的并集面积得到。最后，车辆检测装置将多个车辆框组组成车辆框集合。
步骤S204：按照预设规则删除车辆框集合中两两框区域重叠的车辆框的其中一个车辆框。
其中，车辆检测装置按照预设规则对车辆框集合中的车辆框组进行过滤。具体地，本申请实施例的过滤条件包括但不限于：
过滤条件1：车辆框组内两个车辆框的交并比大于0.4时，删除其中置信度低的一个车辆框。
过滤条件2：车辆框组内的车辆框中心点进入其他检测分区的车辆框时，删除其中置信度低的一个车辆框。
另外，为了针对全景相机图像畸变的问题，本申请实施例还提出了一基于偏置角的最大抑制算法，用以解决畸变目标车辆的识别和漏报问题。具体请参阅6，图6是图1所示车辆检测方法步骤S105另一实施例的流程示意图。
步骤S301：获取第一上检测分区，以及其中预设的停车检测区。
其中，在车辆检测之前，工作人员可以根据实际情况先标注画面中的停车检测区，以便结合停车场的场景，使用区域或车位等相关信息，计算畸变倾斜情况。
停车检测区具体可以为停车框或者包含多个停车框的停车区。例如，目标车辆停车区，以每个停车区为统计单位，按照地面单排或多排停车区，可以画出多个统计区域，通过配置每个停车区最大停车位个数，结合算法识别目标结果，判断各停车区的状态，是否存在可停车余位或无车位。工作人员也可以画独立车位框，以每个停车位为统计单位，画出独立每个车位框，结合算法结果，判断每个车位的占用状态，已停车或空闲。
步骤S302：在第一上检测分区进行车辆检测，得到第五车辆框。
其中，位于全景相机较远端的画面一般会出现畸变倾斜情况，如图7所示，图中的车辆以及停车位在画面上均体现出畸变倾斜的状态，不利于车辆框的过滤和识别。
步骤S303：在第五车辆框的中心点位于停车检测区的情况下，获取停车检测区的边沿坐标，以及第五车辆框的边沿坐标。
其中，车辆检测装置比较第五车辆框的中心点位置以及停车检测区的位置。如果包含中心点坐标的是停车框，则直接获取停车框的下边沿坐标及其组成的线段。如果包含中心点坐标的是停车区，则获取停车区的下边沿坐标，其中，停车区的下边沿截断点的纵坐标与第五车辆框的中心点坐标的纵坐标相同，线段长度取第五车辆框的下边沿长度的一半，从而获取停车区下边沿截断线段的两端坐标。
步骤S304：基于停车检测区的边沿坐标和第五车辆框的边沿坐标计算停车位倾斜角度，以及基于停车位倾斜角度调整第五车辆框，得到倾斜第五车辆框。
进一步地，车辆检测装置获取第五车辆框的下边沿坐标及其线段，通过两条线段计算停车位倾斜角度，并根据该停车位倾斜角度重新计算第五车辆框的位置。具体地，车辆检测装置通过车辆检测算法获取第五车辆框的中心点坐标、宽度和高度，从而计算出目标车辆的矩形框及其各顶点的坐标。结合计算得到的停车位倾斜角度，矩形框的每条边以中心点为中心，逆时针旋转停车位倾斜角度，计算新的车辆框，即倾斜第五车辆框。
步骤S305：将倾斜第五车辆框过滤重复的车辆框。
其中，车辆检测装置采用NMS(non maximum suppression，非极大值抑制)技术过滤重复的车辆框，设置过滤阈值为0.20到0.25之间，根据新的车辆框的位置和坐标完成一个目标多个检测框的过滤。
具体请参阅图8，图8是本申请提供的车辆框畸变校正的示意图。图8是通过上述车辆框配置，计算畸变角，并完成车辆框矫正的结果。其中，区域框D为预先设置的停车区，通过上述数据计算畸变角a，然后对停车区内的每个车辆框进行调整，以停车区中间两个车辆框调整后的框E和框F为例，NMS的值从原来的0.7，降到了0.15。
在本申请实施例中，车辆检测装置获取待检测车辆图像，利用待检测车辆图像的分辨率比值在待检测车辆图像中央位置设置第一预检测区和第二预检测区；分别在第一预检测区和第二预检测区中进行车辆检测，获取第一预检测区中的第一车辆框，以及第二预检测区中的第二车辆框；利用第一车辆框和/或第二车辆框设置第一检测分区和第二检测分区；基于第一车辆框在第一检测分区划分第一上检测分区和第一下检测分区，以及基于第二车辆框在第二检测分区划分第二上检测分区和第二下检测分区；分别在第一上检测分区、第一下检测分区、第二上检测分区和第二下检测分区进行车辆检测，基于车辆检测结果在待检测车辆图像上标注目标车辆框。通过上述方式，本申请通过设置检测分区，保证检测分区的小目标可以准确识别，同时减少划分区域对目标切分的影响，提高车辆检测方法的准确性。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
为实现上述实施例的车辆检测方法，本申请提出了一种车辆检测装置，具体请参阅图9，图9是本申请提供的车辆检测装置一实施例的结构示意图。
如图9所示，车辆检测装置300包括预检测模块31、车辆框模块32、检测分区模块33以及车辆检测模块34。
其中，预检测模块31，用于获取待检测车辆图像，利用所述待检测车辆图像的分辨率比值在所述待检测车辆图像中央位置设置第一预检测区和第二预检测区。
车辆框模块32，用于分别在所述第一预检测区和所述第二预检测区中进行车辆检测，获取所述第一预检测区中的第一车辆框，以及所述第二预检测区中的第二车辆框。
检测分区模块33，用于利用所述第一车辆框和/或所述第二车辆框设置第一检测分区和第二检测分区；还用于基于所述第一车辆框在所述第一检测分区划分第一上检测分区和第一下检测分区，以及基于所述第二车辆框在所述第二检测分区划分第二上检测分区和第二下检测分区。
车辆检测模块34，用于分别在所述第一上检测分区、所述第一下检测分区、所述第二上检测分区和所述第二下检测分区进行车辆检测，基于车辆检测结果在所述待检测车辆图像上标注目标车辆框。
为实现上述实施例的车辆检测方法，本申请还提出了另一种车辆检测装置，具体请参阅图10，图10是本申请提供的车辆检测装置另一实施例的结构示意图。
本申请实施例的车辆检测装置400包括处理器41、存储器42、输入输出设备43以及总线44。
该处理器41、存储器42、输入输出设备43分别与总线44相连，该存储器42中存储有程序数据，处理器41用于执行程序数据以实现上述实施例所述的车辆检测方法。
在本实施例中，处理器41还可以称为CPU(Central Processing Unit，中央处理单元)。处理器41可能是一种集成电路芯片，具有信号的处理能力。处理器41还可以是通用处理器、数字信号处理器(DSP，Digital Signal Process)、专用集成电路(ASIC，ApplicationSpecific Integrated Circuit)、现场可编程门阵列(FPGA，Field Programmable GateArray)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器41也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，如图11所示，计算机存储介质500用于存储程序数据51，程序数据51在被处理器执行时，用以实现如上述实施例所述的车辆检测方法。
本申请还提供一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，上述计算机程序可操作来使计算机执行如本申请实施例所述的车辆检测方法。该计算机程序产品可以为一个软件安装包。
本申请上述实施例所述的车辆检测方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种基于全景相机的车辆检测方法，其特征在于，所述车辆检测方法包括：
获取待检测车辆图像，利用所述待检测车辆图像的分辨率比值在所述待检测车辆图像中央位置设置第一预检测区和第二预检测区；
分别在所述第一预检测区和所述第二预检测区中进行车辆检测，获取所述第一预检测区中的第一车辆框，以及所述第二预检测区中的第二车辆框；
利用所述第一车辆框和/或所述第二车辆框设置第一检测分区和第二检测分区；
基于所述第一车辆框在所述第一检测分区划分第一上检测分区和第一下检测分区，以及基于所述第二车辆框在所述第二检测分区划分第二上检测分区和第二下检测分区；
分别在所述第一上检测分区、所述第一下检测分区、所述第二上检测分区和所述第二下检测分区进行车辆检测，基于车辆检测结果在所述待检测车辆图像上标注目标车辆框。
2.根据权利要求1所述的车辆检测方法，其特征在于，
所述车辆检测方法，还包括：
在所述第一上检测分区进行车辆检测，得到第三车辆框；
在所述第一下检测分区进行车辆检测，得到第四车辆框；
获取所述第三车辆框的车辆框和所述第四车辆框的车辆框存在车辆框重叠的车辆框集合，其中，所述车辆框集合包括两两框区域重叠的车辆框；
按照预设规则删除所述车辆框集合中两两框区域重叠的车辆框的其中一个车辆框。
3.根据权利要求2所述的车辆检测方法，其特征在于，
所述按照预设规则删除所述车辆框集合中两两框区域重叠的车辆框的其中一个车辆框，包括：
在所述两两框区域重叠的车辆框之间的交并比大于预设数值的情况下，删除其中置信度低的一个车辆框。
4.根据权利要求2所述的车辆检测方法，其特征在于，
所述按照预设规则删除所述车辆框集合中两两框区域重叠的车辆框的其中一个车辆框，包括：
在所述两两框区域重叠的车辆框中存在一个车辆框的中心点处于其他检测分区的车辆框中的情况下，删除其中置信度低的一个车辆框。
5.根据权利要求1所述的车辆检测方法，其特征在于，
所述车辆检测方法，还包括：
获取所述第一上检测分区，以及其中预设的停车检测区；
在所述第一上检测分区进行车辆检测，得到第五车辆框；
在所述第五车辆框的中心点位于所述停车检测区的情况下，获取所述停车检测区的边沿坐标，以及所述第五车辆框的边沿坐标；
基于所述停车检测区的边沿坐标和所述第五车辆框的边沿坐标计算停车位倾斜角度，以及基于所述停车位倾斜角度调整所述第五车辆框，得到倾斜第五车辆框；
将所述倾斜第五车辆框过滤重复的车辆框。
6.根据权利要求5所述的车辆检测方法，其特征在于，
其中，所述停车检测区为停车框或者包括所述多个停车框的停车区；
所述在所述第五车辆框的中心点位于所述停车检测区的情况下，获取所述停车检测区的边沿坐标，以及所述第五车辆框的边沿坐标，包括：
在所述第五车辆框的中心点位于所述停车框的情况下，获取所述停车框的下边沿坐标，以及所述第五车辆框的下边沿坐标；
或者，在所述第五车辆框的中心点位于所述停车区的情况下，获取所述第五车辆框的下边沿坐标，以及所述停车区的下边沿坐标，其中，所述停车区的下边沿截断点的纵坐标与所述第五车辆框的中心点坐标的纵坐标相同，所述停车区的下边沿长度为所述第五车辆框下边沿长度的一半。
7.根据权利要求1所述的车辆检测方法，其特征在于，
所述利用所述待检测车辆图像的分辨率比值在所述待检测车辆图像中央位置设置第一预检测区和第二预检测区，包括：
通过所述待检测车辆图像的分辨率，计算所述分辨率比值，其中，所述分辨率比值为宽高比；
取所述待检测车辆图像的中央位置为界，设置所述第一预检测区和所述第二预检测区；
其中，所述第一预检测区的底边与所述待检测车辆图像的底边重合，所述第一预检测区位于所述中央位置左侧的面积与位于所述中央位置右侧的面积的比值为所述分辨率比值；
所述第二预检测区的底边与所述待检测车辆图像的底板重合，所述第二预检测区位于所述中央位置右侧的面积与位于所述中央位置左侧的面积的比值为所述分辨率比值。
8.根据权利要求1所述的车辆检测方法，其特征在于，
所述利用所述第一车辆框和/或所述第二车辆框设置第一检测分区和第二检测分区，包括：
检测所述第一车辆框和/或所述第二车辆框中是否存在车辆框处于所述待检测车辆图像的中央位置；
若是，则按照处于所述待检测车辆图像中央位置的车辆框位置向左或向右偏移设置分界线，其中，分界线不经过任意车辆框；
基于所述分界线设置所述第一检测分区和所述第二检测分区。
9.一种车辆检测装置，其特征在于，所述车辆检测装置包括存储器和处理器，其中，所述存储器与所述处理器耦接；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1～8中任一项所述的车辆检测方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如权利要求1～8中任一项所述的车辆检测方法。
CN202110406602.7A 2021-04-15 2021-04-15 基于全景相机的车辆检测方法、装置以及计算机存储介质 Active CN113191221B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110406602.7A CN113191221B (zh) 2021-04-15 2021-04-15 基于全景相机的车辆检测方法、装置以及计算机存储介质
EP21936704.2A EP4226274A4 (en) 2021-04-15 2021-09-18 IMAGE PROCESSING METHOD AND SYSTEM
PCT/CN2021/119300 WO2022217834A1 (en) 2021-04-15 2021-09-18 Method and system for image processing
KR1020237021895A KR20230118881A (ko) 2021-04-15 2021-09-18 영상처리방법과 영상처리시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110406602.7A CN113191221B (zh) 2021-04-15 2021-04-15 基于全景相机的车辆检测方法、装置以及计算机存储介质

Publications (2)

Publication Number Publication Date
CN113191221A true CN113191221A (zh) 2021-07-30
CN113191221B CN113191221B (zh) 2022-04-19

Family

ID=76977196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110406602.7A Active CN113191221B (zh) 2021-04-15 2021-04-15 基于全景相机的车辆检测方法、装置以及计算机存储介质

Country Status (4)

Country Link
EP (1) EP4226274A4 (zh)
KR (1) KR20230118881A (zh)
CN (1) CN113191221B (zh)
WO (1) WO2022217834A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706920A (zh) * 2021-08-20 2021-11-26 云往(上海)智能科技有限公司 一种停车行为判断方法及智慧停车系统
WO2022217834A1 (en) * 2021-04-15 2022-10-20 Zhejiang Dahua Technology Co., Ltd. Method and system for image processing

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090148005A1 (en) * 2004-06-01 2009-06-11 Lumidigm, Inc. Multispectral imaging biometrics
CN104376554A (zh) * 2014-10-16 2015-02-25 中海网络科技股份有限公司 一种基于图像纹理的违章停车检测方法
CN105678217A (zh) * 2015-12-29 2016-06-15 安徽海兴泰瑞智能科技有限公司 一种车辆停车诱导定位方法
CN107767673A (zh) * 2017-11-16 2018-03-06 智慧互通科技有限公司 一种基于多摄像机的路侧停车管理方法、装置及系统
US20180301031A1 (en) * 2015-04-26 2018-10-18 Parkam (Israel) Ltd. A method and system for automatically detecting and mapping points-of-interest and real-time navigation using the same
CN110517288A (zh) * 2019-07-23 2019-11-29 南京莱斯电子设备有限公司 基于全景多路4k视频图像的实时目标检测跟踪方法
CN110717361A (zh) * 2018-07-13 2020-01-21 长沙智能驾驶研究院有限公司 本车停车检测方法、前车起步提醒方法及存储介质
CN111968132A (zh) * 2020-07-28 2020-11-20 哈尔滨工业大学 一种基于全景视觉的无线充电对位的相对位姿解算方法
CN112183409A (zh) * 2020-09-30 2021-01-05 深圳道可视科技有限公司 基于全景影像的检测车位方法、电子设备及存储介质
CN112330601A (zh) * 2020-10-15 2021-02-05 浙江大华技术股份有限公司 一种基于鱼眼相机的停车检测方法、装置、设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105373938A (zh) * 2014-08-27 2016-03-02 阿里巴巴集团控股有限公司 识别视频图像中的商品和展示其信息的方法、装置及系统
CN109165645B (zh) * 2018-08-01 2023-04-07 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及相关设备
US11288525B2 (en) * 2018-10-31 2022-03-29 Texas Instruments Incorporated Object detection for distorted images
CN111653103A (zh) * 2020-05-07 2020-09-11 浙江大华技术股份有限公司 一种目标对象的识别方法及装置
CN113191221B (zh) * 2021-04-15 2022-04-19 浙江大华技术股份有限公司 基于全景相机的车辆检测方法、装置以及计算机存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090148005A1 (en) * 2004-06-01 2009-06-11 Lumidigm, Inc. Multispectral imaging biometrics
CN104376554A (zh) * 2014-10-16 2015-02-25 中海网络科技股份有限公司 一种基于图像纹理的违章停车检测方法
US20180301031A1 (en) * 2015-04-26 2018-10-18 Parkam (Israel) Ltd. A method and system for automatically detecting and mapping points-of-interest and real-time navigation using the same
CN105678217A (zh) * 2015-12-29 2016-06-15 安徽海兴泰瑞智能科技有限公司 一种车辆停车诱导定位方法
CN107767673A (zh) * 2017-11-16 2018-03-06 智慧互通科技有限公司 一种基于多摄像机的路侧停车管理方法、装置及系统
CN110717361A (zh) * 2018-07-13 2020-01-21 长沙智能驾驶研究院有限公司 本车停车检测方法、前车起步提醒方法及存储介质
CN110517288A (zh) * 2019-07-23 2019-11-29 南京莱斯电子设备有限公司 基于全景多路4k视频图像的实时目标检测跟踪方法
CN111968132A (zh) * 2020-07-28 2020-11-20 哈尔滨工业大学 一种基于全景视觉的无线充电对位的相对位姿解算方法
CN112183409A (zh) * 2020-09-30 2021-01-05 深圳道可视科技有限公司 基于全景影像的检测车位方法、电子设备及存储介质
CN112330601A (zh) * 2020-10-15 2021-02-05 浙江大华技术股份有限公司 一种基于鱼眼相机的停车检测方法、装置、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARTIN AHRNBOM ET AL.: "Fast Classification of Empty and Occupied Parking Spaces Using Integral Channel Features", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》 *
何红梅: "多业主共用地下空间智慧停车管理系统设计研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022217834A1 (en) * 2021-04-15 2022-10-20 Zhejiang Dahua Technology Co., Ltd. Method and system for image processing
CN113706920A (zh) * 2021-08-20 2021-11-26 云往(上海)智能科技有限公司 一种停车行为判断方法及智慧停车系统
CN113706920B (zh) * 2021-08-20 2023-08-11 云往(上海)智能科技有限公司 一种停车行为判断方法及智慧停车系统

Also Published As

Publication number Publication date
KR20230118881A (ko) 2023-08-14
EP4226274A1 (en) 2023-08-16
EP4226274A4 (en) 2024-03-13
WO2022217834A1 (en) 2022-10-20
CN113191221B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN113191221B (zh) 基于全景相机的车辆检测方法、装置以及计算机存储介质
US11206376B2 (en) Systems and methods for image processing
CN103473537B (zh) 一种目标图像轮廓特征表示方法及装置
CN112597846B (zh) 车道线检测方法、装置、计算机设备和存储介质
WO2020146980A1 (zh) 车道线识别方法、车道线识别装置以及非易失性存储介质
US20230394829A1 (en) Methods, systems, and computer-readable storage mediums for detecting a state of a signal light
CN115619636A (zh) 图像拼接方法、电子设备以及存储介质
CN114266721A (zh) 一种基于超像素的栅栏检测方法、装置、存储介质及设备
CN113673362A (zh) 对象的运动状态确定方法、装置、计算机设备和存储介质
CN112529943A (zh) 一种物体检测方法、物体检测装置及智能设备
US10223592B2 (en) Method and associated apparatus for performing cooperative counting with aid of multiple cameras
CN112581497A (zh) 多目标跟踪方法、系统、计算设备及存储介质
CN112150355A (zh) 一种图像处理方法及相关设备
CN111145108A (zh) 一种图像处理方法、装置、设备及存储介质
CN112991290B (zh) 图像稳像方法、装置、路侧设备、云控平台
CN114943954B (zh) 一种车位检测方法、装置和系统
CN116912517B (zh) 相机视野边界的检测方法及装置
CN112924707B (zh) 利用影像追踪的车辆速度检测装置及方法
CN117095560A (zh) 一种车位确定方法、装置、设备和存储介质
CN110807729B (zh) 图像数据的处理方法及装置
CN112862930A (zh) 游戏场景的处理方法、装置及电子设备
CN113642553A (zh) 一种整体与部件目标检测相结合的非约束车牌精准定位方法
CN115035383A (zh) 图像目标区域的提取方法和装置、存储介质及电子设备
CN115035485A (zh) 一种道路可见度的确定方法及装置
CN116228519A (zh) 马赛克方格位置确认方法和装置及其图像遮盖方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant