CN113269163B - 基于鱼眼图像的立体泊车位检测方法及装置 - Google Patents
基于鱼眼图像的立体泊车位检测方法及装置 Download PDFInfo
- Publication number
- CN113269163B CN113269163B CN202110807327.XA CN202110807327A CN113269163B CN 113269163 B CN113269163 B CN 113269163B CN 202110807327 A CN202110807327 A CN 202110807327A CN 113269163 B CN113269163 B CN 113269163B
- Authority
- CN
- China
- Prior art keywords
- candidate
- trapezoid
- parking space
- candidate frame
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000001629 suppression Effects 0.000 claims abstract description 20
- 238000012937 correction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于鱼眼图像的立体泊车位检测方法及装置，所述方法包括：获取鱼眼图像，对鱼眼图像进行矫正，得到矫正后的平面图像，所述鱼眼图像包括至少一个立体泊车位；将所述平面图像输入至预先建立的图像识别模型组件中，输出每个所述立体泊车位对应的多个梯形候选框和与所述梯形候选框对应的置信度；利用非最大抑制算法，从全部所述梯形候选框中选取出置信度最高的梯形候选框作为停靠车位。本申请通过采集鱼眼图像，基于鱼眼图像可以确定出立体泊车位的多个中心点及每个中心点对应的角点，进而确定出立体泊车位置信度最高的梯形候选框，并以置信度最高的梯形候选框作为停靠车位实现车辆在立体泊车位的自主泊车。
Description
技术领域
本发明涉及车辆技术领域，特别涉及一种基于鱼眼图像的立体泊车位检测方法及装置。
背景技术
随着智能驾驶技术的飞速发展，自动泊车系统逐渐开始在低速智能驾驶场景中得到应用。自动泊车系统可以使汽车自动寻找并且准确停靠在适当泊车位置，通过环境感知传感器感知车辆周围泊车位位置和状态，寻找合适的泊车位，然后规划出最优泊车路径，控制车辆自动完成泊车。
现有的自动泊车方案中是采用在环视图像上进行普通泊车位的检测，如图1所示，图1是根据本申请实施例示出的现有技术中通过清晰车位线泊车的环境示意图，现有技术中是利用传统图像处理或者神经网络来检测普通泊车位的角点，该方法可以检测出普通泊车位的角点，通过检测出的角点确定泊车位。但是立体车位由于具有上下两层，所以投影得到的鸟瞰图或俯视图具有上层信息，所以该方案无法应用于立体泊车位，因此，对于没有明显库位标识的立体泊车场暂时无法使自动泊车系统进行自动泊车。
发明内容
为了解决上述技术问题，本发明提供了一种基于鱼眼图像的立体泊车位检测方法，所述方法包括：
获取鱼眼图像，所述鱼眼图像包括至少一个立体泊车位；
对所述鱼眼图像进行矫正，得到矫正后的平面图像；
将所述平面图像输入至预先建立的图像识别模型组件中，输出每个所述立体泊车位对应的多个梯形候选框和与所述梯形候选框对应的置信度；
利用非最大抑制算法，从全部所述梯形候选框中选取出置信度最高的梯形候选框作为停靠车位。
进一步地，所述将所述平面图像输入至预先建立的图像识别模型组件中，输出每个所述立体泊车位对应的多个梯形候选框和与所述梯形候选框对应的置信度，包括：
将所述平面图像输入至预先建立的图像识别模型组件中，所述图像识别模型组件包括滑动窗口和分类器；
利用与所述立体泊车位匹配的滑动窗口对所述平面图像进行特征提取，提取的特征包括所述立体泊车位对应的多个中心点的位置及每个中心点对应的四个角点的位置；
基于所述每个中心点对应的四个角点的位置将每个中心点对应的四个角点拼接成梯形候选框；
利用所述分类器识别每个所述梯形候选框，得到每个所述梯形候选框对应的置信度。
进一步地，所述利用非最大抑制算法，从全部所述梯形候选框中选取出置信度最高的梯形候选框作为停靠车位，包括：
当所述鱼眼图像包括一个立体泊车位时，利用非最大抑制算法，从全部所述梯形候选框中选取出置信度最高的梯形候选框作为停靠车位；
当所述鱼眼图像包括多个立体泊车位时，利用非最大抑制算法，分别从每个所述立体泊车位对应的所述梯形候选框中选取出置信度最高的梯形候选框作为待停靠车位；比较不同所述立体泊车位对应的待停靠车位的置信度，选取置信度最高的待停靠车位作为停靠车位。
进一步地，所述当所述鱼眼图像包括一个立体泊车位时，利用非最大抑制算法，从全部所述梯形候选框中选取出置信度最高的梯形候选框作为停靠车位，包括：
将所述梯形候选框按照对应的置信度由大到小进行排序以构建第一候选框集合；
在所述候选框集合中提取出置信度最大的梯形候选框作为第二候选框集合；
遍历所述第一候选框集合中每个梯形候选框，计算所述第一候选框集合中每个梯形候选框与所述第二候选框集合中梯形候选框的交并比；
删除所述第一候选框集合中交并比大于预设阈值的梯形候选框；
重复执行：在所述候选框集合中提取出置信度最大的梯形候选框作为第二候选框集合；遍历所述第一候选框集合中每个梯形候选框，计算所述第一候选框集合中每个梯形候选框与所述第二候选框集合中梯形候选框的交并比；删除所述第一候选框集合中交并比大于预设阈值的梯形候选框，直至所述第一候选框集合为空；
输出所述第二候选框集合中的梯形候选框及对应的置信度，并以所述第二候选框集合中的梯形候选框作为停靠车位。
进一步地，所述对所述鱼眼图像进行矫正，得到矫正后的平面图像，包括：
根据预先标定的相机参数将所述鱼眼图像矫正为平面图像。
进一步地，所述将所述平面图像输入至预先建立的图像识别模型组件中，输出每个所述立体泊车位对应的多个梯形候选框和与所述梯形候选框对应的置信度，之前还包括：
将所述平面图像缩放至与所述图像识别模型组件的输入相同的图像。
进一步地，所述遍历所述第一候选框集合中每个梯形候选框，计算所述第一候选框集合中每个梯形候选框与所述第二候选框集合中梯形候选框的交并比，包括：
确定所述第一候选框集合中每个梯形候选框的第一像素和值；
确定所述第二候选框集合中梯形候选框的第二像素和值；
确定所述第一候选框集合中每个梯形候选框与所述第二候选框集合中梯形候选框的合并后的第三像素和值；
基于所述第一像素和值、所述第二像素和值和所述第三像素和值确定所述第一候选框集合中每个梯形候选框与所述第二候选框集合中梯形候选框的重复区域的像素和值；
基于每个所述重复区域的像素和值及对应的所述第三像素和值确定出所述第一候选框集合中每个梯形候选框与所述第二候选框集合中梯形候选框的交并比。
另一方面，本发明提供一种基于鱼眼图像的立体泊车位检测装置，所述装置包括：
鱼眼图像获取模块，被配置为执行获取鱼眼图像，所述鱼眼图像包括至少一个立体泊车位；
矫正模块，被配置为执行对所述鱼眼图像进行矫正，得到矫正后的平面图像；
数据输出模块，被配置为执行将所述平面图像输入至预先建立的图像识别模型组件中，输出每个所述立体泊车位对应的多个梯形候选框和与所述梯形候选框对应的置信度；
停靠车位确定模块，被配置为执行利用非最大抑制算法，从全部所述梯形候选框中选取出置信度最高的梯形候选框作为停靠车位。
再一方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如上述所述基于鱼眼图像的立体泊车位检测方法。
再一方面，本发明提供一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如上述所述基于鱼眼图像的立体泊车位检测方法。
本发明提供的一种基于鱼眼图像的立体泊车位检测方法及装置，主要解决现有技术中不能够在立体泊车位进行自动泊车的技术问题，本申请通过采集鱼眼图像，基于鱼眼图像可以确定出立体泊车位的多个中心点及每个中心点对应的角点，进而确定出立体泊车位置信度最高的梯形候选框，并以置信度最高的梯形候选框作为停靠车位，并可以以此控制车辆进行自动泊车，实现车辆在立体泊车位的自主泊车，解决了现有技术中无法针对立体泊车位进行自动泊车的技术问题。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是根据本申请实施例示出的现有技术中通过清晰车位线泊车的环境示意图；
图2是根据本申请实施例示出的一种基于鱼眼图像的立体泊车位检测方法的实施环境架构图；
图3是根据本申请实施例示出的一种立体泊车位的示意图；
图4是本申请实施例提供的一种基于鱼眼图像的立体泊车位检测方法的流程示意图；
图5是根据本申请实施例示出的一种鱼眼图像的示意图；
图6是本申请实施例提供的另一种基于鱼眼图像的立体泊车位检测方法的流程示意图；
图7是本申请实施例提供的一种梯形候选框的示意图；
图8是本申请实施例提供的一种重复梯形候选框的示意图；
图9是本发明实施例提供的一种基于鱼眼图像的立体泊车位检测装置的结构示意图；
图10是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图2是根据本申请实施例示出的一种基于鱼眼图像的立体泊车位检测方法的实施环境架构图，如图2所示，该实施环境架构包括：终端100和服务器200。
其中，基于鱼眼图像的立体泊车位检测装置即可以是终端100，也可以是服务器200。终端100或服务器200接收获取的鱼眼图像，以输出对应的停靠车位。
其中，基于鱼眼图像的立体泊车位检测方法的过程即可以在终端100执行，也可以在服务器200执行。当基于鱼眼图像的立体泊车位检测方法在终端100执行时，终端100接收获取的鱼眼图像，将获取的鱼眼图像进行相应的处理以输出停靠车位。当基于鱼眼图像的立体泊车位检测方法在服务器200执行时，终端100将获取的鱼眼图像发送给服务器200，服务器200将接收的鱼眼图像，并输入停靠车位。
另外，终端100可显示有应用界面，通过该界面可显示鱼眼图像或平面图像，或将鱼眼图像或平面图像发送给服务器200。
终端100的类型包括但不限于智能手机、平板电脑、电视机、笔记本电脑、台式电脑等，本申请实施例对此不进行具体限定。
其中，服务器200将输出的停靠车位发送终端100，由终端100在应用界面上显示该停靠车位。进一步地，服务器200可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。
终端100与服务器200通过有线或无线网络建立通信连接。
图3是根据本申请实施例示出的一种立体泊车位的示意图，如图3所示，立体泊车场具有占地空间小，外观精良等优势，越来越受到大型商场和高端小区的青睐。目前自动驾驶车辆的自动泊车功能多用于普通车位的识别，很少有针对立体车位的解决方案，为解决上述技术问题提出本申请。
图4是本申请实施例提供的一种基于鱼眼图像的立体泊车位检测方法的流程示意图，如图4所示，本说明书实施例提供一种基于鱼眼图像的立体泊车位检测方法，本方法由基于鱼眼图像的立体泊车位检测装置执行，基于鱼眼图像的立体泊车位检测装置可以集成在终端或服务器等计算机设备，基于鱼眼图像的立体泊车位检测装置可以是硬件也可以是软件模块，该方案的执行主体可以是上述终端100或服务器200执行，也可以由二者配合执行，所述方法包括：
S102、获取鱼眼图像，所述鱼眼图像包括至少一个立体泊车位。
在具体的实施过程中，图5是根据本申请实施例示出的一种鱼眼图像的示意图，如图5所示，鱼眼图像可以通过车辆的环视系统采集，环视系统为自动驾驶车辆自动泊车辅助功能提供了车辆周围的环境信息。通常的环视系统由四个鱼眼相机构成，用于采集车辆四周的环境信息，鱼眼相机相比普通相机拍摄距离远、视野范围大等优势，因此本发明利用鱼眼相机进行立体泊车位的检测。
其中，鱼眼图像可以是基于用户输入的泊车指令获取的。
当获取的鱼眼图像为多个时，可以对采集的鱼眼图像进行判断，判断鱼眼图像中是否包含泊车位，本发明仅对包含泊车位的鱼眼图像进行处理。
S104、对所述鱼眼图像进行矫正，得到矫正后的平面图像。
在一些可能的实施例中，所述对获取的鱼眼图像进行矫正，得到矫正后的平面图像，包括：
根据预先标定的相机参数将获取的所述鱼眼图像矫正为平面图像。
在具体的实施过程中，由于采集的鱼眼图像与实际的图像的景物的深度不同，因此，可以对采集的鱼眼图像进行矫正，可以通过对应的鱼眼相机预先标定的相机参数对鱼眼图像进行矫正，可以理解的是，鱼眼相机的参数是记录在车载行车电脑中的，因而，可根据相机参数将鱼眼图像矫正为平面图像。
S106、将所述平面图像输入至预先建立的图像识别模型组件中，输出每个所述立体泊车位对应的多个梯形候选框和与所述梯形候选框对应的置信度。
在具体的实施过程中，图像识别模型组件中包括多个模型参数，模型参数可以表示约束条件，具体可以根据专家经验等进行设置。可以利用历史平面图像对图像识别模型组件进行训练，历史平面图像中可以包括立体泊车位对应的多个梯形候选框和与所述梯形候选框对应的置信度。将历史平面图像作为图像识别模型组件的输出，将立体泊车位对应的多个梯形候选框和与所述梯形候选框对应的置信度作为图像识别模型组件的输出，对图像识别模型组件中的模型参数进行不断调整，直至图像识别模型组件达到预设要求，如：满足预设精度、模型参数调整次数满足预设次数要求等，则完成模型训练。具体可以参考机器学习算法如：GBDT算法等进行模型训练。
基于历史平面图像进行模型训练，构建图像识别模型组件，可以识别出图像中的立体泊车位对应的多个梯形候选框和与所述梯形候选框对应的置信度，可以提高确定立体泊车位的准确性。
需要说明的是，输出的立体泊车位对应的多个梯形候选框和与所述梯形候选框对应的置信度可以是以原平面图像作为载体，即立体泊车位对应的多个梯形候选框和与所述梯形候选框对应的置信度可以以标注的形式体现在平面图像上。
在一些可能的实施例中，图6是本申请实施例提供的另一种基于鱼眼图像的立体泊车位检测方法的流程示意图，如图6所示，所述将所述矫正后的图像输入至预先建立的图像识别模型组件中，输出每个所述立体泊车位对应的多个梯形候选框和与所述梯形候选框对应的置信度，包括：
S202、将所述平面图像输入至预先建立的图像识别模型组件中，所述图像识别模型组件包括滑动窗口和分类器。
在具体的实施过程中，图像识别模型组件包括滑动窗口和分类器，滑动窗口可以用于特征提取，分类器可以用于确定提取的特征是否为本申请需要的立体泊车位的相关特征。
需要说明的是，滑动窗口是根据鱼眼相机与立体泊车位的相对距离和相对方向确定的，不同方向或不同距离的滑动窗口是不同。
S204、利用与所述立体泊车位匹配的滑动窗口对所述平面图像进行特征提取，提取的特征包括所述立体泊车位对应的多个中心点的位置及每个中心点对应的四个角点的位置。
在具体的实施过程中，中心点的位置可以以所在平面图像的像素点的坐标进行标注，每个中心点对应的四个角点的位置，即中心点对应的四个角点的偏移量，四个角点可以形成与滑动窗口对应的梯形框结构。
S206、基于所述每个中心点对应的四个角点的位置将每个中心点对应的四个角点拼接成梯形候选框；
S208、利用所述分类器识别每个所述梯形候选框，得到每个所述梯形候选框对应的置信度。
在具体的实施过程中，图7是本申请实施例提供的一种梯形候选框的示意图，如图7所示，图像识别模型组件输出的图像可以是原平面图像降4倍采样后得到特征图大小为W/4*H/4*C，接着后面接5个head，分别为表征中心点的HeatMap Head以及表征四个角点的L_T Head、L_B Head、R_T Head以及R_B Head。其中，图像识别模型组件可以是基于ResNet50建立的。
HeadMap Head大小为W/4*H/4*1，全部中心点可以学习分类出立体泊车位中心点P的位置，L_T Head大小为 W/4*H/4*2可以用于学习回归泊车位的左上角点P1相对于中心点P的坐标偏移量；L_B Head大小为 W/4*H/4*2可以用于学习回归泊车位的左下角点P0相对于中心点P的坐标偏移量；R_T Head大小为 W/4*H/4*2可以用于学习回归泊车位的右上角点P2相对于中心点P的坐标偏移量；R_B Head大小为 W/4*H/4*2可以用于学习回归泊车位的右下角点P3相对于中心点P的坐标偏移量。
S108、利用非最大抑制算法，从全部所述梯形候选框中选取出置信度最高的梯形候选框作为停靠车位。
在具体的实施过程中，可以利用非最大抑制算法从全部所述梯形候选框中选取出置信度最高的梯形候选框作为停靠车位。不同的梯形候选框具有不同的置信度。为了更好的控制车辆停泊，利用非最大抑制算法可以对全部梯形候选框进行去重操作，实现输出一个或多个不同立体泊车位分别对应的停靠车位。
在一些可能的实施例中，所述利用非最大抑制算法，从全部所述梯形候选框中选取出置信度最高的梯形候选框作为停靠车位，包括：
当所述鱼眼图像包括一个立体泊车位时，利用非最大抑制算法，从全部所述梯形候选框中选取出置信度最高的梯形候选框作为停靠车位。
在具体的实施过程中，停靠车位可以通过如下方式确定：
将所述梯形候选框按照对应的置信度由大到小进行排序以构建第一候选框集合；
在所述候选框集合中提取出置信度最大的梯形候选框作为第二候选框集合；
遍历所述第一候选框集合中每个梯形候选框，计算所述第一候选框集合中每个梯形候选框与所述第二候选框集合中梯形候选框的交并比；
删除所述第一候选框集合中交并比大于预设阈值的梯形候选框；
重复执行：在所述候选框集合中提取出置信度最大的梯形候选框作为第二候选框集合；遍历所述第一候选框集合中每个梯形候选框，计算所述第一候选框集合中每个梯形候选框与所述第二候选框集合中梯形候选框的交并比；删除所述第一候选框集合中交并比大于预设阈值的梯形候选框，直至所述第一候选框集合为空；
输出所述第二候选框集合中的梯形候选框及对应的置信度，并以所述第二候选框集合中的梯形候选框作为停靠车位。
非极大值抑制的方法可以示例如下：先假设有6个梯形框，根据分类器的类别分类概率做排序，假设从小到大属于立体泊车位的概率分别为A、B、C、D、E、F。
(1)从最大概率梯形框F开始，分别判断A~E与F的交并比(Intersection-over-Union，IoU)是否大于某个设定的阈值，如0.1-0.5。
(2)假设B、D与F的交并比超过阈值，那么就扔掉B、D；并标记第一个梯形框F，并保留下来。
(3)从剩下的梯形框A、C、E中，选择概率最大的E，然后判断E与A、C的交并比，交并比大于一定的阈值，那么就扔掉；并标记E是保留下来的第二个梯形框。
就这样一直重复，找到所有被保留下来的梯形框。
在一些可能的实施例中，所述遍历所述第一候选框集合中每个梯形候选框，计算所述第一候选框集合中每个梯形候选框与所述第二候选框集合中梯形候选框的交并比，包括：
确定所述第一候选框集合中每个梯形候选框的第一像素和值；
确定所述第二候选框集合中梯形候选框的第二像素和值；
确定所述第一候选框集合中每个梯形候选框与所述第二候选框集合中梯形候选框的合并后的第三像素和值；
基于所述第一像素和值、所述第二像素和值和所述第三像素和值确定所述第一候选框集合中每个梯形候选框与所述第二候选框集合中梯形候选框的重复区域的像素和值；
基于每个所述重复区域的像素和值及对应的所述第三像素和值确定出所述第一候选框集合中每个梯形候选框与所述第二候选框集合中梯形候选框的交并比。
示例地、梯形框B1以及梯形框B2为例说明, 图8是本申请实施例提供的一种重复梯形候选框的示意图，如图8所示，计算梯形框B1的像素值之和为Area1，计算梯形框B2的像素值之和为Area2，计算两个梯形框合并后的像素值之和为Area_union，计算两个梯形框的交集Area3 = Area1+Area2–Area_union，基于下述公式可以计算出梯形框B1以及梯形框B2的交并比。
iou=Area3/(Area_union)=(Area1+Area2-Area_union)/(Area_union)
当所述鱼眼图像包括多个立体泊车位时，利用非最大抑制算法，分别从每个所述立体泊车位对应的所述梯形候选框中选取出置信度最高的梯形候选框作为待停靠车位；比较不同所述立体泊车位对应的待停靠车位的置信度，选取置信度最高的待停靠车位作为停靠车位。
每个立体泊车位对应的停靠车位与上文所述的方法相同，不再赘述，当确定出每个立体泊车位对应的停靠车位后，可以比较不同所述立体泊车位对应的待停靠车位的置信度，选取置信度最高的待停靠车位作为停靠车位。置信度越高表明该停靠车位的识别更加准确，因而能够为车辆的泊车提供数据支撑。
在上述实施例基础上，本说明书一个实施例中，所述将所述平面图像输入至预先建立的图像识别模型组件中，输出每个所述立体泊车位对应的多个梯形候选框和与所述梯形候选框对应的置信度，之前还包括：
将所述平面图像缩放至与所述图像识别模型组件的输入相同的图像。
在具体的实施过程中，不同的鱼眼相机采集的鱼眼图像可能会不同，为了更好的输出每个所述立体泊车位对应的多个梯形候选框和与所述梯形候选框对应的置信度，可以将平面图像缩放至与所述图像识别模型组件的输入相同的图像。其可以是图像的尺寸相同、像素相同、图像深度相同等。
在上述实施例基础上，本说明书一个实施例中，还包括：
基于所述停靠车位控制车辆行驶入所述停靠车位。
在具体的实施过程中，车辆的行车电脑可以根据靠车位控制车辆行驶入所述停靠车位，可以理解的是行车电脑可以连接有车辆的控制系统，控制系统可以包括车辆的方向盘、驱动电机、刹车制动、档位切换等。
本发明提供的一种基于鱼眼图像的立体泊车位检测方法，主要解决现有技术中不能够在立体泊车位进行自动泊车的技术问题，本申请通过采集的鱼眼图像，基于鱼眼图像可以确定出立体泊车位的多个中心点及每个中心点对应的角点，进而确定出立体泊车位置信度最高的梯形候选框，并以置信度最高的梯形候选框作为停靠车位，并可以以此控制车辆进行自动泊车。本申请可以在无车位线的情况下有效的实现自动泊车，解决了现有技术中无法针对立体泊车位进行自动泊车的技术问题。
另一方面，本发明提供一种基于鱼眼图像的立体泊车位检测装置，图9是本发明实施例提供的一种基于鱼眼图像的立体泊车位检测装置的结构示意图，如图9所示，所述装置包括：
鱼眼图像获取模块601，被配置为执行获取鱼眼图像，所述鱼眼图像包括至少一个立体泊车位；
矫正模块602，被配置为执行对所述鱼眼图像进行矫正，得到矫正后的平面图像；
数据输出模块603，被配置为执行将所述平面图像输入至预先建立的图像识别模型组件中，输出每个所述立体泊车位对应的多个梯形候选框和与所述梯形候选框对应的置信度；
停靠车位确定模块604，被配置为执行利用非最大抑制算法，从全部所述梯形候选框中选取出置信度最高的梯形候选框作为停靠车位。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
另一方面，图10是本发明实施例提供的一种电子设备的结构示意图，如图10所示，本发明提供一种基于鱼眼图像的立体泊车位检测设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者至少一段程序由所述处理器加载并执行以实现如上述所述的基于鱼眼图像的立体泊车位检测方法。
再一方面，本发明提供一种车辆，所述车辆设置有如上述所述的基于鱼眼图像的立体泊车位检测装置。
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
本发明实施例还提供了一种存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、该至少一段程序、该代码集或指令集可由电子设备的处理器执行以完成上述所述的基于鱼眼图像的立体泊车位检测方法。
可选地，在本发明实施例中，上述存储介质可以包括但不限于：U 盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。本发明实施例所提供测试方法，其实现原理及产生的技术效果和前述系统实施例相同，为简要描述，方法实施例部分未提及之处，可参考前述系统实施例中相应内容。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以上述权利要求的保护范围为准。
Claims (10)
1.一种基于鱼眼图像的立体泊车位检测方法，其特征在于，所述方法包括：
获取鱼眼图像，所述鱼眼图像包括至少一个立体泊车位；
对所述鱼眼图像进行矫正，得到矫正后的平面图像；
将所述平面图像输入至预先建立的图像识别模型组件中，输出每个所述立体泊车位对应的多个梯形候选框和与所述梯形候选框对应的置信度，每一所述梯形候选框表征对一个立体泊车位的回归结果；
利用非最大抑制算法，从全部所述梯形候选框中选取出置信度最高的梯形候选框作为停靠车位。
2.根据权利要求1所述基于鱼眼图像的立体泊车位检测方法，其特征在于，所述将所述平面图像输入至预先建立的图像识别模型组件中，输出每个所述立体泊车位对应的多个梯形候选框和与所述梯形候选框对应的置信度，包括：
将所述平面图像输入至预先建立的图像识别模型组件中，所述图像识别模型组件包括滑动窗口和分类器；
利用与所述立体泊车位匹配的滑动窗口对所述平面图像进行特征提取，提取的特征包括所述立体泊车位对应的多个中心点的位置及每个中心点对应的四个角点的位置；
基于所述每个中心点对应的四个角点的位置将每个中心点对应的四个角点拼接成梯形候选框；
利用所述分类器识别每个所述梯形候选框，得到每个所述梯形候选框对应的置信度。
3.根据权利要求1或2所述基于鱼眼图像的立体泊车位检测方法，其特征在于，所述利用非最大抑制算法，从全部所述梯形候选框中选取出置信度最高的梯形候选框作为停靠车位，包括：
当所述鱼眼图像包括一个立体泊车位时，利用非最大抑制算法，从全部所述梯形候选框中选取出置信度最高的梯形候选框作为停靠车位；
当所述鱼眼图像包括多个立体泊车位时，利用非最大抑制算法，分别从每个所述立体泊车位对应的所述梯形候选框中选取出置信度最高的梯形候选框作为待停靠车位；比较不同所述立体泊车位对应的待停靠车位的置信度，选取置信度最高的待停靠车位作为停靠车位。
4.根据权利要求3所述基于鱼眼图像的立体泊车位检测方法，其特征在于，所述当所述鱼眼图像包括一个立体泊车位时，利用非最大抑制算法，从全部所述梯形候选框中选取出置信度最高的梯形候选框作为停靠车位，包括：
将所述梯形候选框按照对应的置信度由大到小进行排序以构建第一候选框集合；
在所述候选框集合中提取出置信度最大的梯形候选框作为第二候选框集合；
遍历所述第一候选框集合中每个梯形候选框，计算所述第一候选框集合中每个梯形候选框与所述第二候选框集合中梯形候选框的交并比；
删除所述第一候选框集合中交并比大于预设阈值的梯形候选框；
重复执行：在所述候选框集合中提取出置信度最大的梯形候选框作为第二候选框集合；遍历所述第一候选框集合中每个梯形候选框，计算所述第一候选框集合中每个梯形候选框与所述第二候选框集合中梯形候选框的交并比；删除所述第一候选框集合中交并比大于预设阈值的梯形候选框，直至所述第一候选框集合为空；
输出所述第二候选框集合中的梯形候选框及对应的置信度，并以所述第二候选框集合中的梯形候选框作为停靠车位。
5.根据权利要求4所述基于鱼眼图像的立体泊车位检测方法，其特征在于，所述对所述鱼眼图像进行矫正，得到矫正后的平面图像，包括：
根据预先标定的相机参数将所述鱼眼图像矫正为平面图像。
6.根据权利要求5所述基于鱼眼图像的立体泊车位检测方法，其特征在于，所述将所述平面图像输入至预先建立的图像识别模型组件中，输出每个所述立体泊车位对应的多个梯形候选框和与所述梯形候选框对应的置信度，之前还包括：
将所述平面图像缩放至与所述图像识别模型组件的输入相同的图像。
7.根据权利要求6所述基于鱼眼图像的立体泊车位检测方法，其特征在于，所述遍历所述第一候选框集合中每个梯形候选框，计算所述第一候选框集合中每个梯形候选框与所述第二候选框集合中梯形候选框的交并比，包括：
确定所述第一候选框集合中每个梯形候选框的第一像素和值；
确定所述第二候选框集合中梯形候选框的第二像素和值；
确定所述第一候选框集合中每个梯形候选框与所述第二候选框集合中梯形候选框的合并后的第三像素和值；
基于所述第一像素和值、所述第二像素和值和所述第三像素和值确定所述第一候选框集合中每个梯形候选框与所述第二候选框集合中梯形候选框的重复区域的像素和值；
基于每个所述重复区域的像素和值及对应的所述第三像素和值确定出所述第一候选框集合中每个梯形候选框与所述第二候选框集合中梯形候选框的交并比。
8.一种基于鱼眼图像的立体泊车位检测装置，其特征在于，所述装置包括：
鱼眼图像获取模块，被配置为执行获取鱼眼图像，所述鱼眼图像包括至少一个立体泊车位；
矫正模块，被配置为执行对获取的鱼眼图像进行矫正，得到矫正后的平面图像；
数据输出模块，被配置为执行将所述平面图像输入至预先建立的图像识别模型组件中，输出每个所述立体泊车位对应的多个梯形候选框和与所述梯形候选框对应的置信度，每一所述梯形候选框表征对一个立体泊车位的回归结果；
停靠车位确定模块，被配置为执行利用非最大抑制算法，从全部所述梯形候选框中选取出置信度最高的梯形候选框作为停靠车位确定控制确定。
9.一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-7中任一项所述基于鱼眼图像的立体泊车位检测方法。
10.一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1-7中任一项所述基于鱼眼图像的立体泊车位检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110807327.XA CN113269163B (zh) | 2021-07-16 | 2021-07-16 | 基于鱼眼图像的立体泊车位检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110807327.XA CN113269163B (zh) | 2021-07-16 | 2021-07-16 | 基于鱼眼图像的立体泊车位检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113269163A CN113269163A (zh) | 2021-08-17 |
| CN113269163B true CN113269163B (zh) | 2022-06-03 |
Family
ID=77236609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110807327.XA Active CN113269163B (zh) | 2021-07-16 | 2021-07-16 | 基于鱼眼图像的立体泊车位检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113269163B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113674245B (zh) * | 2021-08-20 | 2023-10-31 | 中汽创智科技有限公司 | 一种目标停车位的确定方法、装置、电子设备及存储介质 |
| CN114821540B (zh) * | 2022-05-27 | 2023-03-24 | 禾多科技（北京）有限公司 | 车位检测方法、装置、电子设备和计算机可读介质 |
| CN114926454B (zh) * | 2022-06-13 | 2023-03-24 | 镁佳(北京)科技有限公司 | 一种停车位检测方法及装置、电子设备 |
| CN115148047B (zh) * | 2022-07-25 | 2024-05-24 | 中汽创智科技有限公司 | 一种车位检测方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9432654B2 (en) * | 2012-11-05 | 2016-08-30 | Texas Instruments Incorporated | Modifying fusion offset data in sequential stereoscopic image frames |
| CN111028534B (zh) * | 2018-10-09 | 2022-04-26 | 杭州海康威视数字技术股份有限公司 | 一种泊车位检测方法及装置 |
| CN112330601B (zh) * | 2020-10-15 | 2024-03-19 | 浙江大华技术股份有限公司 | 一种基于鱼眼相机的停车检测方法、装置、设备及介质 |
-
2021
- 2021-07-16 CN CN202110807327.XA patent/CN113269163B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113269163A (zh) | 2021-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113269163B (zh) | 基于鱼眼图像的立体泊车位检测方法及装置 | |
| CN106952308B (zh) | 运动物体的位置确定方法及系统 | |
| EP3876141A1 (en) | Object detection method, related device and computer storage medium | |
| CN112287860B (zh) | 物体识别模型的训练方法及装置、物体识别方法及系统 | |
| US9042639B2 (en) | Method for representing surroundings | |
| US10919357B2 (en) | Method and device for determining a trajectory in off-road scenarios | |
| CN106981082A (zh) | 车载摄像头标定方法、装置及车载设备 | |
| CN111627001B (zh) | 图像检测方法及装置 | |
| CN112598922B (zh) | 车位检测方法、装置、设备及存储介质 | |
| CN112863234B (zh) | 一种车位显示方法、装置、电子设备及存储介质 | |
| CN110889464A (zh) | 神经网络训练、目标对象的检测方法及装置 | |
| CN113205447A (zh) | 用于车道线识别的道路图片标注方法和装置 | |
| CN112926461B (zh) | 神经网络训练、行驶控制方法及装置 | |
| CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
| CN110992424A (zh) | 基于双目视觉的定位方法和系统 | |
| CN112395962A (zh) | 数据增广方法及装置、物体识别方法及系统 | |
| JP6701057B2 (ja) | 認識装置、プログラム | |
| US9928599B2 (en) | Apparatus and method for object detection based on dominant pixel information | |
| CN110880003B (zh) | 一种图像匹配方法、装置、存储介质及汽车 | |
| CN116363628A (zh) | 标志检测方法、装置、非易失性存储介质及计算机设备 | |
| CN110864670A (zh) | 目标障碍物位置的获取方法和系统 | |
| CN111656404A (zh) | 图像处理方法、系统及可移动平台 | |
| US20230009925A1 (en) | Object detection method and object detection device | |
| CN114898306A (zh) | 一种检测目标朝向的方法、装置及电子设备 | |
| KR101437228B1 (ko) | 입체영상에서의 외곽선 가중치 기반 장애물 영역 검출 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |