CN114140429A - 一种车端实时停车位检测方法和装置 - Google Patents

一种车端实时停车位检测方法和装置 Download PDF

Info

Publication number
CN114140429A
CN114140429A CN202111447202.7A CN202111447202A CN114140429A CN 114140429 A CN114140429 A CN 114140429A CN 202111447202 A CN202111447202 A CN 202111447202A CN 114140429 A CN114140429 A CN 114140429A
Authority
CN
China
Prior art keywords
image
parking space
real
around
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111447202.7A
Other languages
English (en)
Inventor
万齐斌
王畅
刘奋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heading Data Intelligence Co Ltd
Original Assignee
Heading Data Intelligence Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heading Data Intelligence Co Ltd filed Critical Heading Data Intelligence Co Ltd
Priority to CN202111447202.7A priority Critical patent/CN114140429A/zh
Publication of CN114140429A publication Critical patent/CN114140429A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种车端实时停车位检测方法及装置,该方法包括:获取车辆四周所设四个鱼眼相机拍摄的车辆前后左右四个角度的图像;根据鱼眼相机的畸变参数,将拍摄的图像去畸变,并通过逆透视变换,将图像转换为俯视图像;根据四个鱼眼相机的内外参数,利用特征匹配的方法将四幅俯视图像进行拼接,形成完整的环视俯视图像;在所述环视俯视图像上进行停车位标注后送入检测模型中进行训练;调用训练好的检测模型进行实时的停车位检测。本发明主要解决了现有停车位检测方法效果不佳,且实时性较差的问题,极大的提升了检测的准确率和实时性。

Description

一种车端实时停车位检测方法和装置
技术领域
本发明涉及高精度地图制作技术领域,具体涉及一种车端实时停车位检测方法和装置。
背景技术
在自动驾驶和高精度地图制作领域,停车位的检测是至关重要的技术之一,目前,常见的停车位检测方法大多检测效果不佳,且实时性较差。
发明内容
本发明针对现有技术中存在的技术问题,提供一种车端实时停车位检测方法和装置,主要解决现有停车位检测方法效果不佳,且实时性较差的问题,极大的提升了检测的准确率和实时性。
本发明解决上述技术问题的技术方案如下:
第一方面,本发明提供一种车端实时停车位检测方法,包括:
S1,获取车辆四周所设四个鱼眼相机拍摄的车辆前后左右四个角度的图像;
S2,根据鱼眼相机的畸变参数,将拍摄的图像去畸变,并通过逆透视变换,将图像转换为俯视图像;
S3,根据四个鱼眼相机的内外参数,利用特征匹配的方法将四幅俯视图像进行拼接,形成完整的环视俯视图像;
S4,在所述环视俯视图像上进行停车位标注后送入检测模型中进行训练;
S5,调用训练好的检测模型进行实时的停车位检测。
进一步的,步骤S2还包括,对俯视图像进行裁剪,以突出停车位区域。
进一步的,步骤S3包括:
利用sift算法提取俯视图像特征,运用sift局部描述子检测俯视图像中的关键点和特征;
采用RANSAC算法进行特征的匹配,根据匹配的特征点计算相邻两幅俯视图像彼此间的转换矩阵;
根据相邻两幅俯视图像彼此间的转换矩阵,将四幅俯视图像拼接成完整的环视俯视图像。
进一步的,步骤S3还包括,对环视俯视图像进行图像增强处理。
进一步的,在所述环视俯视图像上进行停车位标注,包括:标注停车位入口的两个关键点以及其偏转角。
进一步的,调用训练好的检测模型进行实时的停车位检测,包括:
调用训练好的检测模型对实时采集并处理得到环视俯视图像进行推理,得到环视俯视图像上的多个关键点;
根据关键点之间的距离和旋转角进行匹配,得到停车位的一对入口点;
根据所述入口点计算得到停车位检测框的偏转角,并在所述环视俯视图像上进行可视化显示。
进一步的,所述检测模型为深度卷积神经网络模型。
第二方面,本发明提供一种车端实时停车位检测装置,包括:
原始图像获取模块,获取车辆四周所设四个鱼眼相机拍摄的车辆前后左右四个角度的图像;
图像转换模块,根据鱼眼相机的畸变参数,将拍摄的图像去畸变,并通过逆透视变换,将图像转换为俯视图像;
图像拼接模块,根据四个鱼眼相机的内外参数,利用特征匹配的方法将四幅俯视图像进行拼接,形成完整的环视俯视图像;
模型训练模块,在所述环视俯视图像上进行停车位标注后送入检测模型中进行训练;
停车位检测模块,调用训练好的检测模型进行实时的停车位检测。
第三方面,一种电子设备,包括:
存储器,用于存储计算机软件程序;
处理器,用于读取并执行所述存储器中存储的计算机软件程序,进而实现本发明第一方面所述的一种车端实时停车位检测方法。
第四方面,一种非暂态计算机可读存储介质,该存储介质中存储有用于实现本发明第一方面所述的一种车端实时停车位检测方法的计算机软件程序。
本发明的有益效果是:本发明解决了现有停车位检测方法效果不佳,且实时性较差的问题,极大的提升了检测的准确率和实时性。
附图说明
图1为本发明实施例提供的一种车端实时停车位检测方法流程示意图;
图2为本发明实施例提供的一种车端实时停车位检测装置结构示意图;
图3为本发明提供的一种电子设备结构示意图;
图4为本发明提供的一种计算机可读存储介质结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
如图1所示,本发明实施例提供一种车端实时停车位检测方法,包括以下步骤:
S1,获取车辆四周所设四个鱼眼相机拍摄的车辆前后左右四个角度的图像。
在汽车四周安装四个鱼眼相机,记录安装的具体位置;标定四个相机的内外参数以及畸变参数。若以车辆中心为坐标原点建立坐标系,记录四个相机的具体安装坐标(x,y,z),便于接下来的标定以及拼接过程。
S2,根据鱼眼相机的畸变参数,将拍摄的图像去畸变,并通过逆透视变换,将图像转换为俯视图像。然后对俯视图像进行裁剪,以突出停车位区域。
标定得到相机内外参数以及畸变参数后,调用opencv中的fisheye.initUndistortRectifyMap函数,输入畸变参数,得到去畸变图像。为了更直观的获取停车位的视角,此处将图像转换为俯视图,即对图像进行逆透视处理,得到其俯视图。俯视图中车位目标可能较小,因此,为了突出感兴趣区域,需要进行裁剪。
S3,根据四个鱼眼相机的内外参数,利用特征匹配的方法将四幅俯视图像进行拼接,形成完整的环视俯视图像,并进行图像增强处理,使停车位边界线更清晰。
首先,运用sift算法提取图像特征,运用sift局部描述子检测图像中的关键点和特征,由于sift特征是基于物体上的一些局部外观的兴趣点,具有尺度不变性和旋转不变性,光线、噪声对其影响也较小,因此,使用这种算法稳定性较强,之后,采用RANSAC算法进行特征的匹配,根据匹配的特征点计算两幅图像彼此间的转换矩阵,依次,将四幅图像做一整体的拼接。
S4,在所述环视俯视图像上进行停车位标注后送入检测模型中进行训练。
通过步骤S1~S3,可获取大量拼接后的环视俯视图,在此图像上进行停车位的标注,由于构成停车位的关键在于入口点的检测和匹配、以及其旋转角,因此,此处主要标注停车位入口的两个关键点以及其偏转角。训练模型为搭建的深度卷积神经网络模型,训练300个epoch,收敛后保存最终模型。
S5,调用训练好的检测模型进行实时的停车位检测。
调用训练好的检测模型对实时采集并处理得到环视俯视图像进行推理,得到环视俯视图像上的多个关键点,根据关键点之间的距离和偏转角进行匹配,得到停车位的一对入口点,并计算得到整个检测框的偏转角;例如,取关键点p1,可通过计算剩下关键点与p1之间的距离过滤不符合要求的关键点,在剩下的点里,再通过偏转角,得到最可能与p1构成停车位的关键点p2,这样,p1和p2就构成了一对入口点,再综合两个关键点的偏转角得到整体车位框的旋转角,最后,可视化到图像上。
如图2所示,本发明还提供一种车端实时停车位检测装置,该装置包括:
原始图像获取模块,获取车辆四周所设四个鱼眼相机拍摄的车辆前后左右四个角度的图像;
图像转换模块,根据鱼眼相机的畸变参数,将拍摄的图像去畸变,并通过逆透视变换,将图像转换为俯视图像;
图像拼接模块,根据四个鱼眼相机的内外参数,利用特征匹配的方法将四幅俯视图像进行拼接,形成完整的环视俯视图像;
模型训练模块,在所述环视俯视图像上进行停车位标注后送入检测模型中进行训练;
停车位检测模块,调用训练好的检测模型进行实时的停车位检测。
请参阅图3,图3为本发明实施例提供的电子设备的实施例示意图。如图3所示,本发明实施例提了一种电子设备500,包括存储器510、处理器520及存储在存储器520上并可在处理器520上运行的计算机程序511,处理器520执行计算机程序511时实现以下步骤:
S1,获取车辆四周所设四个鱼眼相机拍摄的车辆前后左右四个角度的图像;
S2,根据鱼眼相机的畸变参数,将拍摄的图像去畸变,并通过逆透视变换,将图像转换为俯视图像;
S3,根据四个鱼眼相机的内外参数,利用特征匹配的方法将四幅俯视图像进行拼接,形成完整的环视俯视图像;
S4,在所述环视俯视图像上进行停车位标注后送入检测模型中进行训练;
S5,调用训练好的检测模型进行实时的停车位检测。
请参阅图4,图4为本发明实施例提供的一种计算机可读存储介质的实施例示意图。如图4所示,本实施例提供了一种计算机可读存储介质600,其上存储有计算机程序611,该计算机程序611被处理器执行时实现如下步骤:
S1,获取车辆四周所设四个鱼眼相机拍摄的车辆前后左右四个角度的图像;
S2,根据鱼眼相机的畸变参数,将拍摄的图像去畸变,并通过逆透视变换,将图像转换为俯视图像;
S3,根据四个鱼眼相机的内外参数,利用特征匹配的方法将四幅俯视图像进行拼接,形成完整的环视俯视图像;
S4,在所述环视俯视图像上进行停车位标注后送入检测模型中进行训练;
S5,调用训练好的检测模型进行实时的停车位检测。
需要说明的是,在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述的部分,可以参见其它实施例的相关描述。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种车端实时停车位检测方法,其特征在于,包括:
S1,获取车辆四周所设四个鱼眼相机拍摄的车辆前后左右四个角度的图像;
S2,根据鱼眼相机的畸变参数,将拍摄的图像去畸变,并通过逆透视变换,将图像转换为俯视图像;
S3,根据四个鱼眼相机的内外参数,利用特征匹配的方法将四幅俯视图像进行拼接,形成完整的环视俯视图像;
S4,在所述环视俯视图像上进行停车位标注后送入检测模型中进行训练;
S5,调用训练好的检测模型进行实时的停车位检测。
2.根据权利要求1所述的方法,其特征在于,步骤S2还包括,对俯视图像进行裁剪,以突出停车位区域。
3.根据权利要求1所述的方法,其特征在于,步骤S3包括:
利用sift算法提取俯视图像特征,运用sift局部描述子检测俯视图像中的关键点和特征;
采用RANSAC算法进行特征的匹配,根据匹配的特征点计算相邻两幅俯视图像彼此间的转换矩阵;
根据相邻两幅俯视图像彼此间的转换矩阵,将四幅俯视图像拼接成完整的环视俯视图像。
4.根据权利要求1或3所述的方法,其特征在于,步骤S3还包括,对环视俯视图像进行图像增强处理。
5.根据权利要求1所述的方法,其特征在于,在所述环视俯视图像上进行停车位标注,包括:标注停车位入口的两个关键点以及其偏转角。
6.根据权利要求1所述的方法,其特征在于,调用训练好的检测模型进行实时的停车位检测,包括:
调用训练好的检测模型对实时采集并处理得到环视俯视图像进行推理,得到环视俯视图像上的多个关键点;
根据关键点之间的距离和旋转角进行匹配,得到停车位的一对入口点;
根据所述入口点计算得到停车位检测框的偏转角,并在所述环视俯视图像上进行可视化显示。
7.根据权利要求1所述的方法,其特征在于,所述检测模型为深度卷积神经网络模型。
8.一种车端实时停车位检测装置,其特征在于,包括:
原始图像获取模块,获取车辆四周所设四个鱼眼相机拍摄的车辆前后左右四个角度的图像;
图像转换模块,根据鱼眼相机的畸变参数,将拍摄的图像去畸变,并通过逆透视变换,将图像转换为俯视图像;
图像拼接模块,根据四个鱼眼相机的内外参数,利用特征匹配的方法将四幅俯视图像进行拼接,形成完整的环视俯视图像;
模型训练模块,在所述环视俯视图像上进行停车位标注后送入检测模型中进行训练;
停车位检测模块,调用训练好的检测模型进行实时的停车位检测。
9.一种电子设备,其特征在于,包括:
存储器,用于存储计算机软件程序;
处理器,用于读取并执行所述存储器中存储的计算机软件程序,进而实现权利要求1-7任一项所述的一种车端实时停车位检测方法。
10.一种非暂态计算机可读存储介质,其特征在于,该存储介质中存储有用于实现权利要求1-7任一项所述的一种车端实时停车位检测方法的计算机软件程序。
CN202111447202.7A 2021-11-26 2021-11-26 一种车端实时停车位检测方法和装置 Pending CN114140429A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111447202.7A CN114140429A (zh) 2021-11-26 2021-11-26 一种车端实时停车位检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111447202.7A CN114140429A (zh) 2021-11-26 2021-11-26 一种车端实时停车位检测方法和装置

Publications (1)

Publication Number Publication Date
CN114140429A true CN114140429A (zh) 2022-03-04

Family

ID=80386263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111447202.7A Pending CN114140429A (zh) 2021-11-26 2021-11-26 一种车端实时停车位检测方法和装置

Country Status (1)

Country Link
CN (1) CN114140429A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114626462A (zh) * 2022-03-16 2022-06-14 小米汽车科技有限公司 路面标识识别方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114626462A (zh) * 2022-03-16 2022-06-14 小米汽车科技有限公司 路面标识识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111145238B (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
CN111667520B (zh) 红外图像和可见光图像的配准方法、装置及可读存储介质
CN106709950B (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN111191582A (zh) 三维目标检测方法、检测装置、终端设备及计算机可读存储介质
CN112435223A (zh) 目标检测方法、装置及存储介质
CN113066088A (zh) 工业检测中的检测方法、检测装置和存储介质
CN114140429A (zh) 一种车端实时停车位检测方法和装置
CN115690747B (zh) 车辆盲区检测模型测试方法、装置、电子设备及存储介质
CN114626118A (zh) 建筑物室内模型生成方法及装置
CN106296580A (zh) 一种图像拼接的方法及装置
CN115578624A (zh) 农业病虫害模型构建方法、检测方法及装置
CN111401365B (zh) Ocr图像自动生成方法及装置
CN114332814A (zh) 一种停车框识别方法、装置、电子设备及存储介质
CN113012217A (zh) 基于图像处理的焊接焊缝定位用卷积神经网络的构建方法
CN110674817A (zh) 一种基于双目摄像头的车牌防伪的方法及装置
CN111860050A (zh) 一种基于图像帧的回环检测方法及装置、车载终端
CN110689515B (zh) 一种采用智能识别技术的计算机图像处理系统
CN115273013B (zh) 车道线检测方法、系统、计算机及可读存储介质
CN117455984B (zh) 随臂式相机采集点的确定方法及装置
CN112967398B (zh) 一种三维数据重建方法、装置及电子设备
CN117291997B (zh) 一种车载监控系统监控画面角点标定方法
CN115705696A (zh) 害虫识别方法及装置、学习数据生成方法及装置
CN115439326A (zh) 车辆环视系统中的图像拼接优化方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination