CN114863375B - 一种基于3d视觉识别的加油站车辆多视角定位方法 - Google Patents

一种基于3d视觉识别的加油站车辆多视角定位方法 Download PDF

Info

Publication number
CN114863375B
CN114863375B CN202210652153.9A CN202210652153A CN114863375B CN 114863375 B CN114863375 B CN 114863375B CN 202210652153 A CN202210652153 A CN 202210652153A CN 114863375 B CN114863375 B CN 114863375B
Authority
CN
China
Prior art keywords
image
aerial
view
detection frame
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210652153.9A
Other languages
English (en)
Other versions
CN114863375A (zh
Inventor
顾毅
梁新乐
辛伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Xuelang Shuzhi Technology Co ltd
Original Assignee
Wuxi Xuelang Shuzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Xuelang Shuzhi Technology Co ltd filed Critical Wuxi Xuelang Shuzhi Technology Co ltd
Priority to CN202210652153.9A priority Critical patent/CN114863375B/zh
Publication of CN114863375A publication Critical patent/CN114863375A/zh
Application granted granted Critical
Publication of CN114863375B publication Critical patent/CN114863375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于3D视觉识别的加油站车辆多视角定位方法，该方法包括以下步骤：S1、预先配置若干监控相机，并将若干监控相机获取的路面图像转换为鸟瞰图；S2、对若干转换后的鸟瞰图进行拼接处理；S3、采用FCOS3D算法并结合监控相机内参矩阵，完成对车辆3D检测框的识别；S4、对车辆3D检测框的底面坐标进行转换，且在转换后进行检测框去重。实现加油站多相机的车辆检测，有效缓解了一般基于2D图像的简单车牌识别功能系统可扩展性低、成本过高的情况，为后续车辆身份识别及跟踪、无感支付、算法油枪分配等智慧功能打下基础，最大化利用现有监控设备，显著降低智能化改造成本。

Description

一种基于3D视觉识别的加油站车辆多视角定位方法
技术领域
本发明涉及视觉识别领域，具体来说，涉及一种基于3D视觉识别的加油站车辆多视角定位方法。
背景技术
随着人民生活水平的提高，加油站加油效率通常面临着巨大的业务压力，用户等待时间过长、加油流程过久、设备编排和管理低效等情况经常发生。与此同时，分析车辆数据热力分布图，预测加油站业务的波峰和波谷，轻松预测排队时间，灵活调整营销策略，智慧管理加油设备等需求逐渐成为智慧加油站升级发展的目标。
目前智慧加油站的建设方法一般是基于在油枪附近加装摄像头识别2D图像中的车牌信息，绑定支付账号，完成加油后自动扣款的方式，出于安全考虑加装摄像头需要对加油机进行重新设计，改造及推广普及难度过高，且此类方式可扩展空间小，重新设计加油机的成本过高，无法满足后续更多智能分析需求的建设。且存在一定安全隐患。利用现成的加油站监控摄像头实现车辆在整个站内的空间定位，以此达成一种更廉价延展性更大的智能化改造，日益成为智慧加油站发展的痛点。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于3D视觉识别的加油站车辆多视角定位方法，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
一种基于3D视觉识别的加油站车辆多视角定位方法，该方法包括以下步骤：
S1、预先配置若干监控相机，并将若干监控相机获取的路面图像转换为鸟瞰图；
其中，所述S1中预先配置若干监控相机，并将若干监控相机获取的路面图像转换为鸟瞰图还包括以下步骤：
S11、通过监控相机获取路面图像，并在路面图像上采样若干数量平行线条特征点；
S12、预估转换后对应点的坐标，并调用OpenCV库的getPerspectiveTransform函数，同时输入原图坐标点和预估的转换后对应点，求得P透视变换矩阵；
S13、调用perspectiveTransform函数，并输入原图及P透视变换矩阵，得到转换后的鸟瞰图；
S2、对若干转换后的鸟瞰图进行拼接处理；
其中，所述S2中对若干转换后的鸟瞰图进行拼接处理还包括以下步骤：
S21、计算鸟瞰图的色彩校正参数及全局调整参数，完成鸟瞰图的色彩校正；
所述S21中计算鸟瞰图的色彩校正参数及全局调整参数，完成鸟瞰图的色彩校正还包括以下步骤：
设定n幅待拼接的鸟瞰图P1，P2，…，Pi，…，Pn，Pi-1和Pi是相邻的两幅鸟瞰图，c∈{R，G，B}，i＝1，2，…，n，则鸟瞰图P的色彩校正参数ac,i可由以下公式得到：
Figure GDA0004173455470000021
设定一个全局调节参数gc，用来调整整个待拼接序列的色彩值，并计算彩色图像R，G，B三个通道的全局调节参数gc，则使图像i的c通道的调节参数为gcac,i，使调整参数接近1，则有最小二次方程：
Figure GDA0004173455470000031
结合最小二次方程，将色彩校正参数公式求导等于0，得到公式：
Figure GDA0004173455470000032
通过色彩校正参数ac,i及全局调节参数gc，对鸟瞰图Pi进行色彩校正；
式中，M指相邻图像的重叠区域，Sc,i-1(s)指鸟瞰图Pi-1中的像素点S的像素值，Sc,i(s)指鸟瞰图Pi中的像素点S的像素值；γ指参数，对于待拼接的第一幅鸟瞰图P，设定ac,i＝1；
S22、基于SIFT及RANSAC算法进行两个鸟瞰图的图像配准；
S23、基于加权融合算法对两个鸟瞰图进行融合，完成鸟瞰图的拼接；
其中，若监控相机获取的路面图像为鱼眼图像，则对鱼眼图像进行畸变校正处理；
S3、采用FCOS3D算法并结合监控相机内参矩阵，完成对车辆3D检测框的识别；
S4、对车辆3D检测框的底面坐标进行转换，且在转换后进行检测框去重。
进一步的，所述S2中对若干转换后的鸟瞰图进行拼接处理之前，将若干转换后的鸟瞰图中的部分图像进行上下翻转与对齐，并记录下每个相机图像的对应操作。
进一步的，所述S22中基于SIFT及RANSAC算法进行两个鸟瞰图的图像配准时，每个鸟瞰图均包含确定的SIFT特征点，每个特征点包括尺度空间极值、特征点位置、特征点方向及特征点描述符。
进一步的，所述S23中基于加权融合算法对两个鸟瞰图进行融合，完成鸟瞰图的拼接还包括以下步骤：
设定两幅鸟瞰图的重叠区域中，权重函数d1由1渐变至0，权重函数d2由0渐变至1，实现前一幅鸟瞰图过渡至第二幅鸟瞰图；
融合后的图像为：
Figure GDA0004173455470000041
式中，f1，f2分别表示两幅鸟瞰图，d1，d2分别表示权重函数，x，y均为坐标参数。
进一步的，所述若监控相机获取的路面图像为鱼眼图像，则对鱼眼图像进行畸变校正处理还包括以下步骤：
设定鱼眼图像长为W，宽为H，鱼眼图像中任一点的坐标为(x'，y')，鱼眼图像的中心点为(W/2，H/2)，鱼眼图像畸变校正后对应的图像坐标为(u，v)，鱼眼图像中任一点至图像中心点的距离为r，则距离r的计算公式为：
Figure GDA0004173455470000042
建立一个容器，并建立鱼眼图像与校正后的图像的映射关系，并将该映射关系存储在容器内，采取一一映射的方式生成图像；
根据鱼眼图像边缘最大畸变曲线进行椭圆拟合，获得边缘椭圆半径r'，鱼眼图像畸变校正后图像中像素的坐标与原鱼眼图像中点坐标的映射函数为：
Figure GDA0004173455470000043
Figure GDA0004173455470000044
式中，β中为校正偏差系数，z为调整系数。
进一步的，所述S4中对车辆3D检测框的底面坐标进行转换还包括以下步骤：
获取检测框列表，并在每个检测框底面构建4个坐标；
利用P透视变换矩阵进行检测框的投影及相应翻转操作。
进一步的，所述S4中在转换后进行检测框去重时，采用NMS非极大抑制进行全图检测框的去重，并留下概率最大的非重叠检测框。
本发明的有益效果为：
(1)本发明提出一种基于3D视觉识别的加油站车辆多视角定位方法，采用加油站都具备的监控摄像头，通过3D车辆检测、BEV鸟瞰图空间定位等方式，实现加油站多相机的车辆检测，有效缓解了一般基于2D图像的简单车牌识别功能系统可扩展性低、成本过高的情况，为后续车辆身份识别及跟踪、无感支付、算法油枪分配等智慧功能打下基础。通过对鸟瞰图进行色彩调整，提高了鸟瞰图拼接效果，使得鸟瞰图融合效率提高。
(2)本发明提出一种基于3D视觉识别的加油站车辆多视角定位方法，能够最大化利用现有监控设备，实现车辆在整个加油站视野内的定位，显著降低智能化改造成本，并能够在此基础上进一步整合车辆跟踪、车牌识别、车辆型号统计、热力图分析等智慧功能，同时本发明适用于采用鱼眼监控相机的加油站，从而使得加油站改造成本进一步的降低。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于3D视觉识别的加油站车辆多视角定位方法的流程图；
图2是FCOS3D网络图；
图3是监控相机底面检测框投影；
图4是检测框去重后示意图。
具体实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例，提供了一种基于3D视觉识别的加油站车辆多视角定位方法。
现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的基于3D视觉识别的加油站车辆多视角定位方法，该方法包括以下步骤：
S1、预先配置若干监控相机，并将若干监控相机获取的路面图像转换为鸟瞰图；
其中，所述S1中预先配置若干监控相机，并将若干监控相机获取的路面图像转换为鸟瞰图还包括以下步骤：
S11、通过监控相机获取路面图像，并在路面图像上采样若干数量平行线条特征点(至少4个)；
S12、预估转换后对应点的坐标(需要靠实际观察和手动多次调试)，并调用OpenCV库的getPerspectiveTransform函数，同时输入原图坐标点和预估的转换后对应点，求得P透视变换矩阵，其中，OpenCV是一个基于Apache2.0许可(开源)发行的跨平台计算机视觉和机器学习软件库；
S13、调用perspectiveTransform函数，并输入原图及P透视变换矩阵，得到转换后的鸟瞰图。
转换鸟瞰图方式主要是要获取透视变换矩阵，一般有三种方法：
1.相机内外参数标定；
2.消失点估计；
3.采样平行线坐标点预估转换后对应点对计算。本发明采用第3种方式。
S2、对若干转换后的鸟瞰图进行拼接处理；转换后的鸟瞰图大小是相同的，均代表了路平面在整个加油站俯视图中的一块区域。
其中，所述S2中对若干转换后的鸟瞰图进行拼接处理之前，将若干转换后的鸟瞰图中的部分图像进行上下翻转与对齐，并记录下每个相机图像的对应操作，如透视变换-上下翻转。
所述S2中对若干转换后的鸟瞰图进行拼接处理还包括以下步骤：
S21、计算鸟瞰图的色彩校正参数及全局调整参数，完成鸟瞰图的色彩校正；
S22、基于SIFT及RANSAC算法进行两个鸟瞰图的图像配准；SIFT算法是一种提取局部特征的算法，RANSAC算法为随机抽样一致算法；
S23、基于加权融合算法对两个鸟瞰图进行融合，完成鸟瞰图的拼接；
其中，若监控相机获取的路面图像为鱼眼图像，则对鱼眼图像进行畸变校正处理。
所述S21中计算鸟瞰图的色彩校正参数及全局调整参数，完成鸟瞰图的色彩校正还包括以下步骤：
设定n幅待拼接的鸟瞰图P1，P2，…，Pi，…，Pn，Pi-1和Pi是相邻的两幅鸟瞰图，c∈{R，G，B}，i＝1，2，…，n，则鸟瞰图P的色彩校正参数ac,i可由以下公式得到：
Figure GDA0004173455470000081
设定一个全局调节参数gc，用来调整整个待拼接序列的色彩值，并计算彩色图像R，G，B三个通道的全局调节参数gc，则使图像i的c通道的调节参数为gcac,i，使调整参数接近1，则有最小二次方程：
Figure GDA0004173455470000082
结合最小二次方程，将色彩校正参数公式求导等于0，得到公式：
Figure GDA0004173455470000083
通过色彩校正参数ac,i及全局调节参数gc，对鸟瞰图Pi进行色彩校正；
式中，M指相邻图像的重叠区域，Sc,i-1(s)指鸟瞰图Pi-1中的像素点S的像素值，Sc,i(s)指鸟瞰图Pi中的像素点S的像素值；γ指参数，通常设定为2.2，对于待拼接的第一幅鸟瞰图P，设定ac,i＝1。
所述S22中基于SIFT及RANSAC算法进行两个鸟瞰图的图像配准时，每个鸟瞰图均包含确定的SIFT特征点，每个特征点包括尺度空间极值、特征点位置特征点方向及特征点描述符。
所述S23中基于加权融合算法对两个鸟瞰图进行融合，完成鸟瞰图的拼接还包括以下步骤：
设定两幅鸟瞰图的重叠区域中，权重函数d1由1渐变至0，权重函数d2由0渐变至1，实现前一幅鸟瞰图过渡至第二幅鸟瞰图；
融合后的图像为：
Figure GDA0004173455470000091
式中，f1，f2分别表示两幅鸟瞰图，d1，d2分别表示权重函数，x，y均为参数。
所述若监控相机获取的路面图像为鱼眼图像，则对鱼眼图像进行畸变校正处理还包括以下步骤：
设定鱼眼图像长为W，宽为H，鱼眼图像中任一点的坐标为(x'，y')，鱼眼图像的中心点为(W/2，H/2)，鱼眼图像畸变校正后对应的图像坐标为(u，v)，鱼眼图像中任一点至图像中心点的距离为r，则距离r的计算公式为：
Figure GDA0004173455470000092
建立一个容器，并建立鱼眼图像与校正后的图像的映射关系，并将该映射关系存储在容器内，采取一一映射的方式生成图像；
根据鱼眼图像边缘最大畸变曲线进行椭圆拟合，获得边缘椭圆半径r'，鱼眼图像畸变校正后图像中像素的坐标与原鱼眼图像中点坐标的映射函数为：
Figure GDA0004173455470000093
Figure GDA0004173455470000094
式中，β中为校正偏差系数，z为调整系数。
S3、采用FCOS3D算法并结合监控相机内参矩阵(一般相机自带)，完成对车辆3D检测框的识别，如图2所示，FCOS3D是一种全卷积单阶段3D单目目标检测方法；
S4、对车辆3D检测框的底面坐标进行转换，且在转换后进行检测框去重；
其中，所述S4中对车辆3D检测框的底面坐标进行转换还包括以下步骤：
获取检测框列表，并在每个检测框底面构建4个坐标；
利用P透视变换矩阵进行检测框的投影及相应翻转操作，如图3所示。
所述S4中在转换后进行检测框去重时，由于多个相机投影检测框存在重叠，为了降低重复识别率，采用NMS非极大抑制进行全图检测框的去重，并留下概率最大的非重叠检测框，如图4所示。
综上所述，本发明提出一种基于3D视觉识别的加油站车辆多视角定位方法，采用加油站都具备的监控摄像头，通过3D车辆检测、BEV鸟瞰图空间定位等方式，实现加油站多相机的车辆检测，有效缓解了一般基于2D图像的简单车牌识别功能系统可扩展性低、成本过高的情况，为后续车辆身份识别及跟踪、无感支付、算法油枪分配等智慧功能打下基础。通过对鸟瞰图进行色彩调整，提高了鸟瞰图拼接效果，使得鸟瞰图融合效率提高。本发明提出一种基于3D视觉识别的加油站车辆多视角定位方法，能够最大化利用现有监控设备，实现车辆在整个加油站视野内的定位，显著降低智能化改造成本，并能够在此基础上进一步整合车辆跟踪、车牌识别、车辆型号统计、热力图分析等智慧功能，同时本发明适用于采用鱼眼监控相机的加油站，从而使得加油站改造成本进一步的降低。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于3D视觉识别的加油站车辆多视角定位方法，其特征在于，该方法包括以下步骤：
S1、预先配置若干监控相机，并将若干监控相机获取的路面图像转换为鸟瞰图；
其中，所述S1中预先配置若干监控相机，并将若干监控相机获取的路面图像转换为鸟瞰图还包括以下步骤：
S11、通过监控相机获取路面图像，并在路面图像上采样若干数量平行线条特征点；
S12、预估转换后对应点的坐标，并调用OpenCV库的getPerspectiveTransform函数，同时输入原图坐标点和预估的转换后对应点，求得P透视变换矩阵；
S13、调用perspectiveTransform函数，并输入原图及P透视变换矩阵，得到转换后的鸟瞰图；
S2、对若干转换后的鸟瞰图进行拼接处理；所述S2中对若干转换后的鸟瞰图进行拼接处理之前，将若干转换后的鸟瞰图中的部分图像进行上下翻转与对齐，并记录下每个相机图像的对应操作；
其中，所述S2中对若干转换后的鸟瞰图进行拼接处理还包括以下步骤：
S21、计算鸟瞰图的色彩校正参数及全局调整参数，完成鸟瞰图的色彩校正；
所述S21中计算鸟瞰图的色彩校正参数及全局调整参数，完成鸟瞰图的色彩校正还包括以下步骤：
设定n幅待拼接的鸟瞰图P1，P2，…，Pi，…，Pn，Pi-1和Pi是相邻的两幅鸟瞰图，c∈{R，G，B}，i＝1，2，…，n，则鸟瞰图P的色彩校正参数ac,i可由以下公式得到：
Figure FDA0004173455460000021
设定一个全局调节参数gc，用来调整整个待拼接序列的色彩值，并计算彩色图像R，G，B三个通道的全局调节参数gc，则使图像i的c通道的调节参数为gcac,i，使调整参数接近1，则有最小二次方程：
Figure FDA0004173455460000022
结合最小二次方程，将色彩校正参数公式求导等于0，得到公式：
Figure FDA0004173455460000023
通过色彩校正参数ac,i及全局调节参数gc，对鸟瞰图Pi进行色彩校正；
式中，M指相邻图像的重叠区域，Sc,i-1(s)指鸟瞰图Pi-1中的像素点S的像素值，Sc,i(s)指鸟瞰图Pi中的像素点S的像素值；γ指参数，对于待拼接的第一幅鸟瞰图P，设定ac,i＝1；
S22、基于SIFT及RANSAC算法进行两个鸟瞰图的图像配准；
S23、基于加权融合算法对两个鸟瞰图进行融合，完成鸟瞰图的拼接；
其中，若监控相机获取的路面图像为鱼眼图像，则对鱼眼图像进行畸变校正处理；
S3、采用FCOS3D算法并结合监控相机内参矩阵，完成对车辆3D检测框的识别；
S4、对车辆3D检测框的底面坐标进行转换，且在转换后进行检测框去重；
所述S4中对车辆3D检测框的底面坐标进行转换还包括以下步骤：
获取检测框列表，并在每个检测框底面构建4个坐标；
利用P透视变换矩阵进行检测框的投影及相应翻转操作。
2.根据权利要求1所述的一种基于3D视觉识别的加油站车辆多视角定位方法，其特征在于，所述S22中基于SIFT及RANSAC算法进行两个鸟瞰图的图像配准时，每个鸟瞰图均包含确定的SIFT特征点，每个特征点包括尺度空间极值、特征点位置、特征点方向及特征点描述符。
3.根据权利要求1所述的一种基于3D视觉识别的加油站车辆多视角定位方法，其特征在于，所述S23中基于加权融合算法对两个鸟瞰图进行融合，完成鸟瞰图的拼接还包括以下步骤：
设定两幅鸟瞰图的重叠区域中，权重函数d1由1渐变至0，权重函数d2由0渐变至1，实现前一幅鸟瞰图过渡至第二幅鸟瞰图；
融合后的图像为：
Figure FDA0004173455460000031
式中，f1，f2分别表示两幅鸟瞰图，d1，d2分别表示权重函数，x，y均为坐标参数。
4.根据权利要求1所述的一种基于3D视觉识别的加油站车辆多视角定位方法，其特征在于，所述若监控相机获取的路面图像为鱼眼图像，则对鱼眼图像进行畸变校正处理还包括以下步骤：
设定鱼眼图像长为W，宽为H，鱼眼图像中任一点的坐标为(x'，y')，鱼眼图像的中心点为(W/2，H/2)，鱼眼图像畸变校正后对应的图像坐标为(u，v)，鱼眼图像中任一点至图像中心点的距离为r，则距离r的计算公式为：
Figure FDA0004173455460000041
建立一个容器，并建立鱼眼图像与校正后的图像的映射关系，并将该映射关系存储在容器内，采取一一映射的方式生成图像；
根据鱼眼图像边缘最大畸变曲线进行椭圆拟合，获得边缘椭圆半径r'，鱼眼图像畸变校正后图像中像素的坐标与原鱼眼图像中点坐标的映射函数为：
Figure FDA0004173455460000042
Figure FDA0004173455460000043
式中，β中为校正偏差系数，z为调整系数。
5.根据权利要求1所述的一种基于3D视觉识别的加油站车辆多视角定位方法，其特征在于，所述S4中在转换后进行检测框去重时，采用NMS非极大抑制进行全图检测框的去重，并留下概率最大的非重叠检测框。
CN202210652153.9A 2022-06-10 2022-06-10 一种基于3d视觉识别的加油站车辆多视角定位方法 Active CN114863375B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210652153.9A CN114863375B (zh) 2022-06-10 2022-06-10 一种基于3d视觉识别的加油站车辆多视角定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210652153.9A CN114863375B (zh) 2022-06-10 2022-06-10 一种基于3d视觉识别的加油站车辆多视角定位方法

Publications (2)

Publication Number Publication Date
CN114863375A CN114863375A (zh) 2022-08-05
CN114863375B true CN114863375B (zh) 2023-06-30

Family

ID=82625553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210652153.9A Active CN114863375B (zh) 2022-06-10 2022-06-10 一种基于3d视觉识别的加油站车辆多视角定位方法

Country Status (1)

Country Link
CN (1) CN114863375B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435161A (zh) * 2020-11-12 2021-03-02 蘑菇车联信息科技有限公司 全景环视图像拼接方法及系统、电子设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201103787A (en) * 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images
CN112001226B (zh) * 2020-07-07 2024-05-28 中科曙光(南京)计算技术有限公司 一种无人驾驶3d目标检测方法、装置及存储介质
CN112017222A (zh) * 2020-09-08 2020-12-01 北京正安维视科技股份有限公司 视频全景拼接与三维融合方法及装置
CN113903011B (zh) * 2021-10-26 2024-06-11 江苏大学 一种适用于室内停车场的语义地图构建及定位方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435161A (zh) * 2020-11-12 2021-03-02 蘑菇车联信息科技有限公司 全景环视图像拼接方法及系统、电子设备和存储介质

Also Published As

Publication number Publication date
CN114863375A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN110874817B (zh) 图像拼接方法和装置、车载图像处理装置、设备、介质
US20180075587A1 (en) Array camera image combination with feature-based ghost removal
CN107578376B (zh) 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法
CN104392416B (zh) 一种运动场景的视频拼接方法
CN111179168B (zh) 一种车载360度全景环视监控系统及方法
CN106856000B (zh) 一种车载全景图像无缝拼接处理方法及系统
CN106960414A (zh) 一种多视角ldr图像生成高分辨率hdr图像的方法
CN112949530B (zh) 用于停车场巡检车的巡检方法与系统、巡检车
CN106056594A (zh) 一种基于双光谱的可见光图像提取系统与方法
CN108171735B (zh) 基于深度学习的十亿像素视频对齐方法及系统
CN105023260A (zh) 一种全景图像融合方法及融合装置
CN111860352A (zh) 一种多镜头车辆轨迹全跟踪系统及方法
CN109166076B (zh) 多相机拼接的亮度调整方法、装置及便携式终端
CN110099268B (zh) 色彩自然匹配与显示区自然融合的盲区透视化显示方法
US20220101021A1 (en) Image colorization for vehicular camera images
CN105005964A (zh) 基于视频序列影像的地理场景全景图快速生成方法
CN114143528A (zh) 多视频流融合方法、电子设备、存储介质
CN111461963A (zh) 一种鱼眼图像拼接方法及装置
CN112257664A (zh) 图像融合方法、装置、计算机设备和存储介质
CN111611994B (zh) 图像提取方法、装置、电子设备和存储介质
CN113052765B (zh) 基于最优栅格密度模型的全景图像拼接方法
CN110428361A (zh) 一种基于人工智能的多路图像采集方法
CN114863375B (zh) 一种基于3d视觉识别的加油站车辆多视角定位方法
CN107330856B (zh) 一种基于投影变换和薄板样条的全景成像方法
CN112150355A (zh) 一种图像处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant