CN113191952A - 一种360度全景环视设备拼接图像评价方法 - Google Patents

一种360度全景环视设备拼接图像评价方法 Download PDF

Info

Publication number
CN113191952A
CN113191952A CN202110613857.0A CN202110613857A CN113191952A CN 113191952 A CN113191952 A CN 113191952A CN 202110613857 A CN202110613857 A CN 202110613857A CN 113191952 A CN113191952 A CN 113191952A
Authority
CN
China
Prior art keywords
image
splicing
calculating
degree panoramic
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110613857.0A
Other languages
English (en)
Inventor
漆奇
韩修刚
王琥城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Yumicroelectronics Technology Research Institute Co ltd
Original Assignee
Chongqing Yumicroelectronics Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Yumicroelectronics Technology Research Institute Co ltd filed Critical Chongqing Yumicroelectronics Technology Research Institute Co ltd
Priority to CN202110613857.0A priority Critical patent/CN113191952A/zh
Publication of CN113191952A publication Critical patent/CN113191952A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种360度全景环视设备拼接图像评价计算方法，包括以下步骤：S1:生成训练数据集和获取测试数据集；S2:构建并训练YOLOV3网络模型；S3:预检测360度全景环视设备的拼接图像；S4:基于训练的YOLOV3网络模型测试预检测后的图像；S5:对YOLOV3网络模型检测后的结果进行评分；该方法基于深度学习，生成训练数据集合和测试数据集，构建卷积神经网络；根据卷积神经网络计算全景拼接图像的拼接重影参数、拼接错位参数、损失图像参数以及拼接缝隙参数；生成测试报告，并存储数据；该方法代替人工检测360度全景环视设备拼接图像质量，判定待检360度全景环视设备成像系统质量好坏，为360度全景环视设备成像质量判断提供科学手段。

Description

一种360度全景环视设备拼接图像评价方法
技术领域
本发明涉及拼接图像质量评价领域，尤其是一种360度全景环视设备拼接
图像评价方法。
技术背景
随着经济的发展，人们生活水平的提高，汽车的产量和销量逐年递增，与此同时，行车安全对人们生命财产安全的影响越来越大。由于驾驶员视觉盲区的存在，极易造成判断和操作失误，从而导致吞人卷车、汽车追尾等交通事故频发，驾驶员视野盲区成为获取汽车周围环境信息的最大障碍。汽车盲区是指驾驶员坐在驾驶座位上由于车体遮挡而看不到的那部分区域。为了解决这些问题，360度全景环视设备迅速萌芽并发展起来，在无人驾驶和汽车电子安全驾驶领域具有广阔的应用前景。360度全景环视设备是一种基于机器视觉的车辆辅助驾驶系统，是利用安装在车辆四周的广角摄像头，通过图像变换重构车辆以及周围场景的鸟瞰视角图像，驾驶员可以安全泊车、避开障碍物和消除视觉盲区，达到安全行车的目的。
目前，360度全景环视设备图像融合质量评估方法主要是采用主观评价，主观评价法一般通过非线性问卷实现，其依赖于主观验证的应用范围和方法，主观评价方法存在如下三方面的缺点：（1）受环境的影响较大；（2）无法做出精确定量分析；（3）评估过程繁琐；更重要的是，主观评价方法需要消耗大量的物力和人力，不利于实际应用。
鉴于以上技术问题，以下提出本发明及其实施例。
发明内容
在下文中将给出关于本发明公开内容的简要概述，以便提供关于本发明公开内容某些方面的基本理解。应当理解，此概述并不是关于本发明公开内容的穷举性概述。它并不是意图确定本发明公开内容的关键或重要部分，也不是意图限定本发明公开内容的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
针对以上问题，本发明提供了一种360度全景环视设备拼接图像评价方法，该方法代替人工检测360度全景环视设备的拼接图像质量，判定待检360度全景环视设备成像系统质量好坏，本发明为360度全景环视设备成像质量判断提供了科学手段。
一种360度全景环视设备拼接图像评价方法，主要包括以下步骤：S1：生成训练数据集和获取测试数据集；S2：构建并训练YOLOV3网络模型；S3：预检测360度全景环视设备的拼接图像；S4：基于训练的YOLOV3网络模型测试预检测后的图像； S5：对YOLOV3网络模型检测后的结果进行评分。
进一步地，其中，所述步骤S1包括S101、S102、S103、S104；
S101：获取360度全景环视设备的拼接图像；
S102：生成图像数据集；通过获取的360度全景环视设备拼接图像，对图像
进行标注，找出全景拼接图像中拼接重影、拼接损失、拼接错位以及拼接缝隙的位置，并标注每个位置的类别；
S103：将图像数据集按a：b划分为训练集和验证集，其中a的取值范围为7～9，b的取值范围为1～3；
S104：获取测试数据集。
进一步地，其中，所述步骤S2包括S201、S202；
S201：构建YOLOV3网络模型；以步骤S1生成的训练数据集中的图像为输入，生成一个YOLOV3网络模型，该网络模型主要由输入层、主干特征提取层以及特征融合输出层组成；
输入层输入416×416×3大小的图像；
主干特征提取层由残差卷积模块和在残差卷积模块间实现下采样的卷积模块组成，用来提取图像特征；
特征融合输出层将上一层保存的3个尺度的特征层构建特征金字塔，进行分类和回归预测；以416×416图像作为输入的特征融合层的3个尺度分别为13×13、26×26和52×52；在每个尺度内，通过卷积核的方式进行局部特征交互，完成金字塔特征融合；
S202：利用数据集训练YOLOV3网络。
进一步地，其中，所述步骤S3用于预先评估获取的拼接图像质量，判断拼接图像的质量； 步骤S3包括S301、S302、S303；
S301：图像曝光检测；
选取了小波分解的低频系数平均值作为图像曝光的评价参数，可由下式计算：
Figure DEST_PATH_IMAGE001
其中，
Figure DEST_PATH_IMAGE003
为图像亮度指标， w l [i][j]为图像第i行、第j列像素点的低频系数，m，n为图像的长和宽；
S302：图像清晰度检测；
选取了图像的拉普拉斯方差作为清晰度的评价参数，通过拉普拉斯算子对图像进行卷积并计算方差，通过下式计算图像的清晰度：
Figure 786618DEST_PATH_IMAGE004
其中，S为图像矩阵方差，Li为拉普拉斯卷积后图像第i个像素点的值，
Figure DEST_PATH_IMAGE005
为拉普拉斯卷积后图像像素平均值，n为图像像素点个数；拉普拉斯卷积可表示为：
Figure 246680DEST_PATH_IMAGE006
Li为拉普拉斯变换后图像第i个像素点的值，
Figure DEST_PATH_IMAGE007
表示图像第i行、第j列像素值；
S303：图像角度检测；
选取棋盘格与图像边缘的角度以及棋盘格与车辆模型的角度作为评价参数。
进一步地，其中，所述步骤S4是将步骤S3预检测的结果作为步骤S2训练好的YOLOV3网络的输入，经过该YOLOV3网络后输出对应每个块的位置和标签。
进一步地，其中，所述步骤S5是将S4的输出作为S5的评价输入，步骤S5包括S501计算拼接损失占比、S502计算拼接重影占比、S503计算拼接错位长度、S504计算拼接缝隙宽度；输出拼接图像的评价结果。
本发明方法基于深度学习，生成训练数据集合和测试数据集，构建卷积神经网络；根据卷积神经网络计算全景拼接图像的拼接损失占比、拼接重影占比、拼接错位长度以及拼接缝隙宽度；生成测试报告，并存储数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例中的一种360度全景环视设备全景拼接图像评价方法流
程图；
图2示出了本发明实施例的训练数据集和获取测试数据集的计算流程图；
图3示出了本发明实施例的YOLOV3网络模型计算流程图；
图4示出了本发明实施例的预检测360度全景环视设备的拼接图像流程图；
图5示出了棋盘格与图像边缘的角度示意图；
图6示出了棋盘格与车辆模型的角度示意图；
图7示出了本发明实施例对YOLOV3网络模型检测计算的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有开展创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种360度全景环视设备拼接图像评价计算方法，主要包括以下步骤：S1：生成训练数据集和获取测试数据集；S2：构建并训练YOLOV3网络模型；S3：预检测360度全景环视设备的拼接图像；S4：基于训练的YOLOV3网络模型测试预检测后的图像； S5：对YOLOV3网络模型检测后的结果进行评分。
进一步地，其中，所述步骤S1包括S101、S102、S103、S104；
S101：获取360度全景环视设备的拼接图像；
S102：生成图像数据集；通过获取的360度全景环视设备拼接图像，对图像
进行标注，找出全景拼接图像中拼接重影，拼接损失，拼接错位以及拼接缝隙的位置并标注每个位置的类别；
S103： 将图像数据集按a：b划分为训练集和验证集，其中a的值为7～9，b的值为1～3；在本实施例中，将图像数据集按9；1划分为训练集和验证集；
S104：获取测试数据集。
进一步地，其中，所述步骤S2包括S201、S202；
S201：构建YOLOV3网络模型；以步骤S1生成的训练数据集中的图像为输入，生成一个YOLOV3网络模型，该网络模型主要由输入层、主干特征提取层以及特征融合输出层组成。
输入层输入416×416×3大小的图像；
主干特征提取层由残差卷积模块和在残差卷积模块间实现下采样的卷积模块组成，用来提取图像特征。首先，对输入层输入的图像进行32通道的卷积，再通过BN归一化和LeakyReLU激活后得到特征层， 卷积计算公式如下：
Figure 135002DEST_PATH_IMAGE008
其中，
Figure DEST_PATH_IMAGE009
为第i个像素值，
Figure 142141DEST_PATH_IMAGE010
为图像块的像素点总数，
Figure DEST_PATH_IMAGE011
为权重矩阵第i个下标的值。
其中，BN归一化函数如下：
Figure 183040DEST_PATH_IMAGE012
其中，
Figure DEST_PATH_IMAGE013
为归一化结果，
Figure 63272DEST_PATH_IMAGE014
为缩放因子，
Figure DEST_PATH_IMAGE015
为均值，
Figure 625840DEST_PATH_IMAGE016
为方差，
Figure DEST_PATH_IMAGE017
为偏置。
LeakyReLU激活函数如下：
Figure 734873DEST_PATH_IMAGE018
其中，
Figure 145125DEST_PATH_IMAGE009
为BN归一化后的输出，
Figure DEST_PATH_IMAGE019
为非零系数。
其次，对输入的特征层进行卷积核大小为3，步长为2的下采样，归一化和激活函数后，进行残差网络的堆叠，残差网络由两组卷积标准化和激活函数组成，在前向传播阶段，将输入的特征层分为两部分，一部分为主干卷积边，对输入的特征层进行两组卷积标准化和激活操作，再与另一部分残差边相加得到残差堆叠的结果；将结果又进行卷积核大小为3，步长为2的下采样，归一化和激活函数后，进行2次残差网络的堆叠，得到第2次下采样和残差堆叠的结果，从第一次开始分别对上一步结果进行下采样后进行1次，2次，8次，8次，4次残差堆叠，得到五次下采样和残差堆叠的结果，对后3层的特征层进行保存，进行下一层的处理。
特征融合输出层将上一层保存的3个尺度的特征层构建特征金字塔，进行分类和回归预测。以416×416图像作为输入的特征融合层的3个尺度分别为13×13、26×26和52×52。在每个尺度内，通过卷积核的方式进行局部特征交互，完成金字塔特征融合；首先，对13×13特征层的图像进行1×1的卷积调整通道数，3×3的卷积进行进一步的特征提取，再进行1×1的卷积调整通道数，3×3的卷积进行特征提取，以此来减少网络的参数量进行特征的提取，接着又通过一个1×1的卷积对通道数进行调整，对5次卷积后的结果又进行3×3和1×1的卷积进行分类和回归预测； 然后，对前5次卷积后的结果进行1×1的卷积调整通道数后进行上采样操作，与上一层26×26的特征层进行堆叠，堆叠结果进行与13×13特征层相同的5次卷积提取特征和3×3和1×1的卷积进行分类和回归预测； 最后，52×52特征层也进行相同操作，最终获得3个尺度的回归预测结果。
特征融合输出层对获得的3个尺度特征图进行分类和位置回归，通过获取的3个预测结果进行先验框的调整，获得最终的预测框。其中损失函数如下：
Figure 445526DEST_PATH_IMAGE020
其中，
Figure DEST_PATH_IMAGE021
为目标边框定位偏移量损失、
Figure 308439DEST_PATH_IMAGE022
为目标边框置信度损失
Figure DEST_PATH_IMAGE023
为目标边框分类损失，
Figure 158846DEST_PATH_IMAGE024
，
Figure DEST_PATH_IMAGE025
，
Figure 407293DEST_PATH_IMAGE026
表示平衡系数；
Figure 629327DEST_PATH_IMAGE022
采用二值交叉熵损失，公式如下：
Figure DEST_PATH_IMAGE027
Figure 730270DEST_PATH_IMAGE028
式中，
Figure DEST_PATH_IMAGE029
，表示第 i 个预测框是否存在待检测目标，其中 0 表示不存在，1表示存在，
Figure 695952DEST_PATH_IMAGE030
表示第 i 个预测框存在已知目标的 Sigmoid 概率；
Figure 64485DEST_PATH_IMAGE023
采用二值交叉熵损失，公式如下：
Figure DEST_PATH_IMAGE031
Figure 191841DEST_PATH_IMAGE032
式中，
Figure DEST_PATH_IMAGE033
表示第 i 个目标预测框是否存在第 j 类待检测目标，0 表示不存在，1 表示存在，
Figure 791798DEST_PATH_IMAGE034
表示第 i 个目标预测框存在第 j 类目标的 Sigmoid概率；
Figure 295592DEST_PATH_IMAGE021
采用真实值与预测偏差值差的平方和表示，公式如下：
Figure DEST_PATH_IMAGE035
其中，
Figure 784211DEST_PATH_IMAGE036
，
Figure DEST_PATH_IMAGE037
，
Figure 82468DEST_PATH_IMAGE038
，
Figure DEST_PATH_IMAGE039
，
Figure 158003DEST_PATH_IMAGE040
Figure DEST_PATH_IMAGE041
，
Figure 652438DEST_PATH_IMAGE042
，
Figure DEST_PATH_IMAGE043
其中
Figure 480717DEST_PATH_IMAGE044
为预测框相对预设框坐标偏移量，
Figure DEST_PATH_IMAGE045
为预测矩形框坐标偏移量，
Figure 966187DEST_PATH_IMAGE046
为预测框参数，
Figure DEST_PATH_IMAGE047
预设框参数，
Figure 512706DEST_PATH_IMAGE048
表示映射在预测特征图上真实目标框参数；
S202：利用数据集训练YOLOV3网络。
进一步地，其中，所述步骤S3用于预先评估获取的拼接图像质量，判断拼接图像的质量； 步骤S3包括S301、S302、S303；
S301：图像曝光检测；
选取了小波分解的低频系数平均值作为图像曝光的评价参数，可由下式计算：
Figure 873149DEST_PATH_IMAGE001
其中，
Figure 883830DEST_PATH_IMAGE003
为图像亮度指标， w l [i][j]为图像第i行、第j列像素点的低频系数，m，n为图像的长和宽；
S302：图像清晰度检测；
选取了图像的拉普拉斯方差作为清晰度的评价参数，通过拉普拉斯算子对图像进行卷积并计算方差，通过下式计算图像的清晰度：
Figure 789469DEST_PATH_IMAGE004
其中，S为图像矩阵方差，Li为拉普拉斯卷积后图像第i个像素点的值，
Figure 574017DEST_PATH_IMAGE005
为拉普拉斯卷积后图像像素平均值，n为图像像素点个数；拉普拉斯卷积可表示为：
Figure 285621DEST_PATH_IMAGE006
Li为拉普拉斯变换后图像第i个像素点的值，
Figure 88492DEST_PATH_IMAGE007
表示图像第i行、第j列像素值；
S303：图像角度检测；
选取棋盘格与图像边缘的角度以及棋盘格与车辆模型的角度作为评价参数。
进一步地，其中，所述步骤S4是将步骤S3预检测的结果作为步骤S2训练好的YOLOV3网络的输入，经过该YOLOV3网络后输出对应每个块的位置和标签。
进一步地，其中，所述步骤S5是将S4的输出作为S5的评价输入，步骤S5包括S501计算拼接损失占比、S502计算拼接重影占比、S503计算拼接错位长度、S504计算拼接缝隙宽度；输出拼接图像的评价结果。
S501：计算拼接损失占比，公式如下：
Figure DEST_PATH_IMAGE049
其中，
Figure 414300DEST_PATH_IMAGE003
为单个棋盘格的损失占比，s l 为单个棋盘格损失的面积，
Figure 997728DEST_PATH_IMAGE050
为棋盘格本身的面积；
S502：计算拼接重影占比，公式如下：
Figure DEST_PATH_IMAGE051
其中，
Figure 873542DEST_PATH_IMAGE052
为单个棋盘格的损失占比，
Figure DEST_PATH_IMAGE053
为单个棋盘格重影是面积，
Figure 796499DEST_PATH_IMAGE050
为棋盘格本身的面积；
S503：计算拼接错位长度，公式如下：
Figure 106258DEST_PATH_IMAGE054
其中，
Figure DEST_PATH_IMAGE055
为两个棋盘格的错位距离（单位cm），
Figure 301616DEST_PATH_IMAGE056
为两个棋盘格横向错位距离，
Figure DEST_PATH_IMAGE057
为两个棋盘格纵向错位距离；
S504：计算拼接缝隙宽度，根据图像像素距离与实际距离进行拼接缝隙宽度的计算。
综上所述，利用360度全景环视设备拼接图像评价计算方法，对360度全景环视设备的拼接图像进行评价，代替繁琐的，大量的人为统计评分，并且可以准确地判断拼接图像中配准效果的好坏，克服单因素评价指标所带来的局限性，有利于全自动自适应图像拼接系统的实现，具有非常重要的应用价值。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质，对以上实施例所做出任何简单修改和同等变化，均落入本发明的保护范围之内。

Claims (6)

1.一种360度全景环视设备拼接图像评价计算方法，其特征在于，主要包括以下步骤：S1：生成训练数据集和获取测试数据集；S2：构建并训练YOLOV3网络模型；S3：预检测360度全景环视设备的拼接图像；S4：基于训练的YOLOV3网络模型测试预检测后的图像； S5：对YOLOV3网络模型检测后的结果进行评分。
2.根据权利要求1所述的一种360度全景环视设备拼接图像评价计算方法，其特征在于，所述步骤S1包括S101、S102、S103、S104；
S101：获取360度全景环视设备的拼接图像；
S102：生成图像数据集；通过获取的360度全景环视设备拼接图像，对图像进行标注，找出全景拼接图像中拼接重影，拼接损失，拼接错位以及拼接缝隙的位置并标注每个位置的类别；
S103：将图像数据集按a：b划分为训练集和验证集，其中a的取值范围为7～9，b的取值范围为1～3；
S104：获取测试数据集。
3.根据权利要求1所述的一种360度全景环视设备拼接图像评价计算方法，其特征在于，所述步骤S2包括S201、S202；
S201：构建YOLOV3网络模型；以步骤S1生成的训练数据集中的图像为输入，生成一个YOLOV3网络模型，该网络模型主要由输入层、主干特征提取层以及特征融合输出层组成；
输入层输入416×416×3大小的图像；
主干特征提取层由残差卷积模块和在残差卷积模块间实现下采样的卷积模块组成，用来提取图像特征；
特征融合输出层将上一层保存的3个尺度的特征层构建特征金字塔，进行分类和回归预测；以416×416图像作为输入的特征融合层的3个尺度分别为13×13、26×26和52×52；在每个尺度内，通过卷积核的方式进行局部特征交互，完成金字塔特征融合；
S202：利用数据集训练YOLOV3网络。
4. 根据权利要求1所述的一种360度全景环视设备拼接图像评价计算方法，其特征在于，所述步骤S3用于预先评估获取的拼接图像质量，判断拼接图像的质量； 步骤S3包括S301、S302、S303；
S301：图像曝光检测；
选取了小波分解的低频系数平均值作为图像曝光的评价参数，可由下式计算：
Figure 214367DEST_PATH_IMAGE001
其中，
Figure 197366DEST_PATH_IMAGE002
为图像亮度指标， w l [i][j]为图像第i行、第j列像素点的低频系数，m，n为图像的长和宽；
S302：图像清晰度检测；
选取了图像的拉普拉斯方差作为清晰度的评价参数，通过拉普拉斯算子对图像进行卷积并计算方差，通过下式计算图像的清晰度：
Figure 592575DEST_PATH_IMAGE003
其中，S为图像矩阵方差，Li为拉普拉斯卷积后图像第i个像素点的值，
Figure 829784DEST_PATH_IMAGE004
为拉普拉斯卷积后图像像素平均值，n为图像像素点个数；拉普拉斯卷积可表示为：
Figure 917826DEST_PATH_IMAGE005
Li为拉普拉斯变换后图像第i个像素点的值，
Figure 122542DEST_PATH_IMAGE006
表示图像第i行、第j列像素值；
S303：图像角度检测；
选取棋盘格与图像边缘的角度以及棋盘格与车辆模型的角度作为评价参数。
5.根据权利要求1所述的一种360度全景环视设备拼接图像评价计算方法，其特征在于，所述步骤S4是将步骤S3预检测的结果作为步骤S2训练好的YOLOV3网络的输入，经过该YOLOV3网络后输出对应每个块的位置和标签。
6.根据权利要求1所述的一种360度全景环视设备拼接图像评价计算方法，其特征在于，所述步骤S5包括S501计算拼接损失占比、S502计算拼接重影占比、S503计算拼接错位长度以及S504计算拼接缝隙宽度；输出拼接图像的评价结果。
CN202110613857.0A 2021-06-02 2021-06-02 一种360度全景环视设备拼接图像评价方法 Pending CN113191952A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110613857.0A CN113191952A (zh) 2021-06-02 2021-06-02 一种360度全景环视设备拼接图像评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110613857.0A CN113191952A (zh) 2021-06-02 2021-06-02 一种360度全景环视设备拼接图像评价方法

Publications (1)

Publication Number Publication Date
CN113191952A true CN113191952A (zh) 2021-07-30

Family

ID=76986212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110613857.0A Pending CN113191952A (zh) 2021-06-02 2021-06-02 一种360度全景环视设备拼接图像评价方法

Country Status (1)

Country Link
CN (1) CN113191952A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673478A (zh) * 2021-09-02 2021-11-19 福州视驰科技有限公司 基于深度全景拼接的港口大型设备检测与识别方法
CN114022450A (zh) * 2021-11-05 2022-02-08 中汽院(重庆)汽车检测有限公司 一种用于车辆全景环视测试的拼接效果判断方法
CN116229426A (zh) * 2023-05-09 2023-06-06 华东交通大学 基于全景环视图像的无人驾驶泊车停车位检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709511A (zh) * 2016-12-08 2017-05-24 华中师范大学 基于深度学习的城市轨道交通全景监控视频故障检测方法
CN106920215A (zh) * 2017-03-06 2017-07-04 长沙全度影像科技有限公司 一种全景图像配准效果的检测方法
CN106920224A (zh) * 2017-03-06 2017-07-04 长沙全度影像科技有限公司 一种评估拼接图像清晰度的方法
CN111105691A (zh) * 2020-01-07 2020-05-05 重庆渝微电子技术研究院有限公司 一种辅助驾驶设备品质检测系统
CN111811836A (zh) * 2020-07-20 2020-10-23 重庆渝微电子技术研究院有限公司 一种高级智能辅助驾驶系统的检测系统及方法
CN112348775A (zh) * 2020-10-13 2021-02-09 上海城建城市运营(集团)有限公司 基于车载环视的路面坑塘检测系统及方法
CN112464911A (zh) * 2020-12-21 2021-03-09 青岛科技大学 基于改进YOLOv3-tiny的交通标志检测与识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709511A (zh) * 2016-12-08 2017-05-24 华中师范大学 基于深度学习的城市轨道交通全景监控视频故障检测方法
CN106920215A (zh) * 2017-03-06 2017-07-04 长沙全度影像科技有限公司 一种全景图像配准效果的检测方法
CN106920224A (zh) * 2017-03-06 2017-07-04 长沙全度影像科技有限公司 一种评估拼接图像清晰度的方法
CN111105691A (zh) * 2020-01-07 2020-05-05 重庆渝微电子技术研究院有限公司 一种辅助驾驶设备品质检测系统
CN111811836A (zh) * 2020-07-20 2020-10-23 重庆渝微电子技术研究院有限公司 一种高级智能辅助驾驶系统的检测系统及方法
CN112348775A (zh) * 2020-10-13 2021-02-09 上海城建城市运营(集团)有限公司 基于车载环视的路面坑塘检测系统及方法
CN112464911A (zh) * 2020-12-21 2021-03-09 青岛科技大学 基于改进YOLOv3-tiny的交通标志检测与识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KUAN-HSUN WANG等: "OBJECT DETECTION IN CURVED SPACE FOR 360-DEGREE CAMERA", 《ICASSP 2019》 *
杨科等: "基于卷积神经网络的环视车位检测研究", 《时代汽车》 *
王勇: "基于车载360°环视影像和深度神经网络的路面坑塘与裂缝检测", 《电气自动化》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673478A (zh) * 2021-09-02 2021-11-19 福州视驰科技有限公司 基于深度全景拼接的港口大型设备检测与识别方法
CN113673478B (zh) * 2021-09-02 2023-08-11 福州视驰科技有限公司 基于深度学习全景拼接的港口大型设备检测与识别方法
CN114022450A (zh) * 2021-11-05 2022-02-08 中汽院(重庆)汽车检测有限公司 一种用于车辆全景环视测试的拼接效果判断方法
CN116229426A (zh) * 2023-05-09 2023-06-06 华东交通大学 基于全景环视图像的无人驾驶泊车停车位检测方法

Similar Documents

Publication Publication Date Title
CN113111974B (zh) 基于深度典型相关分析的视觉-激光雷达融合方法及系统
CN108803617B (zh) 轨迹预测方法及装置
CN113191952A (zh) 一种360度全景环视设备拼接图像评价方法
CN109726627B (zh) 一种神经网络模型训练及通用接地线的检测方法
CN112308092A (zh) 一种基于多尺度注意力机制的轻量型车牌检测与识别方法
CN110009648B (zh) 基于深浅特征融合卷积神经网络的路侧图像车辆分割方法
CA3028599A1 (en) Systems and methods for correcting a high-definition map based on detection of obstructing objects
CN109871776B (zh) 全天候车道线偏离的预警方法
CN113936139A (zh) 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统
CN112101309A (zh) 基于深度学习分割网络的地物目标识别方法和装置
CN111860072A (zh) 泊车控制方法、装置、计算机设备及计算机可读存储介质
CN109961013A (zh) 车道线的识别方法、装置、设备及计算机可读存储介质
CN116052026B (zh) 一种无人机航拍图像目标检测方法、系统及存储介质
CN114091598A (zh) 一种基于语义级信息融合的多车协同环境感知方法
CN115880658A (zh) 一种夜间场景下汽车车道偏离预警方法及系统
CN116824542A (zh) 一种基于深度学习的轻量级雾天车辆检测方法
CN115953747A (zh) 车端目标分类检测方法及车端雷视融合设备
CN116311091A (zh) 一种基于金字塔密度感知注意力网络的车辆计数方法
CN113673444B (zh) 一种基于角点池化的路口多视角目标检测方法及系统
CN113205507B (zh) 一种视觉问答方法、系统及服务器
CN110909742A (zh) 车牌检测方法、系统、平台和存储介质
CN117115690A (zh) 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统
CN113971764B (zh) 一种基于改进YOLOv3的遥感图像小目标检测方法
CN115578624A (zh) 农业病虫害模型构建方法、检测方法及装置
CN115565155A (zh) 神经网络模型的训练方法、车辆视图的生成方法和车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20231017