CN111640071A - 基于卷积神经网络修复帧差法获取全景前景目标的方法 - Google Patents

基于卷积神经网络修复帧差法获取全景前景目标的方法 Download PDF

Info

Publication number
CN111640071A
CN111640071A CN202010368359.XA CN202010368359A CN111640071A CN 111640071 A CN111640071 A CN 111640071A CN 202010368359 A CN202010368359 A CN 202010368359A CN 111640071 A CN111640071 A CN 111640071A
Authority
CN
China
Prior art keywords
image
video
neural network
convolutional neural
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010368359.XA
Other languages
English (en)
Inventor
崔璇璇
张伟斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010368359.XA priority Critical patent/CN111640071A/zh
Publication of CN111640071A publication Critical patent/CN111640071A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络修复帧差法获取全景前景目标的方法,该方法包括以下步骤:选定需要进行前景目标修复的路段,获取该路段的多向交通路况视频;针对每个交通路况视频,利用帧差法获取该视频时段的前景目标图;针对每个交通路况视频,对视频帧图像进行归一化处理,并将归一化后的图像划分为训练集和测试集;根据训练集图像和测试集图像,利用卷积神经网络对前景目标图进行修复;基于多向交通路况视频,利用图像拼接算法获取所有前景目标图的全景图。本发明方法不仅可以获取清晰的运动目标前景图,而且通过全景图的获取,解决了在自动驾驶中存在的盲区问题。

Description

基于卷积神经网络修复帧差法获取全景前景目标的方法
技术领域
本发明涉及目标检测领域,特别涉及一种基于卷积神经网络修复帧差法获取全景前景目标的方法。
背景技术
在当今时代,人工智能已经开始引领各行各业的发展,计算机视觉作为人工智能最直接的应用领域,已成为当前的研究热点。与此同时,卷积神经网络的出现极大地推动了计算机视觉领域的发展。计算机视觉与神经网络相结合,其中最主要,也最热门的落地点便是自动驾驶系统的车外环境感知。车外环境感知包括各类不同的任务,而环境感知的重要环节就是提取视频序列中的前景目标。目前提取目标的方法包括:背景减除法是一种常见的目标检测方法,该方法适合处理静态背景下的图像,而且其准确性好。对于复杂非静态背景建立的高斯混合模型,可以解决部分环境因素产生的问题,但容易在提取前景目标时产生“鬼影”。码本聚类算法(codebook,CB)是一种像素级的非参数化背景建模算法,该算法是采用码本表征像素点的背景模型,其缺点是码本训练时间过长,适应场景变换的动态能力差,此外在背景模型初始中如果包含前景目标信息,则会增加误判的概率。光流法是依据像素点的光流矢量变化形成图像的像素运动场,在整个特征区域出现的连续矢量变化,即表明图像中的物体产生相对运动,光流法可以构建三维图像的结构信息,但是由于算法复杂,导致实时效果差,此外应对光线突变也不能很快的处理前景目标。Vibe算法也是一种像素级的前景检测算法,该算法因其计算内存资源占比小、性能稳定适用于运动目标的检测,但是针对背景包含动态信息视频检测的前景目标提取存在“鬼影”。
发明内容
本发明的目的在于克服上述现有技术存在的不足,提供一种基于卷积神经网络修复帧差法获取全景前景目标的方法。
实现本发明目的的技术解决方案为:基于卷积神经网络修复帧差法获取全景前景目标的方法,所述方法包括以下步骤:
步骤1,选定需要进行前景目标修复的路段,获取该路段的多向交通路况视频;
步骤2,针对每个所述交通路况视频,利用帧差法获取该视频时段的前景目标图;
步骤3,针对每个所述交通路况视频,对视频帧图像进行归一化处理,并将归一化后的图像划分为训练集和测试集;
步骤4,根据所述训练集图像和测试集图像,利用卷积神经网络对所述前景目标图进行修复;
步骤5,基于所述多向交通路况视频,利用图像拼接算法获取所有前景目标图的全景图。
进一步地,步骤2中所述利用帧差法获取该视频时段的前景目标图,所用公式为:
Figure BDA0002477286800000021
式中,fk(x,y),fk+1(x,y)分别为第k帧和第k+1帧的帧图像,T为阈值,其值为常数。
进一步地,步骤4中所述卷积神经网络包括三部分:
特征提取:利用Batch-Normalization层进行归一化;
特征细化:利用1*1的小卷积核对获取到的特征进行降维运算;
特征融合:利用concatenate操作对图像特征进行融合,获取多通道图像特征。
进一步地,步骤5所述图像拼接算法具体采用基于SIFT的图像拼接算法。
本发明与现有技术相比,其显著优点为:1)能够快速实时的获取目标的轮廓图;2)通过卷积神经网络的修复,获得的目标轮廓图较为清晰;3)利用SIFT算法获得目标的全景轮廓图,解决了自动驾驶中存在的盲区问题。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为一个实施例中基于卷积神经网络修复帧差法获取全景前景目标的方法流程图。
图2为一个实施例中路网路段信息图。
图3为一个实施例中卷积神经网络结构流程图。
图4为一个实施例中通过帧差法获得的前景目标图。
图5为一个实施例中通过卷积神经网络修复获得的前景目标图。
图6为一个实施例中待拼接的前景目标图。
图7为一个实施例中待拼接的前景目标图。
图8为一个实施例中获得的全景前景目标图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,结合图1,提供了一种基于卷积神经网络修复帧差法获取全景前景目标的方法,该方法包括以下步骤:
步骤1,选定需要进行前景目标修复的路段,获取该路段的多向交通路况视频;
这里,多向交通路况视频表示多个方向的交通路况视频。
步骤2,针对每个交通路况视频,利用帧差法获取该视频时段的前景目标图;
步骤3,针对每个交通路况视频,对视频帧图像进行归一化处理,并将归一化后的图像划分为训练集和测试集;
步骤4,根据训练集图像和测试集图像,利用卷积神经网络对前景目标图进行修复;
步骤5,基于所述多向交通路况视频,利用图像拼接算法获取所有前景目标图的全景图。
进一步地,在其中一个实施例中,步骤2中利用帧差法获取该视频时段的前景目标图,所用公式为:
Figure BDA0002477286800000031
式中,fk(x,y),fk+1(x,y)分别为第k帧和第k+1帧的帧图像,T为阈值,其值为常数。
进一步地,在其中一个实施例中,结合图3,步骤4中卷积神经网络包括三部分:
特征提取:利用Batch-Normalization层进行归一化;
特征细化:利用1*1的小卷积核对获取到的特征进行降维运算;
特征融合:利用concatenate操作对图像特征进行融合,获取多通道图像特征。
进一步地,在其中一个实施例中,步骤5中图像拼接算法具体采用基于SIFT的图像拼接算法。SIFT算法具体过程包括:
(1)构建尺度空间,即利用图像和高斯核函数的卷积,获得不同尺度的图像空间;
(2)获得尺度空间极值点,即利用相邻高斯图像相减得到,其差值的位置和尺度可以作为图像的特征点;
(3)生成特征点向量,即图像尺度空间在坐标(x,y)上梯度的幅度和梯度的方向作为图像的SIFT特征向量;
(4)图像配准,即采用欧式距离法度量图像之间的相似性。
在一个实施例中,对本发明进行更进一步的详细分析说明。在该实施例中,所选路段如图2所示。采集该路口的交通路况视频集,包括2019年9月15日到2019年10月15日共计31天该路段的交通状况。将获得的视频剪辑为每30秒一段的短视频,进而获得在不同日期、不同天气、不同时段、不同路况下的短视频处理帧。在本实施例中,首先利用帧差法获得前景目标图,该方法的计算公式为:
Figure BDA0002477286800000041
式中,fk(x,y),fk+1(x,y)分别为第k帧和第k+1帧的帧图像,T为阈值,其值为常数。
接着利用归一化方法对获得的前景目标图以及原始视频帧图像进行处理,所用公式为:
x'=x/255
其中,x为每一帧视频图像像素的大小,x'为归一化后的视频帧图像像素的大小。
在本实施例中,随机选取一个短视频作为需要卷积神经网络修复的输入视频集。将该输入视频集随机划分为训练集和测试集,其中训练集占输入视频帧图像集的百分之八十,测试集占输入视频帧图像集的百分之二十。
在本实施例中,利用卷积神经网络算法对帧差法结果进行修复。卷积神经网络是深度学习的代表算法之一,在二十一世纪得到快速的发展。卷积神经网络主要包括卷积层、池化层、激活层、全连接层。其中,卷积层主要用于特征提取,池化层主要用于数据降维,激活层主要用于数据非线性化,全连接回归层主要用于分类识别。
卷积层的计算公式为:
XL=f(∑xL-1*KL+BL)
式中,XL代表第L层卷积的输出结果,xL-1代表第L层卷积输入的结果,f代表激活函数,KL代表网络的权值,BL代表网络的阈值。
利用帧差法和卷积神经网络修复的效果图分别如图4、5所示。
在本实施例中,为了克服在自动驾驶中的“盲区“问题,引入了SIFT算法对图像进行拼接,待拼接的图像如图6、7所示,最终的拼接效果如图8所示。SIFT算法实现的过程如下:
首先,检测多尺度空间极值点。构建高斯金字塔,遍历所有像素点,并与相同尺度下的8个相邻点、上下相邻尺度上的2*9个相邻点,共26个相邻点进行比较。如果这些点是极大值或极小值,会被临时识别为特征点。
接着,去除边缘响应点。高斯金字塔差分图像中会产生很强的边缘响应,需要去除不稳定的边缘响应点,这些边缘响应点在水平方向上有较大的主曲率,但在垂直方向上主曲率较小。主曲率可以用一个2*2的Hessian矩阵求解,该矩阵为:
Figure BDA0002477286800000051
求解矩阵的迹和行列式分别为:
Tr(H)=Dxx+Dyy=α+β
Det(H)=DxxDyy-(Dxy)2=αβ
其中,α表示最大特征值,β表示最小特征值。
设α=γβ,若某一特征点满足下式,则删除该特征点:
Figure BDA0002477286800000052
然后,生成特征描述向量。为了使特征向量具有旋转不变性,利用特征点相邻像素的梯度方向来分配特征点的方向,并为每个特征点指定方向参数。
Figure BDA0002477286800000053
这两个公式分别表示在(x,y)处梯度的幅度和方向。对特征点进行梯度计算后,利用直方图计算邻域内像素点的梯度幅度和方向。梯度方向直方图是将0°到360°的范围分为36列,每10°一列。最后,以直方图峰值方向为特征点的主要方向,其他达到峰值80%的方向为辅助方向。计算特征点周围4*4=16个窗口内每个像素的梯度,利用高斯下降函数去除中心点以外的权重,最终形成128维特征描述向量。
最后,进行图像配准。对于SIFT生成的特征描述向量,采用欧氏距离法进行相似性度量。在两个特征点中,如果最近的距离比上次近的距离小于比例阈值,则接受匹配点对。若降低尺度阈值,则会减少SIFT匹配点,但获得的结果会更稳定。
利用SIFT算法获得的全景目标图如图8所示。
由上可知,本发明能够获取清晰的运动目标前景图,而且能够获取目标前景图的全景图,解决了在自动驾驶中存在的盲区问题。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.基于卷积神经网络修复帧差法获取全景前景目标的方法,其特征在于,所述方法包括以下步骤:
步骤1,选定需要进行前景目标修复的路段,获取该路段的多向交通路况视频;
步骤2,针对每个所述交通路况视频,利用帧差法获取该视频时段的前景目标图;
步骤3,针对每个所述交通路况视频,对视频帧图像进行归一化处理,并将归一化后的图像划分为训练集和测试集;
步骤4,根据所述训练集图像和测试集图像,利用卷积神经网络对所述前景目标图进行修复;
步骤5,基于所述多向交通路况视频,利用图像拼接算法获取所有前景目标图的全景图。
2.根据权利要求1所述的基于卷积神经网络修复帧差法获取全景前景目标的方法,其特征在于,步骤2中所述利用帧差法获取该视频时段的前景目标图,所用公式为:
Figure FDA0002477286790000011
式中,fk(x,y),fk+1(x,y)分别为第k帧和第k+1帧的帧图像,T为阈值,其值为常数。
3.根据权利要求1所述的基于卷积神经网络修复帧差法获取全景前景目标的方法,其特征在于,步骤3中归一化处理公式为:
x'=x/255
其中,x为每一帧视频图像像素的大小,x'为归一化后的视频帧图像像素的大小。
4.根据权利要求1所述的基于卷积神经网络修复帧差法获取全景前景目标的方法,其特征在于,步骤4中所述卷积神经网络包括三部分:
特征提取:利用Batch-Normalization层进行归一化;
特征细化:利用1*1的小卷积核对获取到的特征进行降维运算;
特征融合:利用concatenate操作对图像特征进行融合,获取多通道图像特征。
5.根据权利要求1所述的基于卷积神经网络修复帧差法获取全景前景目标的方法,其特征在于,步骤5所述图像拼接算法具体采用基于SIFT的图像拼接算法。
CN202010368359.XA 2020-04-30 2020-04-30 基于卷积神经网络修复帧差法获取全景前景目标的方法 Pending CN111640071A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010368359.XA CN111640071A (zh) 2020-04-30 2020-04-30 基于卷积神经网络修复帧差法获取全景前景目标的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010368359.XA CN111640071A (zh) 2020-04-30 2020-04-30 基于卷积神经网络修复帧差法获取全景前景目标的方法

Publications (1)

Publication Number Publication Date
CN111640071A true CN111640071A (zh) 2020-09-08

Family

ID=72330089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010368359.XA Pending CN111640071A (zh) 2020-04-30 2020-04-30 基于卷积神经网络修复帧差法获取全景前景目标的方法

Country Status (1)

Country Link
CN (1) CN111640071A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837237A (zh) * 2021-01-28 2021-05-25 商汤集团有限公司 视频修复方法及装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304798A (zh) * 2018-01-30 2018-07-20 北京同方软件股份有限公司 基于深度学习及运动一致性的街面秩序事件视频检测方法
CN110059733A (zh) * 2019-04-01 2019-07-26 苏州科达科技股份有限公司 卷积神经网络的优化及快速目标检测方法、装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304798A (zh) * 2018-01-30 2018-07-20 北京同方软件股份有限公司 基于深度学习及运动一致性的街面秩序事件视频检测方法
CN110059733A (zh) * 2019-04-01 2019-07-26 苏州科达科技股份有限公司 卷积神经网络的优化及快速目标检测方法、装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
明安龙等: "多摄像机之间基于区域SIFT描述子的目标匹配", 《计算机学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837237A (zh) * 2021-01-28 2021-05-25 商汤集团有限公司 视频修复方法及装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
US11062123B2 (en) Method, terminal, and storage medium for tracking facial critical area
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN107316031B (zh) 用于行人重识别的图像特征提取方法
CN111104867B (zh) 基于部件分割的识别模型训练、车辆重识别方法及装置
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
CN111178245A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN103093198B (zh) 一种人群密度监测方法及装置
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN105989334B (zh) 基于单目视觉的道路检测方法
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN115240130A (zh) 一种行人多目标跟踪方法、装置和计算机可读存储介质
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN113989604B (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN114049572A (zh) 识别小目标的检测方法
CN116188999A (zh) 一种基于可见光和红外图像数据融合的小目标检测方法
CN111310720A (zh) 基于图度量学习的行人重识别方法及系统
CN110675442A (zh) 一种结合目标识别技术的局部立体匹配方法及系统
CN112347967B (zh) 一种复杂场景下融合运动信息的行人检测方法
CN111640071A (zh) 基于卷积神经网络修复帧差法获取全景前景目标的方法
CN115861352A (zh) 单目视觉、imu和激光雷达的数据融合和边缘提取方法
CN106909936B (zh) 一种基于双车辆可变形部件模型的车辆检测方法
CN111881732B (zh) 一种基于svm的人脸质量评价方法
CN117949942B (zh) 基于雷达数据和视频数据融合的目标跟踪方法及系统
CN114782459B (zh) 一种基于语义分割的拼接图像分割方法、装置及设备
CN116612390B (zh) 一种建筑工程用的信息管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200908