CN109635824A - 一种图像匹配深度学习方法及系统 - Google Patents

一种图像匹配深度学习方法及系统 Download PDF

Info

Publication number
CN109635824A
CN109635824A CN201811531718.8A CN201811531718A CN109635824A CN 109635824 A CN109635824 A CN 109635824A CN 201811531718 A CN201811531718 A CN 201811531718A CN 109635824 A CN109635824 A CN 109635824A
Authority
CN
China
Prior art keywords
feature
shot
images match
fisrt feature
medium long
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811531718.8A
Other languages
English (en)
Inventor
侯进
黄贤俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuan Heng Technology Co Ltd
Original Assignee
Shenzhen Yuan Heng Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuan Heng Technology Co Ltd filed Critical Shenzhen Yuan Heng Technology Co Ltd
Priority to CN201811531718.8A priority Critical patent/CN109635824A/zh
Publication of CN109635824A publication Critical patent/CN109635824A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像匹配深度学习方法及系统,包括:对拍摄的车辆损伤近景图和中远景图进行特征提取,分别得到第一特征图和第二特征图;基于空间变换网络对第一特征图和第二特征图进行图像变换的相关变换矩阵参数学习与估计,基于变换矩阵参数对第一特征图进行变换,得到空间变换后的第一特征图;基于图像匹配算法对第二特征图和空间变换后的第一特征图进行图像匹配,得到近景图在中远景图中的对应位置。本发明能够将不同尺度、不同视角下的图像对也能较好的匹配定位,可极大改善了近景图和中远景图中尺寸和视角差异对车辆的图像定损的影响,从而提高了整个车辆图像定损的精度。

Description

一种图像匹配深度学习方法及系统
技术领域
本发明涉及图像匹配技术领域,具体涉及一种图像匹配深度学习方法及系统。
背景技术
在汽车保险理赔过程中,涉及到外观损伤的自动图像定损环节中,涉及到如下场景:近距离拍摄的图片有着能较为准确的识别外观损伤,但是由于视场较小,就无法有很好车身外观部件信息,因而往往需要借助匹配到一张中远距离拍摄的图片,来最终对损伤的部件位置进行定位。
现有的定位方法是将一远一近的两张图片,利用深度学习进行特征提取,然后拼接特征,以中远景图上近景图的对应目标区域为回归目标,进行训练,如算法GOTURN,该算法整体框架如图1所示,该方法的核心思想是,将两张图像通过同一个CNN网络进行特征提取,然后将特征组织成一个向量形式,接而通过几层全连接网络计算,最后输出近景图在远景图中目标区域的中心点、长宽,从而实现对近景图的定位目的。
现有技术的缺陷为:
对于拍摄距离、拍摄视角差距较大的一对图像,上述方法往往会失效,而实际情况中,拍摄者往往会拍摄出这种差异较大的图像对,从而会导致车辆的图像定损失败或出错。
发明内容
针对上述问题中存在的不足之处,本发明提供一种图像匹配深度学习方法及系统,通过引入空间变换网络(STN,Spatial Transformer Networks)自动估计出近距离拍摄图像相对于远距离图像的透视变换参数,继而对其进行变换,尽量将两张图片调整到一致的视角和尺度下,从而使得位置回归精度得到较大提升。
本发明提供一种图像匹配深度学习方法,包括:
对拍摄的车辆损伤近景图和中远景图进行特征提取,分别得到第一特征图和第二特征图;
基于空间变换网络对所述第一特征图和第二特征图进行图像变换的相关变换矩阵参数学习与估计,基于变换矩阵参数对所述第一特征图进行变换,得到空间变换后的第一特征图;
基于图像匹配算法对所述第二特征图和空间变换后的第一特征图进行图像匹配,得到所述近景图在所述中远景图中的对应位置。
作为本发明的进一步改进,所述对拍摄的车辆损伤近景图和中远景图进行特征提取,包括:
通过同一CNN网络对拍摄的车辆损伤近景图和中远景图进行特征提取。
作为本发明的进一步改进,所述图像匹配算法为GOTURN算法或SiameseFC算法。
本发明还提供一种图像匹配深度学习系统,包括:
特征提取模块,用于对拍摄的车辆损伤近景图和中远景图进行特征提取,分别得到第一特征图和第二特征图;
空间变换网络模块,用于基于空间变换网络对所述第一特征图和第二特征图进行图像变换的相关变换矩阵参数学习与估计,基于变换矩阵参数对所述第一特征图进行变换,得到空间变换后的第一特征图;
图像匹配模块,用于基于图像匹配算法对所述第二特征图和空间变换后的第一特征图进行图像匹配,得到所述近景图在所述中远景图中的对应位置。
作为本发明的进一步改进,所述对拍摄的车辆损伤近景图和中远景图进行特征提取,包括:
通过同一CNN网络对拍摄的车辆损伤近景图和中远景图进行特征提取。
作为本发明的进一步改进,所述图像匹配算法为GOTURN算法或SiameseFC算法。
与现有技术相比,本发明的有益效果为:
本发明在图像匹配算法定位之前,将从近景图和中远景图中提取的特征加入空间变换网络进行空间变换,使得能够将不同尺度、不同视角下的图像对也能较好的匹配定位,可极大改善了近景图和中远景图中尺寸和视角差异对车辆的图像定损的影响,从而提高了整个车辆图像定损的精度。
附图说明
图1为现有GOTURN算法的框架图;
图2为本发明一种实施例公开的图像匹配深度学习方法的流程图;
图3为本发明一种实施例公开的图像匹配深度学习系统的框架图;
图4为本发明一种实施例公开的空间变换网络的原理图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述:
如图2所示,本发明提供一种图像匹配深度学习方法,包括:
S1、对拍摄的车辆损伤近景图和中远景图进行特征提取,分别得到第一特征图和第二特征图;具体为:
通过CNN网络对拍摄的车辆损伤近景图进行特征提取,得到第一特征图;
通过同一CNN网络对拍摄的车辆损伤中远景图进行特征提取,得到第二特征图。
S2、基于空间变换网络对第一特征图和第二特征图进行图像变换的相关变换矩阵参数学习与估计,基于变换矩阵参数对第一特征图进行变矫正换,得到空间变换后的第一特征图,可使得后续的定位模块能够更加精准;其中:
如图4所示,空间变换网络(STN)由Localisation Network,Grid generator,Sampler,3个部分组成:
Localisation Network:该网络就是一个简单的回归网络。将输入的图片进行几个卷积操作,然后全连接回归出6个参数值(假设是仿射变换),2*3的矩阵。
Grid generator:网格生成器负责将V中的坐标位置,利用Localisation Network算出的矩阵,通过矩阵运算,计算出目标图V中的每个位置对应原图U中的坐标位置。即生成T(G)。
这里的Grid采样过程,对于二维仿射变换(旋转,平移,缩放)来说,就是简单的矩阵运算。上式中,s代表原始图的坐标,t代表目标图的坐标。A为Localisation Network网络回归出的6个图像变换参数值。
整个Grid生成过程就是,将目标图V-FeatureMap中的比如(0,0)(0,1)......位置的坐标,与2*3变换矩阵运算。就会生成出在原始图中对应的坐标信息,比如(5,0)(5,1)......。这样所有的目标图的坐标都经过这样的运算就会将每个坐标都产生一个与之对应的原图的坐标,即T(G)。然后通过T(G)和原始图U-FeatureMap的像素,将原始图中的像素复制到V-FeatureMap中,从而生成目标图的像素。
Sampler:采样器根据T(G)中的坐标信息,在原始图U中进行采样,将U中的像素复制到目标图V中。
从而得到了变换后的图像或者特征图。
S3、基于图像匹配算法对第二特征图和空间变换后的第一特征图进行图像匹配,得到近景图在中远景图中的对应位置;其中:
图像匹配算法可为GOTURN算法或SiameseFC算法。
GOTURN算法的原理为:
将两张图像通过同一个CNN网络进行特征提取,然后将特征组织成一个向量形式,接而通过几层全连接网络计算,最后输出近景图在远景图中目标区域的中心点,长宽,从而实现对近景图的定位匹配目的。
如图3所示,本发明还提供一种图像匹配深度学习系统,包括:
特征提取模块,用于对拍摄的车辆损伤近景图和中远景图进行特征提取,分别得到第一特征图和第二特征图;具体为:
通过CNN网络对拍摄的车辆损伤近景图进行特征提取,得到第一特征图;
通过同一CNN网络对拍摄的车辆损伤中远景图进行特征提取,得到第二特征图。
空间变换网络模块(STN模块),用于基于空间变换网络对第一特征图和第二特征图进行图像变换的相关变换矩阵参数学习与估计,基于变换矩阵参数对第一特征图进行变矫正换,得到空间变换后的第一特征图,可使得后续的定位模块能够更加精准;其中:
如图4所示,空间变换网络(STN)由Localisation Network,Grid generator,Sampler,3个部分组成:
Localisation Network:该网络就是一个简单的回归网络。将输入的图片进行几个卷积操作,然后全连接回归出6个参数值(假设是仿射变换),2*3的矩阵。
Grid generator:网格生成器负责将V中的坐标位置,利用Localisation Network算出的矩阵,通过矩阵运算,计算出目标图V中的每个位置对应原图U中的坐标位置。即生成T(G)。
这里的Grid采样过程,对于二维仿射变换(旋转,平移,缩放)来说,就是简单的矩阵运算。上式中,s代表原始图的坐标,t代表目标图的坐标。A为Localisation Network网络回归出的6个图像变换参数值。
整个Grid生成过程就是,将目标图V-FeatureMap中的比如(0,0)(0,1)......位置的坐标,与2*3变换矩阵运算。就会生成出在原始图中对应的坐标信息,比如(5,0)(5,1)......。这样所有的目标图的坐标都经过这样的运算就会将每个坐标都产生一个与之对应的原图的坐标,即T(G)。然后通过T(G)和原始图U-FeatureMap的像素,将原始图中的像素复制到V-FeatureMap中,从而生成目标图的像素。
Sampler:采样器根据T(G)中的坐标信息,在原始图U中进行采样,将U中的像素复制到目标图V中。
从而得到了变换后的图像或者特征图。
图像匹配模块,用于基于图像匹配算法对第二特征图和空间变换后的第一特征图进行图像匹配,得到近景图在中远景图中的对应位置;其中:
图像匹配算法可为GOTURN算法或SiameseFC算法。
GOTURN算法的原理为:
将两张图像通过同一个CNN网络进行特征提取,然后将特征组织成一个向量形式,接而通过几层全连接网络计算,最后输出近景图在远景图中目标区域的中心点,长宽,从而实现对近景图的定位匹配目的。
本发明的优点为:
本发明在图像匹配算法定位之前,将从近景图和中远景图中提取的特征加入空间变换网络进行空间变换,使得能够将不同尺度、不同视角下的图像对也能较好的匹配定位,可极大改善了近景图和中远景图中尺寸和视角差异对车辆的图像定损的影响,从而提高了整个车辆图像定损的精度。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种图像匹配深度学习方法,其特征在于,包括:
对拍摄的车辆损伤近景图和中远景图进行特征提取,分别得到第一特征图和第二特征图;
基于空间变换网络对所述第一特征图和第二特征图进行图像变换的相关变换矩阵参数学习与估计,基于变换矩阵参数对所述第一特征图进行变换,得到空间变换后的第一特征图;
基于图像匹配算法对所述第二特征图和空间变换后的第一特征图进行图像匹配,得到所述近景图在所述中远景图中的对应位置。
2.如权利要求1所述的图像匹配深度学习方法,其特征在于,所述对拍摄的车辆损伤近景图和中远景图进行特征提取,包括:
通过同一CNN网络对拍摄的车辆损伤近景图和中远景图进行特征提取。
3.如权利要求1所述的图像匹配深度学习方法,其特征在于,所述图像匹配算法为GOTURN算法或SiameseFC算法。
4.一种图像匹配深度学习系统,其特征在于,包括:
特征提取模块,用于对拍摄的车辆损伤近景图和中远景图进行特征提取,分别得到第一特征图和第二特征图;
空间变换网络模块,用于基于空间变换网络对所述第一特征图和第二特征图进行图像变换的相关变换矩阵参数学习与估计,基于变换矩阵参数对所述第一特征图进行变换,得到空间变换后的第一特征图;
图像匹配模块,用于基于图像匹配算法对所述第二特征图和空间变换后的第一特征图进行图像匹配,得到所述近景图在所述中远景图中的对应位置。
5.如权利要求1所述的图像匹配深度学习系统,其特征在于,所述对拍摄的车辆损伤近景图和中远景图进行特征提取,包括:
通过同一CNN网络对拍摄的车辆损伤近景图和中远景图进行特征提取。
6.如权利要求1所述的图像匹配深度学习系统,其特征在于,所述图像匹配算法为GOTURN算法或SiameseFC算法。
CN201811531718.8A 2018-12-14 2018-12-14 一种图像匹配深度学习方法及系统 Pending CN109635824A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811531718.8A CN109635824A (zh) 2018-12-14 2018-12-14 一种图像匹配深度学习方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811531718.8A CN109635824A (zh) 2018-12-14 2018-12-14 一种图像匹配深度学习方法及系统

Publications (1)

Publication Number Publication Date
CN109635824A true CN109635824A (zh) 2019-04-16

Family

ID=66073913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811531718.8A Pending CN109635824A (zh) 2018-12-14 2018-12-14 一种图像匹配深度学习方法及系统

Country Status (1)

Country Link
CN (1) CN109635824A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598022A (zh) * 2019-08-05 2019-12-20 华中科技大学 一种基于鲁棒深度哈希网络的图像检索系统与方法
CN111340866A (zh) * 2020-02-26 2020-06-26 腾讯科技(深圳)有限公司 深度图像生成方法、装置及存储介质
CN112200845A (zh) * 2020-10-22 2021-01-08 清华大学 一种图像配准方法和装置
CN112419072A (zh) * 2020-10-30 2021-02-26 中汽研(天津)汽车工程研究院有限公司 基于汽车物理属性的汽车保险反渗漏算法
CN112861952A (zh) * 2021-01-29 2021-05-28 云南电网有限责任公司电力科学研究院 一种局部放电图像匹配深度学习方法
CN114359717A (zh) * 2021-12-17 2022-04-15 华南理工大学 基于多视角相关性深度学习的车辆损伤识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719188A (zh) * 2016-01-22 2016-06-29 平安科技(深圳)有限公司 基于多张图片一致性实现保险理赔反欺诈的方法及服务器
US20160358038A1 (en) * 2015-06-05 2016-12-08 Google Inc. Spatial transformer modules
CN107358596A (zh) * 2017-04-11 2017-11-17 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置、电子设备及系统
CN108921068A (zh) * 2018-06-22 2018-11-30 深源恒际科技有限公司 一种基于深度神经网络的汽车外观自动定损方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160358038A1 (en) * 2015-06-05 2016-12-08 Google Inc. Spatial transformer modules
CN105719188A (zh) * 2016-01-22 2016-06-29 平安科技(深圳)有限公司 基于多张图片一致性实现保险理赔反欺诈的方法及服务器
CN107358596A (zh) * 2017-04-11 2017-11-17 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置、电子设备及系统
CN108921068A (zh) * 2018-06-22 2018-11-30 深源恒际科技有限公司 一种基于深度神经网络的汽车外观自动定损方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JADERBERG MAX 等: "Spatial Transformer Networks", 《PROCEEDINGS OF THE 28TH INTERNATIONAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》 *
周辉: "基于深度学习的多目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598022A (zh) * 2019-08-05 2019-12-20 华中科技大学 一种基于鲁棒深度哈希网络的图像检索系统与方法
CN110598022B (zh) * 2019-08-05 2021-11-19 华中科技大学 一种基于鲁棒深度哈希网络的图像检索系统与方法
CN111340866A (zh) * 2020-02-26 2020-06-26 腾讯科技(深圳)有限公司 深度图像生成方法、装置及存储介质
CN111340866B (zh) * 2020-02-26 2024-03-01 腾讯科技(深圳)有限公司 深度图像生成方法、装置及存储介质
CN112200845A (zh) * 2020-10-22 2021-01-08 清华大学 一种图像配准方法和装置
CN112419072A (zh) * 2020-10-30 2021-02-26 中汽研(天津)汽车工程研究院有限公司 基于汽车物理属性的汽车保险反渗漏算法
CN112419072B (zh) * 2020-10-30 2022-10-14 中汽研(天津)汽车工程研究院有限公司 基于汽车物理属性的汽车保险反渗漏方法
CN112861952A (zh) * 2021-01-29 2021-05-28 云南电网有限责任公司电力科学研究院 一种局部放电图像匹配深度学习方法
CN114359717A (zh) * 2021-12-17 2022-04-15 华南理工大学 基于多视角相关性深度学习的车辆损伤识别方法
CN114359717B (zh) * 2021-12-17 2023-04-25 华南理工大学 基于多视角相关性深度学习的车辆损伤识别方法

Similar Documents

Publication Publication Date Title
CN109635824A (zh) 一种图像匹配深度学习方法及系统
CN108510551B (zh) 一种远距离大视场条件下相机参数的标定方法及系统
De Franchis et al. An automatic and modular stereo pipeline for pushbroom images
CN105509733B (zh) 非合作空间圆目标的相对位姿测量方法
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
CN107680139B (zh) 一种远心双目立体视觉测量系统的通用性标定方法
CN109272570A (zh) 一种基于立体视觉数学模型的空间点三维坐标求解方法
KR101857472B1 (ko) 카메라 보정 방법 및 이에 대한 시스템
CN106447601B (zh) 一种基于投影-相似变换的无人机遥感影像拼接方法
CN107192376B (zh) 基于帧间连续性的无人机多帧图像目标定位校正方法
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN107274380B (zh) 一种无人机多光谱影像快速拼接方法
CN102750697A (zh) 一种参数标定方法及装置
CN108257089B (zh) 一种基于迭代最近点的大视场视频全景图拼接的方法
CN104537707A (zh) 像方型立体视觉在线移动实时测量系统
CN101206763A (zh) 利用波前数据的多帧自适应光学图像高分辨率复原方法
CN115471534A (zh) 基于双目视觉和imu的水下场景三维重建方法及设备
CN111524194A (zh) 一种激光雷达和双目视觉相互融合的定位方法及终端
Huang et al. A single-shot-per-pose camera-projector calibration system for imperfect planar targets
CN104599277B (zh) 一种面向保积仿射变换的图像配准方法
CN113706619A (zh) 一种基于空间映射学习的非合作目标姿态估计方法
CN116758136A (zh) 一种货物体积实时在线识别方法、系统、设备以及介质
CN115345942A (zh) 空间标定方法、装置、计算机设备和存储介质
CN104504691A (zh) 基于低秩纹理的摄像机位置和姿态测量方法
CN112580683B (zh) 一种基于互相关的多传感器数据时间对齐系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190416

RJ01 Rejection of invention patent application after publication