CN105427263A - 一种实现图像配准的方法及终端 - Google Patents
一种实现图像配准的方法及终端 Download PDFInfo
- Publication number
- CN105427263A CN105427263A CN201510966800.3A CN201510966800A CN105427263A CN 105427263 A CN105427263 A CN 105427263A CN 201510966800 A CN201510966800 A CN 201510966800A CN 105427263 A CN105427263 A CN 105427263A
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- unique point
- unit
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000000605 extraction Methods 0.000 claims abstract description 49
- 230000009466 transformation Effects 0.000 claims abstract description 37
- 239000000284 extract Substances 0.000 claims description 14
- 230000008878 coupling Effects 0.000 claims description 12
- 238000010168 coupling process Methods 0.000 claims description 12
- 238000005859 coupling reaction Methods 0.000 claims description 12
- 238000012935 Averaging Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 6
- 230000009467 reduction Effects 0.000 abstract description 11
- 230000004927 fusion Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 16
- 230000000694 effects Effects 0.000 description 8
- 238000001914 filtration Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000013011 mating Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 240000008005 Crotalaria incana Species 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G06T5/70—
-
- G06T3/14—
Abstract
本发明公开了一种实现图像配准的方法及终端,包括:采用定向简介(ORB)特征提取算法利用特征描述算子提取不同时刻同一场景的多帧图像的特征点;对提取的各帧图像的特征点进行配对;通过预设的图像配准变换模型对完成特征点配对的多帧图像进行图像配准。本发明方法通过ORB特征提取算法提取不同时刻同一场景的多帧图像的特征点,对提取的各帧图像的特征点进行配对后采用预设的图像配准变换模型进行图像配准,提高了图像配准的速度和效率,提升了多帧融合降噪算法图像融合的图像质量。
Description
技术领域
本发明涉及图像处理技术,尤指一种实现图像配准的方法及终端。
背景技术
通过终端进行图像拍摄时,图像成像容易受到噪声的干扰,以手持终端进行拍摄为例,为了获取高质量的成像效果,需要对图像进行去噪处理。
目前,去噪处理的常用算法包括基于单帧的线性滤波算法和多帧融合降噪算法;基于单帧的线性滤波算法包括例如高斯滤波、双边滤波、非局部均值滤波等算法,基于单帧的线性滤波算法去噪处理效果较差;多帧融合降噪算法通过利用拍摄多张图像进行图像融合,去噪效果优于基于单帧的线性滤波算法,这类算法考虑到在日常场景中高斯噪声出现的概率比较大,利用高斯噪声的期望均值为0的特点,对多张不同时刻拍摄的包含噪声图像进行融合,可以有效地消除高斯噪声,达到去噪的目的。
多帧融合降噪算法的难点在于拍摄的多张不同时刻的图像容易出现像素点错位的情况,由于多帧融合降噪算法进行图像融合是像素级的,因此图像配准精度需要在单位像素的精度范围内,如果图像配准无法满足精度要求,将出现图像融合后出现像素点模糊错位的现象。现有的图像配准方法速度慢、图像配准效率低,无法满足多帧融合降噪算法进行图像融合,容易出现像素点模糊错误的现象,影响图像融合后的图像质量。
发明内容
为了解决上述技术问题,本发明提供一种实现图像配准的方法及终端,能够提高多帧融合降噪算法进行图像融合的质量。
为了达到本发明目的,本发明提供了一种实现图像配准的终端,包括:提取单元、配对单元和配准单元;其中,
提取单元用于,采用定向简介ORB特征提取算法利用特征描述算子提取不同时刻同一场景的多帧图像的特征点;
配对单元用于,对提取的各帧图像的特征点进行配对;
配准单元用于,通过预设的图像配准变换模型对完成特征点配对的多帧图像进行图像配准。
进一步地,该终端还包括获取单元,用于,获取所述不同时刻同一场景的多帧图像。
进一步地,配对单元具体用于,
通过K最近邻knn算法对各帧图像提取的特征点进行配对。
进一步地,配准单元用于,通过透视变换模型对完成特征点配对的多帧图像进行图像配准。
进一步地,该终端还包括排除单元,用于所述配准单元进行图像配准之前,通过随机一致性采样Ransac算法进行对配对单元配对结果中错误的匹配进行排除。
进一步地,该终端还包括加权单元,用于配准单元进行图像配准后,将完成图像配准的各帧图像进行加权求平均,获得去噪图像。
另一方面,本申请还提供一种实现图像配准的方法,包括:
采用定向简介ORB特征提取算法利用特征描述算子提取不同时刻同一场景的多帧图像的特征点;
对提取的各帧图像的特征点进行配对;
通过预设的图像配准变换模型对完成特征点配对的多帧图像进行图像配准。
进一步地,该方法之前还包括:获取所述不同时刻同一场景的多帧图像。
进一步地,对各帧图像提取的特征点进行配对具体包括:
通过K最近邻knn算法对各帧图像提取的特征点进行配对。
进一步地,预设的图像配准变换模型为透视变换模型。
进一步地,进行图像配准之前,该方法还包括:通过随机一致性采样Ransac算法进行对配对的结果中错误的匹配进行排除。
进一步地,进行图像配准后,该方法还包括:将完成图像配准的各帧图像进行加权求平均,获得去噪图像。
与现有技术相比,本申请技术方案包括:采用定向简介(ORB)特征提取算法利用特征描述算子提取不同时刻同一场景的多帧图像的特征点;对提取的各帧图像的特征点进行配对;通过预设的图像配准变换模型对完成特征点配对的多帧图像进行图像配准。本发明方法通过ORB特征提取算法提取不同时刻同一场景的多帧图像的特征点,对提取的各帧图像的特征点进行配对后采用预设的图像配准变换模型进行图像配准,提高了图像配准的速度和效率,提升了多帧融合降噪算法图像融合的图像质量。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为实现本发明各个实施例一个可选的终端的硬件结构示意;
图2为本发明实现图像配准的方法的流程图;
图3为采用透视变换模型进行图像配准的配准差分图像;
图4为采用仿射变换模型进行图像配准的配准差分图像;
图5为本发明另一实现图像配准的方法的流程图;
图6为本发明实施例对两帧图像进行特征点配对的示意图;
图7为本发明实施例对错误配对进行排除后的示意图;
图8为本发明实施例图像抖动的示意图;
图9(a)为本发明实施例去噪前图像;
图9(b)为本发明实施例去噪后图像;
图10(a)为本发明实施例去噪前图像的第一局部示意图;
图10(b)为本发明实施例去噪后图像的第一局部示意图;
图11(a)为本发明实施例去噪前图像的第二局部示意图;
图11(b)为本发明实施例去噪后图像的第二局部示意图;
图12为本发明一种实现图像配准的终端的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
现在将参考附图描述实现本发明各个实施例的终端。在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身并没有特定的意义。因此,"模块"与"部件"可以混合地使用。
图1为实现本发明各个实施例一个可选的终端的硬件结构示意,如图1所示,
终端100可以包括A/V(音频/视频)输入单元120、输出单元150、存储器160、控制器180和电源单元190等等。图1示出了具有各种组件的终端,但是应理解的是,并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述终端的元件。
A/V输入单元120用于接收视频信号。A/V输入单元120可以包括相机121,相机121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元151上。经相机121处理后的图像帧可以存储在存储器160(或其它存储介质)中可以根据终端的构造提供两个或更多相机121。
输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如,音频信号、视频信号、警报信号、振动信号等等)。输出单元150可以包括显示单元151。
显示单元151可以显示在终端100中处理的信息。当终端100处于视频通话模式或者图像捕获模式时,显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的UI或GUI等等。
显示单元151可以包括液晶显示器(LCD)、薄膜晶体管LCD(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看,这可以称为透明显示器,典型的透明显示器可以例如为TOLED(透明有机发光二极管)显示器等等。根据特定想要的实施方式,终端100可以包括两个或更多显示单元(或其它显示装置),例如,终端可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。
存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等,或者可以暂时地存储己经输出或将要输出的数据(例如,电话簿、消息、静态图像、视频等等)。而且,存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。
存储器160可以包括至少一种类型的存储介质,所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且,终端100可以与通过网络连接执行存储器160的存储功能的网络存储装置协作。
控制器180通常控制终端的总体操作。控制器180可以执行模式识别处理,以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。
电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施,这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施,在一些情况下,这样的实施方式可以在控制器180中实施。对于软件实施,诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施,软件代码可以存储在存储器160中并且由控制器180执行。
至此,己经按照其功能描述了终端。下面,为了简要起见,将描述诸如折叠型、直板型、摆动型、滑动型终端等等的各种类型的终端中的滑动型终端作为示例。因此,本发明能够应用于任何类型的终端,并且不限于滑动型终端。
基于上述终端硬件结构以及通信系统,提出本发明方法各个实施例。
图2为本发明实现图像配准的方法的流程图,如图2所示,包括:
步骤200、采用定向简介(ORB)特征提取算法利用特征描述算子提取不同时刻同一场景的多帧图像的特征点;
需要说明的是,目前比较流行的表达特征描述算子的算法包括Sift、Surf、FAST、ORB等。定向简介(ORB,ORientedBrief)特征提取算法的前身是Brief特征提取算法,Brief特征提取算法是由洛桑联邦理工学院EPFL的卡隆德尔(Calonder)在欧洲计算机视觉国际会议(ECCV)2010上提出了一种可以快速计算且表达方式为二进制编码的特征描述算子,主要思路就是在特征点附近随机选取若干点对,将这些点对的灰度值的大小,组合成一个二进制串,并将这个二进制串作为该特征点的特征描述算子。Brief特征提取算法最大的优点在于速度快,主要有不具有旋转不变性和对抗噪声性能差的缺点。ORB特征提取算法对Brief特征提取算法存在的缺点进行了改进,使算法在具有旋转不变性的同时具有较好的抗噪能力,同时ORB特征提取算法计算速度仍保持有Brief特征提取算法的计算速度优势,ORB算法的计算速度是SIFT算法的100倍,是SURF算法的10倍。以SIFI算法为例,在SIFT算法中,梯度直方图的把第一峰值的方向设置为特征点的主方向,如果次峰值的量度达到峰值的80%,则把第二个峰值的方向也设定为主方向,该算法相对更耗时。而在ORB特征提取算法中,特征点的主方向是通过矩(moment)计算得来,有了主方向之后,就可以依据该主方向提取特征描述算子。ORB算法不直接使用像素点与像素点之间进行比较,而是选择以该像素为中心的一个区域作为比较对象,因此提高了算法的抗噪能力。
本步骤之前还包括:获取所述不同时刻同一场景的多帧图像。
需要说明的是,获取不同时刻同一场景的多帧图像的方法与现有的多帧融合降噪算法中获取图像方法相同。以通过手机进行图像拍摄为例,按照预设的图像拍摄的数量参数采用相同的拍摄参数进行拍摄,图像拍摄的数量参数通常选择设置拍摄的图像为3张;采用相同的拍摄参数,例如采用相同的曝光、对焦、测光等对同一场景快速的连续拍摄,从而获得本发明进行图像配准的不同时刻同一场景的多帧图像。
步骤201、对提取的各帧图像的特征点进行配对;
本步骤中,对各帧图像提取的特征点进行配对具体包括:
通过K最近邻(knn)算法对各帧图像提取的特征点进行配对。
需要说明的是,采用K最近邻算法对各帧图像提取的特征点进行配对属于本领域技术人员的惯用技术手段,在此不再赘述。
步骤202、通过预设的图像配准变换模型对完成特征点配对的多帧图像进行图像配准。
本步骤中,预设的图像配准变换模型为透视变换模型。
需要说明的是,透射变换模型是一种更具有灵活性,一个透射变换可以将矩形转变成梯形,它描述了将空间内一个平面投影到另一个空间平面内的方法。透射变换模型的矩阵表达式为:
矩阵表达式中, 是图像配准的原型,矩阵M为图像配准的矩阵,其中,a02和a12为图像配准的位移参数;a00、a01和a10、a11为图像配准的缩放与旋转参数;a20和a21为图像配准的水平与垂直方向的变形量, 是图像配准后获得的结果。
本发明采用透视变换模型主要考虑到手持终端进行拍摄时,如手机在连续拍摄多帧图像时,手机的抖动运动基本上不在同一个平面,采用透视变换模型进行图像配准可以有效的解决由于拍摄抖动造成的多帧图像不再同一平面的问题。将本发明使用的透视变换模型与普通的变换模型进行的图像配准进行对比,可以明显看出透视变换模型具有更好的效果,例如,将透视变换模型进行图像配准和采用仿射变换模型进行图像配准进行对比,通过配准差分图像来衡量图像配准的精度,原理是将配准后的图像与基准图像进行差分,如果像素点没有配准对齐,就会出现差值,在差分图像表现出亮度比较大的现象;图3为采用透视变换模型进行图像配准的配准差分图像,图4为采用仿射变换模型进行图像配准的配准差分图像,通过对比可以确定透视变换模型的配准差分图像在虚线圈定区域出现的白点少于仿射变换模型配准差分图像,因此,采用透视变换模型进行图像配准效果更佳。
进行图像配准之前,本发明方法还包括:通过随机一致性采样(Ransac)算法进行对所述配对结果中错误的匹配进行排除。
需要说明的是,由于特征点受到噪声或算法参数设置不合理的影响会出现错误匹配,需要对错误的匹配进行排除,本发明方法利用随机一致性采样Ransac算法进行匹配对优化,排除错误的匹配,保证之后计算的空间变换矩阵精度。另外,对于其他任何可以进行错误匹配排除的算法都可以应用与本发明,Ransac算法只是本发明方法的优选实施例。
进行图像配准后,本发明方法还包括:将完成图像配准的各帧图像进行加权求平均,获得去噪图像。
需要说明的是,过程如下:假设有n帧图像已经完成图像配准,对应的完成配准处理的图像通过函数[I1,I2.......In],去噪后的图像表达函数为D(x,y),Ii(x,y)为第i幅图像在像素点坐标(x,y)的真实像素值,Ni(x,y)为图像受到噪声干扰后的像素值,D(x,y)为相应处的去噪后的像素值,则:
本发明方法将式子(1)拆成两项后,噪声干扰项的加权平均被拆分为独立的一项,设定噪声干扰满足高斯模型,则噪声干扰项平均值基本为0,通过式(2)表示;
通过式(1)和式(2)进行,获得去噪图像可以通过式(3)表示:
本发明方法通过ORB特征提取算法提取不同时刻同一场景的多帧图像的特征点,对提取的各帧图像的特征点进行配对后采用预设的图像配准变换模型进行图像配准,提高了图像配准的速度和效率,提升了多帧融合降噪算法图像融合的图像质量。
图5为本发明另一实现图像配准的方法的流程图,如图5所示,包括:
步骤500、获取不同时刻同一场景的多帧图像。
需要说明的是,获取不同时刻同一场景的多帧图像的方法与现有的多帧融合降噪算法中获取图像方法相同。以通过手机进行图像拍摄为例,按照预设的图像拍摄的数量参数采用相同的拍摄参数进行拍摄,图像拍摄的数量参数通常选择设置拍摄的图像为3张;采用相同的拍摄参数,例如采用相同的曝光、对焦、测光等对同一场景快速的连续拍摄,从而获得本发明进行图像配准的不同时刻同一场景的多帧图像。
步骤501、采用ORB特征提取算法利用特征描述算子提取不同时刻同一场景的多帧图像的特征点;
需要说明的是,目前比较流行的表达特征描述算子的算法包括Sift、Surf、FAST、ORB等。定向简介(ORB,ORientedBrief)特征提取算法的前身是Brief特征提取算法,Brief特征提取算法是由洛桑联邦理工学院EPFL的卡隆德尔(Calonder)在欧洲计算机视觉国际会议(ECCV)2010上提出了一种可以快速计算且表达方式为二进制编码的特征描述算子,主要思路就是在特征点附近随机选取若干点对,将这些点对的灰度值的大小,组合成一个二进制串,并将这个二进制串作为该特征点的特征描述算子。Brief特征提取算法最大的优点在于速度快,主要有不具有旋转不变性和对抗噪声性能差的缺点。ORB特征提取算法对Brief特征提取算法存在的缺点进行了改进,使算法在具有旋转不变性的同时具有较好的抗噪能力,同时ORB特征提取算法计算速度仍保持有Brief特征提取算法的计算速度优势,ORB算法的计算速度是SIFT算法的100倍,是SURF算法的10倍。以SIFI算法为例,在SIFT算法中,梯度直方图的把第一峰值的方向设置为特征点的主方向,如果次峰值的量度达到峰值的80%,则把第二个峰值的方向也设定为主方向,该算法相对更耗时。而在ORB特征提取算法中,特征点的主方向是通过矩(moment)计算得来,有了主方向之后,就可以依据该主方向提取特征描述算子。ORB算法不直接使用像素点与像素点之间进行比较,而是选择以该像素为中心的一个区域作为比较对象,因此提高了算法的抗噪能力。
步骤502、对提取的各帧图像的特征点进行配对;
本步骤中,对各帧图像提取的特征点进行配对具体包括:
通过knn算法对各帧图像提取的特征点进行配对。
图6为本发明实施例对两帧图像进行特征点配对的示意图,如图6所示,左右两侧的两帧图像完成了特征点的配对。
需要说明的是,采用K最近邻算法对各帧图像提取的特征点进行配对属于本领域技术人员的惯用技术手段,在此不再赘述。
步骤503、通过Ransac算法进行对所述配对结果中错误的匹配进行排除。
需要说明的是,由于特征点受到噪声或算法参数设置不合理的影响会出现错误匹配,需要对错误的匹配进行排除,本发明方法利用随机一致性采样Ransac算法进行匹配对优化,排除错误的匹配,保证之后计算的空间变换矩阵精度。另外,对于其他任何可以进行错误匹配排除的算法都可以应用与本发明,Ransac算法只是本发明方法的优选实施例。
图7为本发明实施例对错误配对进行排除后的示意图,如图7所示,对两帧图像中的错误匹配的特征点进行了排除处理。
步骤504、通过预设的图像配准变换模型对完成特征点配对的多帧图像进行图像配准。
本步骤中,预设的图像配准变换模型为透视变换模型。
需要说明的是,透射变换模型是一种更具有灵活性,一个透射变换可以将矩形转变成梯形,它描述了将空间内一个平面投影到另一个空间平面内的方法。透射变换模型的矩阵表达式为:
本发明采用透视变换模型主要考虑到手持终端进行拍摄时,如手机在连续拍摄多帧图像时,手机的抖动运动基本上不在同一个平面,采用透视变换模型进行图像配准可以有效的解决由于拍摄抖动造成的多帧图像不再同一平面的问题。图8为本发明实施例图像抖动的示意图,如图8所示,拍摄图像过程中,手机因为抖动从实线位置1抖动到虚线位置2。
步骤505、将完成图像配准的各帧图像进行加权求平均,获得去噪图像。
图9(a)为本发明实施例去噪前图像,图9(b)为本发明实施例去噪后图像,通过图9(a)和图9(b)从整体图像的显示效果上分析,图9(b)去噪后的图像质量得到了有效的提高。
图9(a)和图9(b)通过方框圈定了图中电话机的第一局部和安全出口提示灯的第二局部。图10(a)为本发明实施例去噪前图像的第一局部示意图,图10(b)为本发明实施例去噪后图像的第一局部示意图,通过图10(a)和图10(b)从第一局部的图像的显示效果上分析,图10(b)去噪后的第一局部的图像清晰度得到了提高;图11(a)为本发明实施例去噪前图像的第二局部示意图,图11(b)为本发明实施例去噪后图像的第二局部示意图,通过图11(a)和图11(b)从第二局部的图像的显示效果上分析,图11(b)去噪后的第二局部的图像清晰度得到了提高。
图12为本发明一种实现图像配准的终端的结构框图,如图12所示,包括:提取单元、配对单元和配准单元;其中,
提取单元用于,采用定向简介ORB特征提取算法利用特征描述算子提取不同时刻同一场景的多帧图像的特征点;
配对单元用于,对提取的各帧图像的特征点进行配对;
配对单元具体用于,
通过K最近邻(knn)算法对各帧图像提取的特征点进行配对。
配准单元用于,通过预设的图像配准变换模型对完成特征点配对的多帧图像进行图像配准。
配准单元具体用于,通过透视变换模型对完成特征点配对的多帧图像进行图像配准。
本发明终端还包括获取单元,用于,获取所述不同时刻同一场景的多帧图像。
本发明终端还包括排除单元,用于所述配准单元进行图像配准之前,通过随机一致性采样Ransac算法进行对配对单元配对结果中错误的匹配进行排除。
本发明终端还包括加权单元,用于配准单元进行图像配准后,将完成图像配准的各帧图像进行加权求平均,获得去噪图像。
一种实现图像配准的终端,包括:获取单元、提取单元、配对单元、排除单元、配准单元和加权单元;其中,
获取单元,用于,获取所述不同时刻同一场景的多帧图像。
需要说明的是,获取单元一般可以通过相机进行获取,获取后的图像可以存储在存储器中。
提取单元用于,采用定向简介ORB特征提取算法利用特征描述算子提取不同时刻同一场景的多帧图像的特征点;
配对单元用于,对提取的各帧图像的特征点进行配对;
配对单元具体用于,
通过K最近邻(knn)算法对各帧图像提取的特征点进行配对。
排除单元,用于所述配准单元进行图像配准之前,通过随机一致性采样Ransac算法进行对配对单元配对结果中错误的匹配进行排除。
配准单元用于,通过预设的图像配准变换模型对完成特征点配对的多帧图像进行图像配准。
配准单元具体用于,通过透视变换模型对完成特征点配对的多帧图像进行图像配准。
加权单元,用于配准单元进行图像配准后,将完成图像配准的各帧图像进行加权求平均,获得去噪图像。
需要说明的是,提取、配对、排除、加权等处理过程一般通过控制器进行处理实现。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (12)
1.一种实现图像配准的终端,其特征在于,包括:提取单元、配对单元和配准单元;其中,
提取单元用于,采用定向简介ORB特征提取算法利用特征描述算子提取不同时刻同一场景的多帧图像的特征点;
配对单元用于,对提取的各帧图像的特征点进行配对;
配准单元用于,通过预设的图像配准变换模型对完成特征点配对的多帧图像进行图像配准。
2.根据权利要求1所述的终端,其特征在于,该终端还包括获取单元,用于,获取所述不同时刻同一场景的多帧图像。
3.根据权利要求1所述的方法,其特征在于,所述配对单元具体用于,
通过K最近邻knn算法对各帧图像提取的特征点进行配对。
4.根据权利要求1、2或3所述的终端,其特征在于,配准单元具体用于,通过透视变换模型对完成特征点配对的多帧图像进行图像配准。
5.根据权利要求1、2或3所述的终端,其特征在于,该终端还包括排除单元,用于所述配准单元进行图像配准之前,通过随机一致性采样Ransac算法进行对配对单元配对结果中错误的匹配进行排除。
6.根据权利要求1、2或3所述的终端,其特征在于,该终端还包括加权单元,用于配准单元进行图像配准后,将完成图像配准的各帧图像进行加权求平均,获得去噪图像。
7.一种实现图像配准的方法,其特征在于,包括:
采用ORB特征提取算法利用特征描述算子提取不同时刻同一场景的多帧图像的特征点;
对提取的各帧图像的特征点进行配对;
通过预设的图像配准变换模型对完成特征点配对的多帧图像进行图像配准。
8.根据权利要求7所述的方法,其特征在于,该方法之前还包括:获取所述不同时刻同一场景的多帧图像。
9.根据权利要求7所述的方法,其特征在于,所述对各帧图像提取的特征点进行配对具体包括:
通过K最近邻算法对各帧图像提取的特征点进行配对。
10.根据权利要求7、8或9所述的方法,其特征在于,所述预设的图像配准变换模型为透视变换模型。
11.根据权利要求7、8或9所述的方法,其特征在于,所述进行图像配准之前,该方法还包括:通过Ransac算法进行对配对的结果中错误的匹配进行排除。
12.根据权利要求7、8或9所述的方法,其特征在于,进行图像配准后,该方法还包括:将完成图像配准的各帧图像进行加权求平均,获得去噪图像。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510966800.3A CN105427263A (zh) | 2015-12-21 | 2015-12-21 | 一种实现图像配准的方法及终端 |
PCT/CN2016/105706 WO2017107700A1 (zh) | 2015-12-21 | 2016-11-14 | 一种实现图像配准的方法及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510966800.3A CN105427263A (zh) | 2015-12-21 | 2015-12-21 | 一种实现图像配准的方法及终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105427263A true CN105427263A (zh) | 2016-03-23 |
Family
ID=55505444
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510966800.3A Pending CN105427263A (zh) | 2015-12-21 | 2015-12-21 | 一种实现图像配准的方法及终端 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN105427263A (zh) |
WO (1) | WO2017107700A1 (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105611181A (zh) * | 2016-03-30 | 2016-05-25 | 努比亚技术有限公司 | 多帧拍摄图像合成装置和方法 |
CN106097284A (zh) * | 2016-07-29 | 2016-11-09 | 努比亚技术有限公司 | 一种夜景图像的处理方法和移动终端 |
CN106447663A (zh) * | 2016-09-30 | 2017-02-22 | 深圳市莫廷影像技术有限公司 | 一种去除重影的眼科oct图像高清配准方法及装置 |
WO2017107700A1 (zh) * | 2015-12-21 | 2017-06-29 | 努比亚技术有限公司 | 一种实现图像配准的方法及终端 |
CN108053369A (zh) * | 2017-11-27 | 2018-05-18 | 努比亚技术有限公司 | 一种图像处理的方法、设备及存储介质 |
CN110261923A (zh) * | 2018-08-02 | 2019-09-20 | 浙江大华技术股份有限公司 | 一种违禁品检测方法及装置 |
CN111932593A (zh) * | 2020-07-21 | 2020-11-13 | 湖南中联重科智能技术有限公司 | 基于触摸屏手势校正的图像配准方法、系统及设备 |
CN111932587A (zh) * | 2020-08-03 | 2020-11-13 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN113487659A (zh) * | 2021-07-14 | 2021-10-08 | 浙江大学 | 一种图像配准方法、装置、设备及存储介质 |
CN110261923B (zh) * | 2018-08-02 | 2024-04-26 | 浙江大华技术股份有限公司 | 一种违禁品检测方法及装置 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109544608B (zh) * | 2018-03-22 | 2023-10-24 | 广东电网有限责任公司清远供电局 | 一种无人机图像采集特征配准方法 |
CN108921776A (zh) * | 2018-05-31 | 2018-11-30 | 深圳市易飞方达科技有限公司 | 一种基于无人机的图像拼接方法及装置 |
CN109064385A (zh) * | 2018-06-20 | 2018-12-21 | 何中 | 360度全景展示效果生成工具及发布系统 |
CN109801220B (zh) * | 2019-01-23 | 2023-03-28 | 北京工业大学 | 一种在线求解车载视频拼接中映射参数方法 |
CN110189368B (zh) * | 2019-05-31 | 2023-09-19 | 努比亚技术有限公司 | 图像配准方法、移动终端及计算机可读存储介质 |
CN112150548B (zh) * | 2019-06-28 | 2024-03-29 | Oppo广东移动通信有限公司 | 定位方法及装置、终端、存储介质 |
CN110443295A (zh) * | 2019-07-30 | 2019-11-12 | 上海理工大学 | 改进的图像匹配与误匹配剔除算法 |
CN110782421B (zh) * | 2019-09-19 | 2023-09-26 | 平安科技(深圳)有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
CN110728705B (zh) * | 2019-09-24 | 2022-07-15 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN111127529B (zh) * | 2019-12-18 | 2024-02-02 | 浙江大华技术股份有限公司 | 图像配准方法及装置、存储介质、电子装置 |
CN111127311B (zh) * | 2019-12-25 | 2023-07-18 | 中航华东光电有限公司 | 基于微重合区域的图像配准方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101276465A (zh) * | 2008-04-17 | 2008-10-01 | 上海交通大学 | 广角图像自动拼接方法 |
CN103516995A (zh) * | 2012-06-19 | 2014-01-15 | 中南大学 | 一种基于orb特征的实时全景视频拼接方法和装置 |
CN104167003A (zh) * | 2014-08-29 | 2014-11-26 | 福州大学 | 一种遥感影像的快速配准方法 |
US20150154755A1 (en) * | 2013-11-29 | 2015-06-04 | National Taiwan University Of Science And Technology | Image registration method |
CN104751465A (zh) * | 2015-03-31 | 2015-07-01 | 中国科学技术大学 | 一种基于lk光流约束的orb图像特征配准方法 |
CN104915949A (zh) * | 2015-04-08 | 2015-09-16 | 华中科技大学 | 一种结合点特征和线特征的图像匹配算法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003036444A (ja) * | 2001-07-24 | 2003-02-07 | Toppan Printing Co Ltd | 商品情報構成データ抽出システム、商品情報構成データ抽出方法、商品情報構成データ抽出プログラム、及び商品情報構成データ抽出プログラムを記録した記録媒体 |
CN102629328B (zh) * | 2012-03-12 | 2013-10-16 | 北京工业大学 | 一种融合颜色的显著特征概率潜在语义模型物体图像识别方法 |
CN104851094A (zh) * | 2015-05-14 | 2015-08-19 | 西安电子科技大学 | 一种基于rgb-d的slam算法的改进方法 |
CN105427263A (zh) * | 2015-12-21 | 2016-03-23 | 努比亚技术有限公司 | 一种实现图像配准的方法及终端 |
-
2015
- 2015-12-21 CN CN201510966800.3A patent/CN105427263A/zh active Pending
-
2016
- 2016-11-14 WO PCT/CN2016/105706 patent/WO2017107700A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101276465A (zh) * | 2008-04-17 | 2008-10-01 | 上海交通大学 | 广角图像自动拼接方法 |
CN103516995A (zh) * | 2012-06-19 | 2014-01-15 | 中南大学 | 一种基于orb特征的实时全景视频拼接方法和装置 |
US20150154755A1 (en) * | 2013-11-29 | 2015-06-04 | National Taiwan University Of Science And Technology | Image registration method |
CN104167003A (zh) * | 2014-08-29 | 2014-11-26 | 福州大学 | 一种遥感影像的快速配准方法 |
CN104751465A (zh) * | 2015-03-31 | 2015-07-01 | 中国科学技术大学 | 一种基于lk光流约束的orb图像特征配准方法 |
CN104915949A (zh) * | 2015-04-08 | 2015-09-16 | 华中科技大学 | 一种结合点特征和线特征的图像匹配算法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017107700A1 (zh) * | 2015-12-21 | 2017-06-29 | 努比亚技术有限公司 | 一种实现图像配准的方法及终端 |
CN105611181A (zh) * | 2016-03-30 | 2016-05-25 | 努比亚技术有限公司 | 多帧拍摄图像合成装置和方法 |
CN106097284A (zh) * | 2016-07-29 | 2016-11-09 | 努比亚技术有限公司 | 一种夜景图像的处理方法和移动终端 |
CN106097284B (zh) * | 2016-07-29 | 2019-08-30 | 努比亚技术有限公司 | 一种夜景图像的处理方法和移动终端 |
CN106447663A (zh) * | 2016-09-30 | 2017-02-22 | 深圳市莫廷影像技术有限公司 | 一种去除重影的眼科oct图像高清配准方法及装置 |
CN108053369A (zh) * | 2017-11-27 | 2018-05-18 | 努比亚技术有限公司 | 一种图像处理的方法、设备及存储介质 |
CN110261923A (zh) * | 2018-08-02 | 2019-09-20 | 浙江大华技术股份有限公司 | 一种违禁品检测方法及装置 |
CN110261923B (zh) * | 2018-08-02 | 2024-04-26 | 浙江大华技术股份有限公司 | 一种违禁品检测方法及装置 |
CN111932593A (zh) * | 2020-07-21 | 2020-11-13 | 湖南中联重科智能技术有限公司 | 基于触摸屏手势校正的图像配准方法、系统及设备 |
CN111932593B (zh) * | 2020-07-21 | 2024-04-09 | 湖南中联重科智能技术有限公司 | 基于触摸屏手势校正的图像配准方法、系统及设备 |
CN111932587A (zh) * | 2020-08-03 | 2020-11-13 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN113487659A (zh) * | 2021-07-14 | 2021-10-08 | 浙江大学 | 一种图像配准方法、装置、设备及存储介质 |
CN113487659B (zh) * | 2021-07-14 | 2023-10-20 | 浙江大学 | 一种图像配准方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2017107700A1 (zh) | 2017-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105427263A (zh) | 一种实现图像配准的方法及终端 | |
US10708525B2 (en) | Systems and methods for processing low light images | |
US20220222786A1 (en) | Image processing method, smart device, and computer readable storage medium | |
US10853927B2 (en) | Image fusion architecture | |
US11138709B2 (en) | Image fusion processing module | |
US10880455B2 (en) | High dynamic range color conversion using selective interpolation | |
CN116324878A (zh) | 针对图像效果的分割 | |
US11334961B2 (en) | Multi-scale warping circuit for image fusion architecture | |
CN105427369A (zh) | 移动终端及其三维形象的生成方法 | |
CN114096994A (zh) | 图像对齐方法及装置、电子设备、存储介质 | |
CN115908120B (zh) | 图像处理方法和电子设备 | |
US20230016350A1 (en) | Configurable keypoint descriptor generation | |
EP4303815A1 (en) | Image processing method, electronic device, storage medium, and program product | |
WO2023001110A1 (zh) | 神经网络训练方法、装置及电子设备 | |
US11810266B2 (en) | Pattern radius adjustment for keypoint descriptor generation | |
US20220044371A1 (en) | Image Fusion Architecture | |
Li | Super-resolution for synthetic zooming | |
CN116453131B (zh) | 文档图像矫正方法、电子设备及存储介质 | |
US11968471B2 (en) | Sliding window for image keypoint detection and descriptor generation | |
US11494880B2 (en) | Image pyramid generation for image keypoint detection and descriptor generation | |
CN116630355B (zh) | 一种视频分割方法、电子设备、存储介质及程序产品 | |
CN116205822B (zh) | 一种图像处理的方法、电子设备和计算机可读存储介质 | |
US20220286604A1 (en) | Sliding window for image keypoint detection and descriptor generation | |
US7330586B2 (en) | Low-light exposure modes for digital photo sensors with free-running shutters | |
CN117689545A (zh) | 图像处理方法、电子设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160323 |
|
RJ01 | Rejection of invention patent application after publication |