CN111739073A - 高效快速的手持装置的影像配准优化方法 - Google Patents
高效快速的手持装置的影像配准优化方法 Download PDFInfo
- Publication number
- CN111739073A CN111739073A CN202010589981.3A CN202010589981A CN111739073A CN 111739073 A CN111739073 A CN 111739073A CN 202010589981 A CN202010589981 A CN 202010589981A CN 111739073 A CN111739073 A CN 111739073A
- Authority
- CN
- China
- Prior art keywords
- image
- point
- texture
- registration
- gaussian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 247
- 238000005457 optimization Methods 0.000 title claims abstract description 35
- 239000012634 fragment Substances 0.000 claims abstract description 59
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 238000006243 chemical reaction Methods 0.000 claims abstract description 39
- 230000000694 effects Effects 0.000 claims abstract description 36
- 238000007667 floating Methods 0.000 claims abstract description 33
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 72
- 230000008569 process Effects 0.000 claims description 52
- 238000001914 filtration Methods 0.000 claims description 41
- 239000013598 vector Substances 0.000 claims description 39
- 230000008859 change Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 27
- 238000002474 experimental method Methods 0.000 claims description 26
- 238000009499 grossing Methods 0.000 claims description 19
- 230000000875 corresponding effect Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 230000006872 improvement Effects 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000003703 image analysis method Methods 0.000 claims description 3
- 238000006467 substitution reaction Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 5
- 239000008186 active pharmaceutical agent Substances 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 238000012827 research and development Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供的高效快速的手持装置的影像配准优化方法，针对图像特征点检测步骤复杂和速度慢的问题，根据影像尺度空间和空间转换原理，提出了高效准确的旋转不变图像特征点的检测方法，在场景旋转、亮度转换、模糊、及一些尺度、视角转换条件下有精良的配准效果，且提高了图像特征点检测效率；针对移动图形处理器无浮点纹理输出的问题，根据片元着色器读写纹理的原理，提出了定点纹理表现浮点纹理的方法，提高了移动图形处理器片元着色器输出纹理的浮点精度；在影像配准阶段提出了采用图像特征点的邻域梯度值对图像特征点进行分类别配准的方法，提高了图像特征点的配准速度和效率。
Description
技术领域
本发明涉及一种手持装置的影像配准优化方法，特别涉及一种高效快速的手持装置的影像配准优化方法，属于影像配准优化技术领域。
背景技术
影像配准的目的是将拍摄时间、视角、采用的传感器等不同的状况下，所获得的同一场景的不同影像进行匹配的过程。影像配准被广泛应用于目标识别、影像检索、场景重建、影像拼接等问题中。目标识别是将指定的目标，按照某种区别于其它目标的属性辨识出来的过程。目标识别中影像配准的应用，主要是对系统采集的影像进行处理，对目标进行提取或者识别并跟踪。目标识别在航空航天对地探测、智能交通、遥感地形测绘、摄影、人脸识别等身份识别方面应用广泛，极具极大的社会价值。
影像拼接是指将在拍摄条件相同或者不同、有重叠部分的不同影像，拼成一幅大型影像的技术。主要的表现形式为：将普通影像拼接为宽视角影像或者全景图，多幅局部影像合成完整影像。被广泛应用于遥感测绘、文物保护、海底和空间探测、地图实景图和场景重构、医学研发等方面。场景重建是利用计算机技术对虚拟和真实世界进行高效逼真的表达的过程，在实现过程中，先通过经验信息建立三维模型，提取多视图的图像特征点进行立体配准，最终对场景进行重新构建。在虚拟现实、增强现实应用中得到快速发展，在娱乐、教育、医学等领域有广阔的应用前景。影像检索主要应用在一些影像检索系统和互联网影像搜索中，通过提取影像语义特征形成影像数据库，根据待搜索影像的语义特征从影像数据库中检索出具有类似特征的影像。在互联网中检索影像，先提取出网页中的影像集，进行特征分析和相似度配准，最终检索出影像。
近几年随着移动和手持平台的飞速发展，手持装置的数据处理能力越来越强大，处理器的内存和频率也有了极大提升，如今手持装置不但具有CPU，还会集成图形处理器或者DSP等其它专用处理器，这都极大的提升了手持装置的数据处理能力。移动平台逐步普及，在人们的生产生活中扮演越来越重要的角色。当前除社交通讯、影音娱乐外，在工业生产、医疗健康、电子商务、金融服务、安全监控等方面已有广泛应用。在影像处理技术方面，现有技术已有将影像处理应用于相机的简单面部判断、全景图生成，将面部识别、指纹识别、甚至虹膜识别应用于智能手持装置以增加设备安全性。手持装置具有质量轻、功耗低、携带方便等优势。将优秀方法移植到移动端是一种趋势，但影像配准方法复杂度高，运算量大，同时手持装置处理器与桌面计算机处理器相比性能仍存在不足，简单将方法移植在手持装置上则存在实时性差、配准效果欠佳的问题。因此，将基于局部特征的影像配准方法在手持装置上以较快的速度和较优的效果实现，具有很大的意义，可极大的方便复杂方法在仪器仪表等便携式设备上应用，增强手持装置的性能，扩展方法应用范围，方便人们生产和日常生活。因此，本发明在手持装置上，对局部不变特征的检测子方法、描述子方法、配准方法的应用进行优化改进。
现有技术主要的影像配准方法有采用影像的灰度信息进行配准，采用影像转换域信息进行配准，基于具有鲁棒性的局部不变特征进行配准。基于灰度信息的配准方法，采用影像灰度信息，构建影像间的度量模型，根据转换模型的相似性度量函数，以达到配准的目的；基于转换域的方法，先将影像从一种信息域转换至另一种信息域，再选取影像中的区域，按照某种模型关系进行影像匹配；基于局部不变特征的方法则是按照某种方法先检测影像上局部稳定图像特征点，然后对图像特征点邻域进行描述，采用描述子信息进行配准。局部不变特征的影像匹配方法，对影像的信息量进行有效的压缩，加快了处理速度，并且在各类转换条件下能得到优良的配准效果，是影像匹配领域研发和应用的热点。局部不变特征在影像的各种变化下，如平移、旋转、光照变化、尺度转换、模糊及视角转换等，检测出的影像局部特征及其描述子具有稳定不变性，基本思想为提取影像中所存在的本质特征，在影像具体表现内容发生一定变化的条件下，这些特征能保持一定的自适应性和稳定性；对不同拍摄状况下的同一目标或者场景的影像，检测出的局部特征特性应当具有鲁棒性、可重复性、局部不变性。
局部不变特征的影像匹配方法的主要过程为：一是提取影像的稳定图像特征点；二是在图像特征点周围一定区域内构建描述子向量；三是采用待配准影像的图像特征点描述子向量进行配准。现有技术的影像配准方法存在计算量大、复杂度高的问题，在移植到移动平台上使用时，再加上移动处理器性能比传统计算机处理器差，导致方法在实现时存在实时性差、配准精度差的问题。
现有技术在原理方面发展和改进主要集中在三个方面：一是获取稳定高效的图像特征点；二是采用稳定高效的图像特征点描述子模型和构建方法；三是提高配准效率。在采用计算机高性能运算单元方面，计算机硬件的发展也为提高方法速度和效率提供了方便，现有技术有：采用计算机的多核处理器进行多线程并行运算；采用计算机高性能硬件加速器，如影像处理单元、DSP、FPGA。在手持装置上，常借助于移动处理器的移动图形处理器实现方法的硬件加速。
当前，基于局部图像特征点的影像配准方法应用越来越广泛，在手持装置上实时准确的实现影像配准方法的需求越来越明显。但是从现有技术的结果看，在实际应用中尤其在手持装置上，在各类场景下都不能具备较好的配准效果也不能保证实时性。
针对现有技术的存在明显的缺点，本发明拟解决以下问题：
一是本发明研发过程中发现，提高方法效率效果的障碍主要在图像特征点提取运算量大、描述子复杂、配准效率低和手持装置处理器性能存在较大不足等几个方面。因此从配准方法原理的一个或者多个方面进行改进，采用更先进的移动处理器上的高性能运算单元，采用效率更高的编程方法，能够有效的解决问题。
二是本发明对手持装置上基于局部不变特征的影像配准进行了深入研究，在对现有技术经典的局部不变图像特征点检测算子、以及影像配准方法的原理进行了研发分析后，将方法先在桌面计算机上实现，然后移植到手持装置上，影像配准方法在手持装置上应用时会存在实时性差、配准效果欠佳的问题。
三是本发明分析后发现现有技术同时存在以下几个问题：在方法原理方面，存在图像特征点检测的过程中存在步骤复杂、运算量大的问题；在描述子计算的过程中，描述子的模型仍存在复杂，构建特征向量冗余信息多，运算复杂度高的问题；在影像配准过程，存在配准效率低，速度慢的问题。而在手持装置上应用时，因手持装置处理性能相较于桌面处理仍然较低，因此方法的效率会进一步降低，若借助于手持装置的高性能加速硬件移动图形处理器进行方法优化时，因硬件性能的限制，在影像处理过程中存在精度差导致的配准效果差的问题。
本发明借助于移动图形处理器和CPU实现影像配准方法，对采用移动图形处理器进行方法硬件加速可行性和效果进行了研发和分析，并对方法的图像特征点检测以及配准方法方面进行了原理改进和优化。主要的实现方法为，先在桌面计算机上通过VisualStudio编译器采用C/C++语言，并借助于Open CV API，实现方法的优化；然后再将方法移植到手持装置上实现，移植过程中主要是在Eclipse编译器上采用Android NDK技术，JAVA、C/C++及Open CV API相结合实现方法，生成应用.apk文件。在采用移动图形处理器实现方法时，采用OpenGL ES2.0 API和GLSL，并将方法在手持装置上进行实验和分析。提出了高效准确的图像特征点旋转不变性检测方法，详细记载了该方法的依据和实现细节、实验与分析过程，并把该方法和现有技术几种具有代表性的图像特征点检测方法进行对比。基于Android NDK技术、Open CV API、进行移动图形处理器开发所采用的Open GL ES 2.0API、着色器和GLSL，在手持装置上采用移动图形处理器实现方法，分析当前硬件水平下使用移动图形处理器实现复杂方法所存在的障碍和不足，并提出了定点纹理表现浮点纹理的方法，并给出了方法过程中的实验结果和分析。根据影像配准算法手持装置应用中的图像特征点，对配准原理进行分析，提出采用图像特征点的邻域梯度值对图像特征点进行分类别配准方法，详细阐述了实现的依据方法，并给出了实验结果和分析。
发明内容
针对现有技术的不足，本发明提供的高效快速的手持装置的影像配准优化方法，针对图像特征点检测步骤复杂和速度慢的问题，根据影像尺度空间和空间转换原理，并与实验分析相结合的方法，提出了高效准确的旋转不变图像特征点的检测方法，在场景旋转、亮度转换、模糊、及一些尺度、视角转换条件下有精良的配准效果，且提高了图像特征点检测效率；针对移动图形处理器无浮点纹理输出的问题，根据片元着色器读写纹理的原理，提出了定点纹理表现浮点纹理的方法，提高了移动图形处理器片元着色器输出纹理的浮点精度；在影像配准阶段，结合实验方法，提出了采用图像特征点的邻域梯度值对图像特征点进行分类别配准的方法，提高了图像特征点的配准速度和效率。
为达到以上技术效果，本发明所采用的技术方案如下：
高效快速的手持装置的影像配准优化方法，首先对二幅影像进行图像特征点提取，通过度量相似性找到匹配的图像特征点对；再通过匹配的图像特征点对得到影像空间坐标转换参数；最后由影像空间坐标转换参数进行影像配准；本发明从采用移动处理器的图形处理器硬件和影像配准方法层面进行优化改进，在图像特征点提取、影像配准上提出优化方法；
一是根据影像尺度空间和空间转换原理，提出高效准确的图像特征点旋转不变性检测方法；二是基于片元着色器读写纹理原理，提出定点纹理表现浮点纹理的方法；三是在影像配准阶段，提出采用图像特征点的邻域梯度值对图像特征点进行分类别配准；
高效准确的图像特征点旋转不变性检测方法包括生成低频影像、低频影像的稳固点判定、高效准确的旋转不变检测子的实现方法；
生成低频影像是基于尺度空间原理，在影像信息中引入尺度的参数信息构建影像处理模型，在序列按规则生成的尺度参数处理下生成系列不同尺度的影像；尺度空间方法引入多尺度变化的影像分析方法；在生成尺度空间，从精尺度到粗尺度的转换过程中，影像信息逐步简化和减弱的同时，产生新尺度的影像不会产生新的特征；采用高斯函数对影像滤波的过程描述尺度空间的构造，高斯核是在尺度转换过程中不添加影像额外信息时，唯一满足要求的转换核；
产生尺度空间时，将高斯核与需要进行运算的二维影像做卷积，生成与参数相对应的尺度影像；在尺度空间表示过程中，保持影像的分辨率不变，随着高斯平滑核的逐步增大，由初始影像信号产生序列信号，并且在新产生的信号表示初始信号过程中，随着逐步的高斯低通滤波，表达影像细节的高频信号被剔除，表示影像根本特征的低频信息被保留。
高效快速的手持装置的影像配准优化方法，进一步的，低频影像的稳固点判定中，参与影像配准的二幅影像，一幅影像的微观像素点位置与另一幅影像之间相同或存在一定的变化，主要变化有：光照转换、平移、旋转、模糊、缩放、压缩、视角变化，影像只发生旋转和平移转换的状况，像素位置变化，但经过一定高斯滤波滤去高频信号后的低频信号影像上，存在稳定的极值点；对缩放和视角变化不明显的状况，经过高斯滤波处理后的低频信号影像上，图像特征点在一定区域范围内的相互关系不变，特征信息相似性存在；
几何转换伴随上述变化，像素点随空间关系和坐标位置变化进行重构转换，方法包括：复杂度最低最近邻像素插值方法、双线性像素插值方法、复杂度较高的高阶像素插值法；插值方法是以某像素为中心，和周围一定区域范围内的像素进行插值运算重新构成新位置的像素，变化前后影像中的稳固点，其像素点值和周围相邻区域范围内像素值的关系具有鲁棒性，低频影像中的区域极值点是一种稳固点。
高效快速的手持装置的影像配准优化方法，进一步的，高效准确的旋转不变检测子的实现方法提出一种图像特征点检测子，图像特征点检测子具体的实现步骤为：
第一步，作为预处理，对获取的影像采用较小的高斯核进行高斯滤波；
第二步，在第一步的基础上进行较大高斯核的高斯滤波，滤去高频信号，保留影像的低频信号；
第三步，在第二步中的低频信号上获取一定邻域内的极值点，这些点滤去高频影像细节后，是影像低频信息中相对稳固的点；
高效快速的手持装置的影像配准优化方法，进一步的，设定生成低频影像的高斯核时，假设一幅影像的尺寸分别为C、B，进行某次高斯滤波的一维滤波器长度为F，则运算量M如式1所示：
M＝2*C*B*(F+F)＝4*C*B*F 式1
对于高斯核为a的一维高斯滤波器的长度F，如式2所示：
F＝2*[4*a]+1 式2
式2中的[]符号表示取整运算，将式1代入式2中则有式3：
M＝8*C*B*([4*a])+4*C*B 式3
针对某一幅影像，进行一次高斯平滑滤波时间随a呈近似线性变化，计算时间和计算量正相关，a越大影像完成一次高斯平滑滤波所需时间越长；
a和检测时间之间为近似线性关系，a越大运算时间越长；a越小检测的点数越多，随a的增加检测的点数减少，并呈一种近似反比关系，在a小于6.0之前检测到的点数目变化由急剧减少到缓慢减少，在a大于6.0之后检测数目变化较为缓慢，而当a位于7.0左右或者7.0之后时，图像特征点数趋于稳定；a处于6.6至6.9之间图像特征点的数目已逐步稳定，随a值的继续增加图像特征点数目变化已不明显，而此时获取低频影像进行的高斯平滑滤波的运算时间已增加较多；因此在方法第二步中，设置高斯核a为6.8。
高效快速的手持装置的影像配准优化方法，进一步的，本发明提出采用定点纹理表现浮点纹理的方法，主要依据为：一是片元着色器以向量形式进行纹理输入输出，对生成的纹理格式通过参数进行选择，纹理格式包括GL_RGBA、GL_ALPHA、GL_RGB，对生成纹理的通道数可选择和操作，若为GL_RGBA格式时，所生成的纹理是四个通道，纹理中的每个单位都是一个四维向量；二是片元着色器内部有内置矢量，可方便存储和操作纹理像素值，也可被内置变量和内置函数采用，且片元着色器写给纹理最终的输出结果也是四维或者一维失量的形式；三是片元着色器内部对纹理计算时，纹理值并不是与影像相对应的值，而要将影像R、G、B、A值的取值范围从[0,255]归一化至[0.0，1.0]范围内，当片元着色器内部计算结束后，在返回给渲染管线纹理缓存或者帧缓存时，又变回与原来影像值相适应的值，通过实验得出这二个过程的变化都是线性的；
根据纹理在渲染管线中是多通道，及在片元着色器中的矢量性，计算过程中纹理的通道选择为GL_RGBA格式，片元着色器的输出形式选择为四维矢量，采用1位表示计算过程中的整数部分，其它位表示小数部分，小数部分采用1至3位表示，实现不同的精度等级；
采用3位表现浮点数，在片元着色器输出结果时的转换式为：
式4中，S表示在片元着色器中的纹理值，取值范围为[0.0,1.0]，d.x、d.y、d.z分别表示片元着色器中4维矢量中3个分量，运算符表示对它们乘于255后取整后再截取回[0.0,1.0]的运算，每当着色器读入缓存纹理时的转换式为：
式5中，S为在片元着色器中的纹理值，E[1]、E[2]、E[3]表示从管线中读入片元着色器后的纹理值，当存储器从图形处理器中获取数据时要获得高精度的浮点数据要经过式5，此时的S表示影像的某一点像素值，E[1]、E[2]、E[3]表示存储器读取的纹理值，当采用一位表示小数使的精度达0.004，两位时原理精度达1.5x10-4，三位时原理精度达1.5x10-6。
高效快速的手持装置的影像配准优化方法，进一步的，本发明在高斯空间和高斯差分空间建立时，采用定点纹理表现浮点纹理，在空间构造过程中，接收上一幅影像纹理时，在片元着色器中采用式5，将接收到的定点纹理转换为浮点数据，在片元着色器向纹理缓存写入数据时，采用式4，使片元着色器内的浮点数据进行一定的变化，分配在四维向量的几位上，实现输出定点纹理；
在图形处理器中图像特征点检测和精选时，选择将极值点计算放在CPU中，在移动图形处理器中计算关键点的主方向时，将主方向结果写成纹理形式供后续计算使用；主方向的输出保持为浮点值，将计算关键点的主方向放在CPU上；
描述子的计算由CPU实现，CPU获取图形处理器中的高斯空间和高斯差分空间的数据；将高斯差分空间在CPU实现，利用所读取的高斯空间数据生成高斯差分空间；借助于移动图形处理器和CPU相结合，实现SIFT方法流程。
高效快速的手持装置的影像配准优化方法，进一步的，在影像配准阶段，将二幅相配准影像的图像特征点集中的每个点之间进行对比的过程，选择好的分组方法和策略，在影像配准计算欧氏距离计算时，提出采用图像特征点的邻域梯度值对图像特征点进行分类别配准方法，具体为手持装置上四邻域梯度值临界值分组配准方法。
高效快速的手持装置的影像配准优化方法，进一步的，手持装置上四邻域梯度值临界值分组配准方法是在图像特征点主方向时计算图像特征点四邻域梯度值，作为新的特征，在描述子向量欧氏距离计算前用来进行分组匹配；
图像特征点描述子计算后，所生成的点特征有坐标信息、尺度位置信息、基于梯度统计的128维特征向量信息；匹配计算时采用图像特征点的128维描述子向量进行欧氏距离计算，判断图像特征点是否是同名点；根据待配准影像对的图像特征点集中点对之间最近欧氏距离和次最近欧氏距离的比值，判断是否是同名点，欧氏距离计算式为：
式中，R是128维特征向量的欧氏距离，xi、yi是128维向量的值，在128维描述子生成过程中，邻域内的图像特征点的梯度值作用并不平等，乘一个加权系数得到；加权系数计算方法如式7所示：
式7中，G是加权系数，x、y是描述子计算时邻域内任意点与关键点的距离，a是4倍的邻域窗口尺寸值；特征向量计算区域内，距离图像特征点越近的点的梯度值，对配准结果作用越大，其中作用最明显的是图像特征点的四邻域梯度值。
高效快速的手持装置的影像配准优化方法，进一步的，基于邻域内不同点的梯度值和配准效果间的关系，本发明提出采用四邻域梯度值进行图像特征点分组匹配的方法，在计算主方向的同时，计算图像特征点的四邻域梯度值，把计算所得的梯度值增加为图像特征点的新特征信息，在进行欧氏距离计算前使用；
本发明提出的手持装置上四邻域梯度值临界值分组配准方法，在获得图像特征点坐标和位置信息后，进行主方向计算时，通过统计邻域梯度值和方向信息外，还需要计算图像特征点四邻域梯度值，加入图像特征点特征信息中；在图像特征点进行欧氏距离以判断是否为同名点前，对比二幅影像点集中点的梯度特征，把梯度特征相差所得绝对值与分类临界值进行比较，并以此分类；符合条件的进行后续的欧氏距离计算和配准计算，不符合条件的点则不继续运算。
与现有技术相比，本发明的贡献和创新点在于：
一是本发明提供的高效快速的手持装置的影像配准优化方法，基于现有技术的影像配准方法及图像特征点检测方法的原理和优缺点，并进行补充实验，研发了影像配准技术在手持装置上应用所存在的障碍的优化加速方法，在进行理论分析研发和序列的实验后，对方法进行了一系列的创新和优化，将经典影像配准优化后移植到移动端，把局部不变特征图像匹配在移动设备上高效的实现，极大的方便复杂算法在仪器仪表等便携式设备上使用，提升了移动和便携设备的性能。
二是本发明提供的高效快速的手持装置的影像配准优化方法，优化后图像配准算法复杂度降低、运算量减小，加上充分利用和调动了移动处理器的性能，将算法在移动设备上实现时，有效解决了实时性差和配准效果差的问题。提高了算法的运行速度和执行效率，本发明从使用移动处理器的GPU硬件和对算法理论进行优化改进两个方面进行，使用移动GPU硬件加速，针对其中的无浮点纹理输出问题提出了解决方法，在特征点提取、图像配准方面提出了改进方法，影像配准优化方法整体效果较为理想，方法灵活性强、作业效率高、影像配准精度高。
三是本发明提供的高效快速的手持装置的影像配准优化方法，针对图像特征点检测步骤复杂和速度慢的问题，根据影像尺度空间和空间转换原理，并与实验分析相结合的方法，提出了高效准确的旋转不变图像特征点的检测方法，在场景旋转、亮度转换、模糊、及一些尺度、视角转换条件下有精良的配准效果，且提高了图像特征点检测效率。
四是本发明提供的高效快速的手持装置的影像配准优化方法，针对移动图形处理器无浮点纹理输出的问题，根据片元着色器读写纹理的原理，提出了定点纹理表现浮点纹理的方法，提高了移动图形处理器片元着色器输出纹理的浮点精度；
五是本发明提供的高效快速的手持装置的影像配准优化方法，在影像配准阶段，结合实验方法，提出了采用图像特征点的邻域梯度值对图像特征点进行分类别配准的方法，提高了图像特征点的配准速度和效率，方法局限性小，具有普适性和可移植性，推广应用潜力巨大。
附图说明
图1是本发明的高斯核a与时间的对应关系曲线示意图。
图2是本发明的高斯核a与检测到的特征点数量的对应关系曲线示意图。
图3是本发明的基于移动图形处理器的SIFT算法流程图。
图4是本发明计算描述子向量邻域示意图。
图5是本发明的四邻域梯度值的计算示意图。
图6是本发明的特征点的信息内容示意图。
具体实施方式
下面结合附图，对本发明提供的高效快速的手持装置的影像配准优化方法的技术方案进行进一步的描述，使本领域的技术人员可以更好的理解本发明并能够予以实施。
影像配准首先对二幅影像进行图像特征点提取，通过度量相似性找到匹配的图像特征点对；再通过匹配的图像特征点对得到影像空间坐标转换参数；最后由影像空间坐标转换参数进行影像配准，图像特征点提取是影像配准的关键，准确的图像特征点提取为成功的特征匹配提供保障。
影像配准方法运算量大、复杂度高，外加手持装置的移动处理器性能不足，将影像配准方法在手持装置上实现时，存在配准效果差和实时性差的问题。为提高影像配准方法的运行速度和效率，从采用移动处理器的图形处理器硬件和影像配准方法层面进行优化改进，在采用移动图形处理器硬件加速时，因移动图形处理器性能的限制，方法的实现效果欠佳。本发明对现有技术的这些限制因素进行了深入的研发，针对无浮点纹理输出问题提出了解决方法，在当前手持装置的硬件条件下，提高方法速度主要依靠原理改进。本发明在经典影像配准方法、图像特征点检测子基础上，通过实验与分析发现现有技术方法存在的不足，在图像特征点提取、影像配准上提出优化方法。
本发明一是针对图像特征点检测步骤复杂、速度慢的缺点，根据影像尺度空间和空间转换原理，并经实验与分析，提出高效准确的图像特征点旋转不变性检测方法，在各类场景转换条件下有精良的配准效果，且提高了图像特征点检测效率；二是针对移动图形处理器无浮点纹理数据输出的问题，基于片元着色器读写纹理原理，提出定点纹理表现浮点纹理的方法，提高移动图形处理器片元着色器输出纹理的浮点精度；三是在影像配准阶段，提出采用图像特征点的邻域梯度值对图像特征点进行分类别配准，提高图像特征点的配准速度和效率。
一、高效准确的图像特征点旋转不变性检测方法
(一)生成低频影像
基于尺度空间原理，在影像信息中引入尺度的参数信息构建影像处理模型，在序列按规则生成的尺度参数处理下生成系列不同尺度的影像，这些尺度影像体现影像的本质信息；尺度空间方法引入多尺度变化的影像分析方法，相比单尺度影像处理分析技术，获得的特征信息更能体现影像的本质。在生成尺度空间，从精尺度到粗尺度的转换过程中，影像信息逐步简化和减弱的同时，产生新尺度的影像不会产生新的特征；采用高斯函数对影像滤波的过程描述尺度空间的构造，高斯核是在尺度转换过程中不添加影像额外信息时，唯一满足要求的转换核。
产生尺度空间时，将高斯核与需要进行运算的二维影像做卷积，生成与参数相对应的尺度影像。在尺度空间表示过程中，若保持影像的分辨率不变，随着高斯平滑核的逐步增大，由初始影像信号产生序列信号，并且在新产生的信号表示初始信号过程中，随着逐步的高斯低通滤波，表达影像细节的高频信号被剔除，表示影像根本特征的低频信息被保留。
(二)低频影像的稳固点
参与影像配准的二幅影像，一幅影像的微观像素点位置与另一幅影像之间相同或存在一定的变化，主要变化有：光照转换、平移、旋转、模糊、缩放、压缩、视角变化，影像只发生旋转和平移转换的状况，像素位置变化，但经过一定高斯滤波滤去高频信号后的低频信号影像上，存在一些图像特征点在一定区域内像素值之间的大小关系无变化，存在稳定的极值点；对缩放和视角变化不明显的状况，经过高斯滤波处理后的低频信号影像上，图像特征点在一定区域范围内的相互关系也不变，特征信息相似性存在。
几何转换伴随着上述变化，像素点随空间关系和坐标位置变化进行重构转换，方法包括：复杂度最低最近邻像素插值方法、双线性像素插值方法、复杂度较高的高阶像素插值法。这几种插值方法的实质都是以某像素为中心，和周围一定区域范围内的像素进行插值运算重新构成新位置的像素，变化前后影像中的稳固点，其像素点值和周围相邻区域范围内像素值的关系具有鲁棒性，本发明通过实验发现上述低频影像中的区域极值点是一种稳固点。
(三)高效准确的旋转不变检测子的实现方法
基于上述的二个方面及实验结果，本发明提出一种图像特征点检测子，图像特征点检测子具体的实现步骤为：
第一步，作为预处理，对获取的影像采用较小的高斯核进行高斯滤波；
第二步，在第一步的基础上进行较大高斯核的高斯滤波，滤去高频信号，保留影像的低频信号；
第三步，在第二步中的低频信号上获取一定邻域内的极值点，这些点滤去高频影像细节后，是影像低频信息中相对稳固的点；
在实际应用中需进一步解决二个主要问题：
问题一是在第二步中在预处理影像的基础上为获取合适的低频影像选择合适的高斯平滑核参数；
问题二是在第三步中在低频影像上获取区域内极值点时，所选区域的大小参数。
在选择这二个参数过程中通过原理分析和对实验结果数据分析相结合方法确定这二个步骤的参数。针对问题一首先对不同的高斯平滑核和影像进行高斯滤波时间的关系进行原理分析后进行实验，最终选择最优的高斯平滑核；针对问题二，通过实验确定最优的区域大小。
(1)设定生成低频影像的高斯核
对预处理后的影像进行高斯滤波获取低频影像时，采用可分离滤波器的效率较高，可分离滤波器把多维的卷积化分解成多个一维卷积，最终处理结果不变；针对二维影像的高斯滤波运算，是先对影像的行进行一次一维卷积运算，再对影像的列进行一次一维卷积运算，可大幅提高运算速度；对影像进行一次高斯平滑滤波，运算量与影像尺寸和高斯核大小相关。
假设一幅影像的尺寸分别为C、B，进行某次高斯滤波的一维滤波器长度为F，则运算量M如式1所示：
M＝2*C*B*(F+F)＝4*C*B*F 式1
对于高斯核为a的一维高斯滤波器的长度F，如式2所示：
F＝2*[4*a]+1 式2
式2中的[]符号表示取整运算，将式1代入式2中则有式3：
M＝8*C*B*([4*a])+4*C*B 式3
通过对式3的分析，针对某一幅影像，进行一次高斯平滑滤波时间随a呈近似线性变化，计算时间和计算量正相关，a越大影像完成一次高斯平滑滤波所需时间越长。
此外，实施例通过实验观察和分析影像进行一次高斯滤波所需的时间和高斯核a之间的关系，实验方法为将多幅尺寸不同的影像，对在不同的高斯核a下完成高斯滤波的时间进行统计，a变化范围为1.6至8.3，并绘制成a和时间对应关系的二维曲线图，其中典型的关系曲线如图1所示，横坐标表示a从1.6至8.3的变化，纵坐标表示时间，因不同尺寸的影像进行一次高斯平滑滤波的时间不同，但其基本曲线趋势相似，因此在曲线图中纵坐标轴不标注具体的时间值。通过图1得出，a和检测时间的对应关系和对式3的分析相符，a和检测时间之间为近似线性关系，a越大运算时间越长。
实施例还进行影像高斯滤波获得低频影像时，随高斯平滑核a变化时，所检测到的图像特征点数和a的实际表现关系的实验，实验的方法为对不同的影像，在不同的高斯核a下所产生的低频信息影像上采用固定区域所检测到的检测点的数目进行统计，a变化范围为1.6至8.3，并绘制a和检测点数对应的二维关系图，其中典型的关系图如图2所示，图中横坐标表示a从1.6至8.3的变化，纵坐标表示所检测的点数，因不同影像在其低频影像上所检测的点数不同，但其基本曲线趋势相似，因此在曲线关系图中的纵坐标轴不标注具体值。通过图2得出，a越小检测的点数越多，随a的增加检测的点数减少，并呈一种近似反比关系，在a小于6.0之前检测到的点数目变化由急剧减少到缓慢减少，在a大于6.0之后检测数目变化较为缓慢，而当a位于7.0左右或者7.0之后时，图像特征点数趋于稳定。
在选取影像图像特征点时，除图像特征点稳定性外，图像特征点的数目和检测时间的长短也是图像特征点提取方法关键性能指标。稳定的图像特征点数目适中，若数目过多则存在较多冗余点，图像特征点描述子向量计算和配准过程会增加运算量，并增加后续步骤的运算时间；若数目过少则会配准不稳定及配准效果欠佳。在保证稳定图像特征点数目的状况下，检测时间越快越好，过长的检测时间会影响方法的实时性。将图1和图2结合分析，得出在a处于6.6至6.9之间图像特征点的数目已逐步稳定，随a值的继续增加图像特征点数目变化已不明显，而此时获取低频影像进行的高斯平滑滤波的运算时间已增加较多。因此在方法第二步中，为获取低频影像，选取高斯滤波的高斯核时，选择6.6至6.9之间的值，既保证能检测出适当数目的稳定图像特征点，又能尽量减少运行时间，提高方法效率。在本发明的实施例中设置高斯核a为6.8。
(2)设定低频影像上极值检测区域大小
在检测方法第二步获得的低频影像上的像素点的变化已不明显，当选极值点区域为5x5时所检测的图像特征点的数目已趋于稳定，当区域半径再增大时对检测出的图像特征点数目影响极小。针对极值检测区域的大小对检测极值点数目的影响，实施例实验为选择固定的a值为6.8，在大量不同条件下影像的低频影像进行极值点检测，改变检测区域大小，并统计所对应的条件下检测到极值点数目，选择其中几幅影像的不同的极值检测区域大小与所对应的极值点数目绘制成表，当极值检测区域大于5x5时，所检测到的图像特征点数目变化极小，而当区域越大，方法执行时占用的时间越长，会降低方法的实时性。因此，极值检测区域选设置为5x5，不仅能保证适当数目的稳定检测点，还能尽量的提高方法的检测效率。
二、基于手持装置的影像配准方法
(一)移动图形处理器定点纹理表现浮点纹理的实现方法
在采用移动图形处理器进行影像处理时，将影像数据转化纹理数据格式输入图形处理器的片元着色器，在进行计算处理后将处理结果以纹理的形式输出，图形处理器对纹理的处理能力对方法精度和结果影响关键。因在当前的手持装置硬件条件下，虽然移动图形处理器支持浮点运算，但大部分移动图形处理器不支持浮点纹理输入输出，虽部分图形处理器对浮点纹理进行了扩展，但实际浮点精度并未达到所需效果，在影像处理方法中只有定点纹理输入输出，但图形处理方法的许多中间运算结果却需以纹理的形式暂存处理，使浮点运算结果的方法效果很差。
本发明提出一种采用定点纹理表现浮点纹理的方法，主要依据为：一是片元着色器以向量形式进行纹理输入输出，对生成的纹理格式通过参数进行选择，纹理格式包括GL_RGBA、GL_ALPHA、GL_RGB，对生成纹理的通道数可选择和操作，若为GL_RGBA格式时，所生成的纹理是四个通道，纹理中的每个单位都是一个四维向量；二是片元着色器内部有内置矢量，可方便存储和操作纹理像素值，也可被内置变量和内置函数采用，且片元着色器写给纹理最终的输出结果也是四维或者一维失量的形式；三是片元着色器内部对纹理计算时，纹理值并不是与影像相对应的值，而要将影像R、G、B、A值的取值范围从[0,255]归一化至[0.0，1.0]范围内，当片元着色器内部计算结束后，在返回给渲染管线纹理缓存或者帧缓存时，又变回与原来影像值相适应的值，通过实验得出这二个过程的变化都是线性的。
根据纹理在渲染管线中是多通道，及在片元着色器中的矢量性，计算过程中纹理的通道选择为GL_RGBA格式，片元着色器的输出形式选择为四维矢量，采用1位表示计算过程中的整数部分，其它位表示小数部分，小数部分采用1至3位表示，实现不同的精度等级。实施例采用3位表现浮点数，在片元着色器输出结果时的转换式为：
式4中，S表示在片元着色器中的纹理值，取值范围为[0.0,1.0]，d.x、d.y、d.z分别表示片元着色器中4维矢量中3个分量，运算符表示对它们乘于255后取整后再截取回[0.0,1.0]的运算，每当着色器读入缓存纹理时的转换式为：
式5中，S为在片元着色器中的纹理值，E[1]、E[2]、E[3]表示从管线中读入片元着色器后的纹理值，当存储器从图形处理器中获取数据时要获得高精度的浮点数据要经过式5，此时的S表示影像的某一点像素值，E[1]、E[2]、E[3]表示存储器读取的纹理值，当采用一位表示小数使的精度达0.004，两位时原理精度达1.5x10-4，三位时原理精度达1.5x10-6。
(二)基于移动图形处理器的影像配准实现方法
本发明在高斯空间和高斯差分空间建立时，采用定点纹理表现浮点纹理，在空间构造过程中，接收上一幅影像纹理时，在片元着色器中采用式5，将接收到的定点纹理转换为浮点数据，在片元着色器向纹理缓存写入数据时，采用式4，使片元着色器内的浮点数据进行一定的变化，分配在四维向量的几位上，实现输出定点纹理。过程中虽增加了一定的运算量，但和高斯平滑运算相比小很多，所占用的时间比高斯平滑时间少很多，却增加了高斯空间的精度，为结果的准确性提供保障。
在图形处理器中图像特征点检测和精选时，虽然移动图形处理器的处理结果和CPU的结果基本一致，但因OpenGL着色语言的限制，写出的着色器代码量较大，着色器传输至图形处理器及编译时间很长，甚至远超出CPU执行所需时间，因而选择将极值点计算放在CPU中，在移动图形处理器中计算关键点的主方向时，将主方向结果写成纹理形式供后续计算使用；为保持主方向准确性，主方向的输出保持为浮点值，但这样的结果导致只能输出主方向，无法输出次方向，影响方法的准确性，因此将计算关键点的主方向放在CPU上。
如图3移动图形处理器的SIFT方法流程图所示，在进行描述子计算过程中，通过实验发现在图形处理器中实现时所耗费的时间超过在CPU中实现所用的时间，因此描述子的计算由CPU实现，CPU获取图形处理器中的高斯空间和高斯差分空间的数据；若高斯差分在图形处理器中实现，在计算结果上也可保持一定的精度，这时CPU需获得由高斯空间数据和高斯差分空间数据；因CPU获取图形处理器读取数据的速度极慢，选择将高斯差分空间在CPU实现，利用所读取的高斯空间数据生成高斯差分空间，节省时间。
综上所述，借助于移动图形处理器和CPU相结合，实现SIFT方法的流程如图3所示，通过在CPU和图形处理器上各部分运算时间进行对比，在采用移动图形处理器优化部分的速度平均可加快6.8倍。
(三)高效准确的旋转不变检测子在手持装置上的实现方法
将本发明高效准确的旋转不变检测子在手持装置上实现，实施例中选择的移动处理器型号为瑞芯微RK3066，CPU：1GB RAM，ARM Codtex-A9，频率：1.6GHz。系统为安卓4.1，编程方法是在Eclipse编译器上采用NDK技术借助于OpenCV库实现方法。实施例中所采用的测试影像因初始影像尺寸较大，在手持装置上处理时耗时久，将初始影像按照适当的比例缩小，并在手持装置上处理，统计影像在手持装置上图像特征点检测点数、检测时间、配准效果。通过几组初始影像的配准结果数据和桌面计算机的配准效果进行对比得出，本发明提出的图像特征点检测子在手持装置上影像配准效果和在桌面计算机上的配准效果基本一致。本发明提出的高效准确的图像特征点旋转不变性检测子在图像特征点检测速度上，相较于SIFT图像特征点检测方法速度提高了3.9至4.3倍，配准效果和图像特征点配准效率与SIFT方法基本一样，且对于旋转转换的影像，本发明的图像特征点检测方法配准效率更高。
三、手持装置上影像配准方法的应用和优化
在影像配准阶段，将二幅相配准影像的图像特征点集中的每个点之间进行对比的过程，选择比较好的分组方法和策略能够有效的减少不必要的运算，提高配准效率。在本发明中，进一步提出了提高配准效率的优化方法：在影像配准计算欧氏距离计算时，通过实验的方法，提出了一种采用图像特征点的邻域梯度值对图像特征点进行分类别配准方法，提高图像特征点的配准速度。
(一)手持装置上四邻域梯度值临界值分组配准方法
在计算图像特征点向量描述子的区域中，距离图像特征点越近的点对配准效果影响最大。在图像特征点主方向时计算图像特征点四邻域梯度值，作为新的特征，在描述子向量欧氏距离计算前用来进行分组匹配，通过实验证明，本发明方法可减少计算量，匹配计算速度加快1.9至2.9倍，同时配准效果略有提高。
图像特征点描述子计算后，所生成的点特征有坐标信息、尺度位置信息、基于梯度统计的128维特征向量信息。匹配计算时采用图像特征点的128维描述子向量进行欧氏距离计算，判断图像特征点是否是同名点。根据待配准影像对的图像特征点集中点对之间最近欧氏距离和次最近欧氏距离的比值，判断是否是同名点，欧氏距离计算式为：
式中，R是128维特征向量的欧氏距离，xi、yi是128维向量的值，通过对公式分析得知，对影像点集中的每个点都做欧氏距离计算有很大的运算量，导致类似于SIFT方法的配准过程计算量大、时间过长的问题。所以，减少这部分运算量能有效提高配准方法的效率。通过对描述子生成过程的分析得知，如图4所示，在128维描述子生成过程中，邻域内的图像特征点的梯度值作用并不平等，需要乘一个加权系数得到。加权系数计算方法如式7所示：
式7中，G是加权系数，x、y是描述子计算时邻域内任意点与关键点的距离，a是4倍的邻域窗口尺寸值。通过对式7分析，特征向量计算区域内，距离图像特征点越近的点的梯度值，对配准结果作用越大，同时通过实验发现，其中作用最明显的是图像特征点的四邻域梯度值。
基于上述的原理分析和大量实验证明邻域内不同点的梯度值和配准效果间的关系，本发明提出采用四邻域梯度值进行图像特征点分组匹配的方法，在计算主方向的同时，计算图像特征点的四邻域梯度值，如图5所示，图中黑色区域为图像特征点，黑白相间部分为所选取的四个邻域点，把计算所得的梯度值增加为图像特征点的新特征信息，如图6所示，在进行欧氏距离计算前使用。
本发明提出的手持装置上四邻域梯度值临界值分组配准方法，在获得图像特征点坐标和位置信息后，进行主方向计算时，通过统计邻域梯度值和方向信息外，还需要计算图像特征点四邻域梯度值，加入图像特征点特征信息中；在图像特征点进行欧氏距离以判断是否为同名点前，对比二幅影像点集中点的梯度特征，把梯度特征相差所得绝对值通过大量实验所得分类临界值进行比较，并以此分类；符合条件的进行后续的欧氏距离计算和配准计算，不符合条件的点则不继续运算。通过这种分类别配准方法，可减少不必要的欧氏距离计算量，避免大量的无用计算，极大的提高运算速度和效率。
本发明提出的手持装置上四邻域梯度值临界值分组配准方法的实施例中，计算图像特征点信息的过程中，进行主方向计算时，计算图像特征点四邻域梯度值，加入图像特征点特征信息中；在图像特征点进行欧氏距离判断是否为同名点前，对梯度特征相差所得绝对值采用0.02的临界值进行分组匹配，符合条件的进行后续的欧氏距离计算和配准计算，不符合条件的点则不继续运算。通过分类别配准方法，可减少不必要的欧氏距离计算量，避免大量的无用计算，极大的提高运算速度。通过实验对本发明这种方法也得到了验证，匹配速度平均加快1.9至3.5倍的同时，有较高的配准正确率。
Claims (9)
1.高效快速的手持装置的影像配准优化方法，其特征在于，首先对二幅影像进行图像特征点提取，通过度量相似性找到匹配的图像特征点对；再通过匹配的图像特征点对得到影像空间坐标转换参数；最后由影像空间坐标转换参数进行影像配准；本发明从采用移动处理器的图形处理器硬件和影像配准方法层面进行优化改进，在图像特征点提取、影像配准上提出优化方法；
一是根据影像尺度空间和空间转换原理，提出高效准确的图像特征点旋转不变性检测方法；二是基于片元着色器读写纹理原理，提出定点纹理表现浮点纹理的方法；三是在影像配准阶段，提出采用图像特征点的邻域梯度值对图像特征点进行分类别配准；
高效准确的图像特征点旋转不变性检测方法包括生成低频影像、低频影像的稳固点判定、高效准确的旋转不变检测子的实现方法；
生成低频影像是基于尺度空间原理，在影像信息中引入尺度的参数信息构建影像处理模型，在序列按规则生成的尺度参数处理下生成系列不同尺度的影像；尺度空间方法引入多尺度变化的影像分析方法；在生成尺度空间，从精尺度到粗尺度的转换过程中，影像信息逐步简化和减弱的同时，产生新尺度的影像不会产生新的特征；采用高斯函数对影像滤波的过程描述尺度空间的构造，高斯核是在尺度转换过程中不添加影像额外信息时，唯一满足要求的转换核；
产生尺度空间时，将高斯核与需要进行运算的二维影像做卷积，生成与参数相对应的尺度影像；在尺度空间表示过程中，保持影像的分辨率不变，随着高斯平滑核的逐步增大，由初始影像信号产生序列信号，并且在新产生的信号表示初始信号过程中，随着逐步的高斯低通滤波，表达影像细节的高频信号被剔除，表示影像根本特征的低频信息被保留。
2.根据权利要求1所述的高效快速的手持装置的影像配准优化方法，其特征在于，低频影像的稳固点判定中，参与影像配准的二幅影像，一幅影像的微观像素点位置与另一幅影像之间相同或存在一定的变化，主要变化有：光照转换、平移、旋转、模糊、缩放、压缩、视角变化，影像只发生旋转和平移转换的状况，像素位置变化，但经过一定高斯滤波滤去高频信号后的低频信号影像上，存在稳定的极值点；对缩放和视角变化不明显的状况，经过高斯滤波处理后的低频信号影像上，图像特征点在一定区域范围内的相互关系不变，特征信息相似性存在；
几何转换伴随上述变化，像素点随空间关系和坐标位置变化进行重构转换，方法包括：复杂度最低最近邻像素插值方法、双线性像素插值方法、复杂度较高的高阶像素插值法；插值方法是以某像素为中心，和周围一定区域范围内的像素进行插值运算重新构成新位置的像素，变化前后影像中的稳固点，其像素点值和周围相邻区域范围内像素值的关系具有鲁棒性，低频影像中的区域极值点是一种稳固点。
3.根据权利要求1所述的高效快速的手持装置的影像配准优化方法，其特征在于，高效准确的旋转不变检测子的实现方法提出一种图像特征点检测子，图像特征点检测子具体的实现步骤为：
第一步，作为预处理，对获取的影像采用较小的高斯核进行高斯滤波；
第二步，在第一步的基础上进行较大高斯核的高斯滤波，滤去高频信号，保留影像的低频信号；
第三步，在第二步中的低频信号上获取一定邻域内的极值点，这些点滤去高频影像细节后，是影像低频信息中相对稳固的点。
4.根据权利要求3所述的高效快速的手持装置的影像配准优化方法，其特征在于，设定生成低频影像的高斯核时，假设一幅影像的尺寸分别为C、B，进行某次高斯滤波的一维滤波器长度为F，则运算量M如式1所示：
M＝2*C*B*(F+F)＝4*C*B*F 式1
对于高斯核为a的一维高斯滤波器的长度F，如式2所示：
F＝2*[4*a]+1 式2
式2中的[]符号表示取整运算，将式1代入式2中则有式3：
M＝8*C*B*([4*a])+4*C*B 式3
针对某一幅影像，进行一次高斯平滑滤波时间随a呈近似线性变化，计算时间和计算量正相关，a越大影像完成一次高斯平滑滤波所需时间越长；
a和检测时间之间为近似线性关系，a越大运算时间越长；a越小检测的点数越多，随a的增加检测的点数减少，并呈一种近似反比关系，在a小于6.0之前检测到的点数目变化由急剧减少到缓慢减少，在a大于6.0之后检测数目变化较为缓慢，而当a位于7.0左右或者7.0之后时，图像特征点数趋于稳定；a处于6.6至6.9之间图像特征点的数目已逐步稳定，随a值的继续增加图像特征点数目变化已不明显，而此时获取低频影像进行的高斯平滑滤波的运算时间已增加较多；因此在方法第二步中，设置高斯核a为6.8。
5.根据权利要求1所述的高效快速的手持装置的影像配准优化方法，其特征在于，本发明提出采用定点纹理表现浮点纹理的方法，主要依据为：一是片元着色器以向量形式进行纹理输入输出，对生成的纹理格式通过参数进行选择，纹理格式包括GL_RGBA、GL_ALPHA、GL_RGB，对生成纹理的通道数可选择和操作，若为GL_RGBA格式时，所生成的纹理是四个通道，纹理中的每个单位都是一个四维向量；二是片元着色器内部有内置矢量，可方便存储和操作纹理像素值，也可被内置变量和内置函数采用，且片元着色器写给纹理最终的输出结果也是四维或者一维失量的形式；三是片元着色器内部对纹理计算时，纹理值并不是与影像相对应的值，而要将影像R、G、B、A值的取值范围从[0,255]归一化至[0.0，1.0]范围内，当片元着色器内部计算结束后，在返回给渲染管线纹理缓存或者帧缓存时，又变回与原来影像值相适应的值，通过实验得出这二个过程的变化都是线性的；
根据纹理在渲染管线中是多通道，及在片元着色器中的矢量性，计算过程中纹理的通道选择为GL_RGBA格式，片元着色器的输出形式选择为四维矢量，采用1位表示计算过程中的整数部分，其它位表示小数部分，小数部分采用1至3位表示，实现不同的精度等级；
采用3位表现浮点数，在片元着色器输出结果时的转换式为：
式4中，S表示在片元着色器中的纹理值，取值范围为[0.0,1.0]，d.x、d.y、d.z分别表示片元着色器中4维矢量中3个分量，运算符表示对它们乘于255后取整后再截取回[0.0,1.0]的运算，每当着色器读入缓存纹理时的转换式为：
式5中，S为在片元着色器中的纹理值，E[1]、E[2]、E[3]表示从管线中读入片元着色器后的纹理值，当存储器从图形处理器中获取数据时要获得高精度的浮点数据要经过式5，此时的S表示影像的某一点像素值，E[1]、E[2]、E[3]表示存储器读取的纹理值，当采用一位表示小数使的精度达0.004，两位时原理精度达1.5x10-4，三位时原理精度达1.5x10-6。
6.根据权利要求5所述的高效快速的手持装置的影像配准优化方法，其特征在于，本发明在高斯空间和高斯差分空间建立时，采用定点纹理表现浮点纹理，在空间构造过程中，接收上一幅影像纹理时，在片元着色器中采用式5，将接收到的定点纹理转换为浮点数据，在片元着色器向纹理缓存写入数据时，采用式4，使片元着色器内的浮点数据进行一定的变化，分配在四维向量的几位上，实现输出定点纹理；
在图形处理器中图像特征点检测和精选时，选择将极值点计算放在CPU中，在移动图形处理器中计算关键点的主方向时，将主方向结果写成纹理形式供后续计算使用；主方向的输出保持为浮点值，将计算关键点的主方向放在CPU上；
描述子的计算由CPU实现，CPU获取图形处理器中的高斯空间和高斯差分空间的数据；将高斯差分空间在CPU实现，利用所读取的高斯空间数据生成高斯差分空间；借助于移动图形处理器和CPU相结合，实现SIFT方法流程。
7.根据权利要求1所述的高效快速的手持装置的影像配准优化方法，其特征在于，在影像配准阶段，将二幅相配准影像的图像特征点集中的每个点之间进行对比的过程，选择好的分组方法和策略，在影像配准计算欧氏距离计算时，提出采用图像特征点的邻域梯度值对图像特征点进行分类别配准方法，具体为手持装置上四邻域梯度值临界值分组配准方法。
8.根据权利要求7所述的高效快速的手持装置的影像配准优化方法，其特征在于，手持装置上四邻域梯度值临界值分组配准方法是在图像特征点主方向时计算图像特征点四邻域梯度值，作为新的特征，在描述子向量欧氏距离计算前用来进行分组匹配；
图像特征点描述子计算后，所生成的点特征有坐标信息、尺度位置信息、基于梯度统计的128维特征向量信息；匹配计算时采用图像特征点的128维描述子向量进行欧氏距离计算，判断图像特征点是否是同名点；根据待配准影像对的图像特征点集中点对之间最近欧氏距离和次最近欧氏距离的比值，判断是否是同名点，欧氏距离计算式为：
式中，R是128维特征向量的欧氏距离，xi、yi是128维向量的值，在128维描述子生成过程中，邻域内的图像特征点的梯度值作用并不平等，乘一个加权系数得到；加权系数计算方法如式7所示：
式7中，G是加权系数，x、y是描述子计算时邻域内任意点与关键点的距离，a是4倍的邻域窗口尺寸值；特征向量计算区域内，距离图像特征点越近的点的梯度值，对配准结果作用越大，其中作用最明显的是图像特征点的四邻域梯度值。
9.根据权利要求8所述的高效快速的手持装置的影像配准优化方法，其特征在于，基于邻域内不同点的梯度值和配准效果间的关系，本发明提出采用四邻域梯度值进行图像特征点分组匹配的方法，在计算主方向的同时，计算图像特征点的四邻域梯度值，把计算所得的梯度值增加为图像特征点的新特征信息，在进行欧氏距离计算前使用；
本发明提出的手持装置上四邻域梯度值临界值分组配准方法，在获得图像特征点坐标和位置信息后，进行主方向计算时，通过统计邻域梯度值和方向信息外，还需要计算图像特征点四邻域梯度值，加入图像特征点特征信息中；在图像特征点进行欧氏距离以判断是否为同名点前，对比二幅影像点集中点的梯度特征，把梯度特征相差所得绝对值与分类临界值进行比较，并以此分类；符合条件的进行后续的欧氏距离计算和配准计算，不符合条件的点则不继续运算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010589981.3A CN111739073A (zh) | 2020-06-24 | 2020-06-24 | 高效快速的手持装置的影像配准优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010589981.3A CN111739073A (zh) | 2020-06-24 | 2020-06-24 | 高效快速的手持装置的影像配准优化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111739073A true CN111739073A (zh) | 2020-10-02 |
Family
ID=72650984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010589981.3A Pending CN111739073A (zh) | 2020-06-24 | 2020-06-24 | 高效快速的手持装置的影像配准优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111739073A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113128433A (zh) * | 2021-04-26 | 2021-07-16 | 刘秀萍 | 颜色迁移匹配特征的视频监控影像增强方法 |
| CN115393470A (zh) * | 2022-10-28 | 2022-11-25 | 成都航空职业技术学院 | 一种文物数字线图的绘制方法、绘制系统及绘制装置 |
| CN117743195A (zh) * | 2024-02-20 | 2024-03-22 | 北京麟卓信息科技有限公司 | 基于渲染时间差异度量的图形接口层次化实现验证方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080037865A1 (en) * | 2006-08-09 | 2008-02-14 | Siemens Corporate Research, Inc. | System and method for non-rigid multi-modal registration on the gpu |
| CN104834931A (zh) * | 2015-03-13 | 2015-08-12 | 江南大学 | 一种基于小波变换的改进的尺度不变特征匹配算法 |
| CN105761236A (zh) * | 2015-11-16 | 2016-07-13 | 乐视致新电子科技（天津）有限公司 | 一种用于图像配准的图像预处理方法及装置 |
| CN106898019A (zh) * | 2017-02-21 | 2017-06-27 | 广西大学 | 基于尺度不变Harris特征的图像配准方法和装置 |
| KR101752742B1 (ko) * | 2015-12-29 | 2017-06-30 | 서울대학교산학협력단 | 가우시안 스케일 공간 생성 단순화를 기반으로 한 특징점 추출 방법 및 장치 |
| CN110070545A (zh) * | 2019-03-20 | 2019-07-30 | 重庆邮电大学 | 一种城镇纹理特征密度自动提取城镇建成区的方法 |
| CN110874849A (zh) * | 2019-11-08 | 2020-03-10 | 安徽大学 | 一种基于局部变换一致的非刚性点集配准方法 |
-
2020
- 2020-06-24 CN CN202010589981.3A patent/CN111739073A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080037865A1 (en) * | 2006-08-09 | 2008-02-14 | Siemens Corporate Research, Inc. | System and method for non-rigid multi-modal registration on the gpu |
| CN104834931A (zh) * | 2015-03-13 | 2015-08-12 | 江南大学 | 一种基于小波变换的改进的尺度不变特征匹配算法 |
| CN105761236A (zh) * | 2015-11-16 | 2016-07-13 | 乐视致新电子科技（天津）有限公司 | 一种用于图像配准的图像预处理方法及装置 |
| KR101752742B1 (ko) * | 2015-12-29 | 2017-06-30 | 서울대학교산학협력단 | 가우시안 스케일 공간 생성 단순화를 기반으로 한 특징점 추출 방법 및 장치 |
| CN106898019A (zh) * | 2017-02-21 | 2017-06-27 | 广西大学 | 基于尺度不变Harris特征的图像配准方法和装置 |
| CN110070545A (zh) * | 2019-03-20 | 2019-07-30 | 重庆邮电大学 | 一种城镇纹理特征密度自动提取城镇建成区的方法 |
| CN110874849A (zh) * | 2019-11-08 | 2020-03-10 | 安徽大学 | 一种基于局部变换一致的非刚性点集配准方法 |
Non-Patent Citations (2)
| Title |
|---|
| 余先川 等: "基于SG-SIFT的光学遥感影像配准", 北京邮电大学学报, no. 06 * |
| 杨涛 等: "基于场景复杂度与不变特征的航拍视频实时配准算法", 电子学报, no. 05 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113128433A (zh) * | 2021-04-26 | 2021-07-16 | 刘秀萍 | 颜色迁移匹配特征的视频监控影像增强方法 |
| CN115393470A (zh) * | 2022-10-28 | 2022-11-25 | 成都航空职业技术学院 | 一种文物数字线图的绘制方法、绘制系统及绘制装置 |
| CN115393470B (zh) * | 2022-10-28 | 2023-05-23 | 成都航空职业技术学院 | 一种文物数字线图的绘制方法、绘制系统及绘制装置 |
| CN117743195A (zh) * | 2024-02-20 | 2024-03-22 | 北京麟卓信息科技有限公司 | 基于渲染时间差异度量的图形接口层次化实现验证方法 |
| CN117743195B (zh) * | 2024-02-20 | 2024-04-26 | 北京麟卓信息科技有限公司 | 基于渲染时间差异度量的图形接口层次化实现验证方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110334762B (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
| CN111739073A (zh) | 高效快速的手持装置的影像配准优化方法 | |
| Kadam et al. | Detection and localization of multiple image splicing using MobileNet V1 | |
| CN102859535A (zh) | 从预先计算的尺度空间产生Daisy描述符 | |
| TW202207077A (zh) | 一種文本區域的定位方法及裝置 | |
| CN103729885A (zh) | 多视角投影与三维注册联合的手绘场景三维建模方法 | |
| KR20010055492A (ko) | 영상 히스토그램을 이용한 영상 검색 시스템과 그 방법 | |
| Zhang et al. | 3D object retrieval with multi-feature collaboration and bipartite graph matching | |
| Thabet et al. | Image processing on mobile devices: An overview | |
| Nian et al. | Efficient near-duplicate image detection with a local-based binary representation | |
| Liu et al. | S-AKAZE: An effective point-based method for image matching | |
| Liu et al. | Registration of infrared and visible light image based on visual saliency and scale invariant feature transform | |
| CN116664892A (zh) | 基于交叉注意与可形变卷积的多时相遥感图像配准方法 | |
| Hong et al. | Art painting detection and identification based on deep learning and image local features | |
| CN116912924B (zh) | 一种目标图像识别方法和装置 | |
| CN113793370A (zh) | 三维点云配准方法、装置、电子设备及可读介质 | |
| Bellarbi et al. | Learning moment-based fast local binary descriptor | |
| Liu et al. | Ground control point automatic extraction for spaceborne georeferencing based on FPGA | |
| Lee et al. | Performance evaluation of local descriptors for affine invariant region detector | |
| CN104751412B (zh) | 一种基于仿射不变特征的图像拼接方法 | |
| Sinha et al. | Scene image classification using a wigner-based local binary patterns descriptor | |
| Birari et al. | Survey on sketch based image and data retrieval | |
| Wang et al. | Image intelligent automatic processing analysis based on artificial intelligence vision generator | |
| Zhang et al. | A light field FDL-HCGH feature in scale-disparity space | |
| Ding et al. | Research on optimization of SURF algorithm based on embedded CUDA platform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |