CN112116641A - 一种基于OpenCL的散斑图像匹配方法 - Google Patents

一种基于OpenCL的散斑图像匹配方法 Download PDF

Info

Publication number
CN112116641A
CN112116641A CN202010953508.9A CN202010953508A CN112116641A CN 112116641 A CN112116641 A CN 112116641A CN 202010953508 A CN202010953508 A CN 202010953508A CN 112116641 A CN112116641 A CN 112116641A
Authority
CN
China
Prior art keywords
opencl
matching
kernel
program
speckle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010953508.9A
Other languages
English (en)
Other versions
CN112116641B (zh
Inventor
左超
张晓磊
沈德同
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Original Assignee
Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd filed Critical Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Priority to CN202010953508.9A priority Critical patent/CN112116641B/zh
Publication of CN112116641A publication Critical patent/CN112116641A/zh
Application granted granted Critical
Publication of CN112116641B publication Critical patent/CN112116641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20228Disparity calculation for image-based rendering
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明开了一种基于OpenCL的散斑图像匹配方法,包括以下步骤:通过Census变换计算散斑图像的特征值,并利用特征值计算汉明距离;在已知汉明距离的情况下,通过半全局匹配算法来计算散斑图像之间的匹配聚合代价,利用匹配聚合代价计算散斑图像之间的视差数据;利用所得的匹配聚合代价进行亚像素计算;将上述方法编写为可供OpenCL使用的内核程序;初始化内核启动环境,执行程序,并从OpenCL内核中输出视差数据,释放资源。本发明方法利用OpenCL的并行化计算能力,对散斑匹配算法进行加速,在不影响散斑匹配精度的前提下,有效地提升了散斑匹配算法的计算速度。

Description

一种基于OpenCL的散斑图像匹配方法
技术领域
本发明属于光学测量技术领域,具体涉及一种基于OpenCL的散斑图像匹配方法。
背景技术
近年来,三维测量技术在我们的生活中扮演者越来越重要的角色,无论是在工业检测领域还是人脸识别领域都起着决定性的作用。人类之所以可以看见三维的世界是因为人类的两只眼睛观察到的景物存在一点位移,即视差。通过视差可以让人类产生有空间感的立体视觉效果,我们将其称为双目立体视觉。三维测量技术的原理是基于双目立体视觉的原理,利用两幅或多幅图像提供的信息来计算视差数据并重构出三维信息。因此获得准确的视差数据就是三维测量的关键。为了增加待测物体表面的特征信息,将对待测物体表面投影散斑图像,然后通过对采集到的散斑图像进行匹配,获得物体的视差信息。
半全局匹配(SGM)算法是一种常见的匹配算法,通过设置一个和视差图像相关的全局能量函数,使这个函数最小化,以求获得这个像素最优视差的目的。为了使SGM算法的结果更加准确,需要在计算全局能量函数时计算多个方向上的匹配聚合代价,并对其取平均值来消除能量函数中的误差信息。因为需要进行多次SGM计算,所以会使得算法的计算时间大大增加,为了可以加快算法的计算速度,采用OpenCL对散斑图像匹配算法进行加速。
OpenCL全称为Open Computing Language,是由Khronos Group维护的为异构平台提供编写程序的开放性标准框架。OpenCL可以在多核CPU或者GPU上编译运行,并且利用GPU进行并行化计算。在传统C/C++语言编写的算法使用的是串行操作,而OpenCL是基于GPU的并行化计算方法,因此本专利中所使用的OpenCL技术可以使算法的速度有着大幅度的提升。
发明内容
本发明的主要目的在于提供一种基于OpenCL的散斑图像匹配方法,该方法通过对Census变换和SGM算法进行并行化计算,在不降低匹配精度的情况下实现快速的散斑图像匹配。
本发明的技术方案如下:一种数字全息频谱中心亚像素搜索方法,包括以下步骤:
步骤1:对两幅散斑图像进行Census变换,将散斑图像上的灰度值转化为初始的特征值,并且利用特征值计算汉明距离;
步骤2:通过半全局匹配算法,利用汉明距离来计算和视差图像相关的全局能量函数,将其作为匹配聚合代价,将匹配聚合代价最小值对应的视差数据作为散斑图像的视差数据;
步骤3:利用SGM算法计算得到的匹配聚合代价和整数视差数据进行视差数据的亚像素计算;
步骤4:将上述三个步骤中的算法编写为OpenCL内核程序;
步骤5:初始化OpenCL内核启动环境;
步骤6:执行OpenCL程序,程序结束后,从OpenCL内核中读出两幅散斑图像匹配后的视差数据。
优选的,步骤2中所使用的半全局匹配算法的具体方法为:利用获得的特征信息经过半全局匹配算法,通过对目标散斑图像和参考散斑图像上下左右四个方向的匹配聚合代价进行计算,并将四个方向的匹配聚合代价取平均值,最终获得像素点之间的匹配聚合代价,通过匹配聚合代价的最小值找到两幅图像之间对应的匹配像素点。
优选的,步骤3中将完整的双目立体匹配算法编写为OpenCL内核程序的执行顺序为:对散斑图像进行Census变换;通过Census变换得到的特征数据计算汉明距离;半全局匹配(SGM),分别进行四个方向的SGM变换,并在最后一个方向的SGM变换中将四个方向的匹配聚合代价取平均;通过WTA算法计算视差数据;进行亚像素计算。
步骤4中初始化OpenCL内核启动环境的具体内容为:OpenCL主程序包括设置分块大小优选的,,获取可用平台,获取设备列表并选中目标设备作为运行设备,创建上下文环境,创建内核程序对象并进行编译、创建传输队列和内核执行队列,创建内存空间,设置参数映射,拷贝数据到设备,安排传输队列和内核队列的执行顺序,从目标设备中拷贝执行结果,释放资源。
优选的,步骤4中初始化OpenCL内核启动环境的步骤为:先使用clGetPlatformIDs和clGetPlatformInfo两个命令来获取可用的计算平台;然后通过clCreateContextFromType命令生成context上下文环境和通过clBuildProgram命令生成program编译对象;根据所提到的内核程序和所需要的内存空间,分别使用clCreateKernel命令和clCreateBuffer命令来创建内核对象和创建内存空间;然后设置global_work_size和local_work_size两个参数的值,因为采取二维线程的并行方式,所以两个参数均为二维数组,且根据不同的内核程序两个参数的值会随之变化。
优选的,步骤6中运行OpenCL程序和读出所需要的是视差数据的具体内容为:在程序运行时需要通过clEnqueueNDRangeKernel命令将内核程序和内存空间放入命令队列中执行,再最后通过clEnqueueReadBuffer命令将计算获得的数据从内核中读取。
本发明与传统方法相比,具有如下优点:本方法相比较与在C/C++中串行计算的散斑图像匹配算法,其在计算速度方面有着显著的提升。并且在提升计算速度的同时并没有影响散斑图像匹配算法的匹配精度。
附图说明
图1为基于OpenCL的散斑图像匹配方法步骤流程示意图。
图2为本实施例用于实验的左视角散斑图像。
图3为本实施例用于实验的右视角散斑图像。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本发明是一种基于OpenCL的散斑图像匹配方法,可进行快速的散斑图像匹配,获得准确的匹配结果(视差数据)。本方法的具体流程如图1所示,本方法包括以下几个步骤:
步骤一:对散斑图像进行Census变换,Census变换的公式如下:
Figure DEST_PATH_IMAGE001
其中p为Census窗口的中心像素,q为窗口中心像素以外的其他像素。通过Census变换将图像的灰度值转化为特征值。然后利用Census变换获得的特征值计算汉明距离(HammingDistance),根据事先设置好的视差约束范围,计算出视差约束范围内的初始匹配代价。
步骤二:利用SGM算法计算多个方向上的匹配聚合代价,SGM的公式如下:
Figure 484258DEST_PATH_IMAGE003
其中D为视差数据,p和q代表图中的某一个像素点,
Figure 919918DEST_PATH_IMAGE004
为像素p点的相邻像素点,
Figure 691565DEST_PATH_IMAGE005
代表当前像素点视差为
Figure 832084DEST_PATH_IMAGE006
时的匹配代价,
Figure 714590DEST_PATH_IMAGE007
Figure 67074DEST_PATH_IMAGE008
为惩罚系数(常数),
Figure 947305DEST_PATH_IMAGE009
函数返回1如果函数中的参数为真,否则返回0。考虑到SGM算法对某个方向进行计算,当沿着r方向时,可以将SGM计算表示为:
Figure 385239DEST_PATH_IMAGE011
其中
Figure 992807DEST_PATH_IMAGE012
为沿着当前方向,且视差值为d时最小的匹配聚合代价。通过计算多个方向的匹配聚合代价,并对其取平均则可以获得最终的匹配聚合代价
Figure 465377DEST_PATH_IMAGE013
Figure DEST_PATH_IMAGE015
其中每个像素的匹配聚合代价最小值即为该像素的最佳视差数据,即:
Figure DEST_PATH_IMAGE017
步骤三:为了可以进一步提高测量的精度,可以通过视差匹配代价聚合S(p,d)拟合的曲线将整像素的视差数据转化为亚像素的视差数据:
Figure DEST_PATH_IMAGE019
其中
Figure 703460DEST_PATH_IMAGE020
为亚像素的视差数据,
Figure DEST_PATH_IMAGE021
Figure 566374DEST_PATH_IMAGE022
点的整像素视差数据,即
Figure DEST_PATH_IMAGE023
步骤四:将步骤一、步骤二和步骤三的算法写成可以供OpenCL运行的内核程序。通过get_global_id(x)函数可以获取当前执行的工作节点在工作空间中指定维度x上的索引位置。我们采用的时二维线程的并行方式,其中两个维度分别代表图像的分辨率,即图像的宽和高。根据local_work_size参数的值来决定每一次并行计算中工作组的大小。
步骤五:初始化OpenCL内核的启动环境。先使用clGetPlatformIDs和clGetPlatformInfo两个命令来获取可用的计算平台,并选择其中一个环境作为计算平台;然后通过clCreateContextFromType命令生成context上下文环境和通过clBuildProgram命令生成program编译对象;使用clCreateKernel命令和clCreateBuffer命令来创建内核对象和创建内存空间;然后设置global_work_size和local_work_size两个参数的值,因为采取二维线程的并行方式,所以两个参数均为二维数组,且根据不同的内核程序两个参数的值会随之变化;最后使用clCreateCommandQueue命令创建执行内核函数以及执行数据传输的两个命令队列。
步骤六:执行OpenCL程序,通过clEnqueueNDRangeKernel命令将内核程序和内存空间放入命令队列中执行,再最后通过clEnqueueReadBuffer命令将计算获得的数据从内核中读取,并且计算所耗费的时间。
为验证本专利所述方法的有效性,利用两幅图像大小为640x480的左右视角散斑图像进行散斑图像匹配,如图2所示。视差约束的范围为-23~31。本次实例运行环境为:CPU型号为Core i7-8700,内存8G,操作系统为10.1(64位),GPU型号为NVIDIA GTX 1050Ti,显存2G,所使用的SDK版本为CUDA Toolkit 10.0,所使用的集成开发环境为Visual Studio2013。
为了可以最大化的利用GPU的计算能力,我们所设置的local_work_size的数值为[16,16],因为global_work_size数值的大小必须被local_work_size所整除,所以将global_work_size数值的大小设置为[640,480]。
方法 用时(ms) 加速比
串行化计算 8200 1
并行化计算 46 178.26
通过比较可以看出并行化计算(本实施例所使用的方法)和串行化计算之间的计算速度的差异,其中并行化计算所需要的时间约为46ms,而串行化计算所需要的时间为8.2s。本发明的方法有着更快的测量速度,这说明本发明的方法可以更加快速,高效地实现散斑图像匹配。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种基于OpenCL的散斑图像匹配方法,其特征在于,包括以下步骤:
步骤1:对两幅散斑图像进行Census变换,将散斑图像上的灰度值转化为初始的特征值,并且利用特征值计算汉明距离;
步骤2:通过半全局匹配算法,利用汉明距离来计算和视差图像相关的全局能量函数,将其作为匹配聚合代价,将匹配聚合代价最小值对应的视差数据作为散斑图像的视差数据;
步骤3:利用SGM算法计算得到的匹配聚合代价和整数视差数据进行视差数据的亚像素计算;
步骤4:将上述三个步骤中的算法编写为OpenCL内核程序;
步骤5:初始化OpenCL内核启动环境;
步骤6:执行OpenCL程序,程序结束后,从OpenCL内核中读出两幅散斑图像匹配后的视差数据。
2.根据权利要求1所述的基于OpenCL的散斑图像匹配方法,其特征在于,步骤2中所使用的半全局匹配算法的具体方法为:
利用获得的特征信息经过半全局匹配算法,通过对目标散斑图像和参考散斑图像上下左右四个方向的匹配聚合代价进行计算,并将四个方向的匹配聚合代价取平均值,最终获得像素点之间的匹配聚合代价,通过匹配聚合代价的最小值找到两幅图像之间对应的匹配像素点。
3.根据权利要求2所述的基于OpenCL的散斑图像匹配方法,其特征在于,步骤3中将完整的双目立体匹配算法编写为OpenCL内核程序的执行顺序为:
对散斑图像进行Census变换;通过Census变换得到的特征数据计算汉明距离;半全局匹配(SGM),分别进行四个方向的SGM变换,并在最后一个方向的SGM变换中将四个方向的匹配聚合代价取平均;通过WTA算法计算视差数据;进行亚像素计算。
4.根据权利要求3所述的基于OpenCL的散斑图像匹配方法,其特征在于,步骤4中初始化OpenCL内核启动环境的具体内容为:
OpenCL主程序包括设置分块大小,获取可用平台,获取设备列表并选中目标设备作为运行设备,创建上下文环境,创建内核程序对象并进行编译、创建传输队列和内核执行队列,创建内存空间,设置参数映射,拷贝数据到设备,安排传输队列和内核队列的执行顺序,从目标设备中拷贝执行结果,释放资源。
5.根据权利要求4所述的基于OpenCL的散斑图像匹配方法,其特征在于,步骤4中初始化OpenCL内核启动环境的步骤为:
先使用clGetPlatformIDs和clGetPlatformInfo两个命令来获取可用的计算平台;然后通过clCreateContextFromType命令生成context上下文环境和通过clBuildProgram命令生成program编译对象;根据权利要求书3中所提到的内核程序和所需要的内存空间,分别使用clCreateKernel命令和clCreateBuffer命令来创建内核对象和创建内存空间;然后设置global_work_size和local_work_size两个参数的值,因为采取二维线程的并行方式,所以两个参数均为二维数组,且根据不同的内核程序两个参数的值会随之变化。
6.根据权利要求1所述的基于OpenCL的散斑图像匹配方法,其特征在于,步骤6中运行OpenCL程序和读出所需要的是视差数据的具体内容为:
在程序运行时需要通过clEnqueueNDRangeKernel命令将内核程序和内存空间放入命令队列中执行,再最后通过clEnqueueReadBuffer命令将计算获得的数据从内核中读取。
CN202010953508.9A 2020-09-11 2020-09-11 一种基于OpenCL的散斑图像匹配方法 Active CN112116641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010953508.9A CN112116641B (zh) 2020-09-11 2020-09-11 一种基于OpenCL的散斑图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010953508.9A CN112116641B (zh) 2020-09-11 2020-09-11 一种基于OpenCL的散斑图像匹配方法

Publications (2)

Publication Number Publication Date
CN112116641A true CN112116641A (zh) 2020-12-22
CN112116641B CN112116641B (zh) 2024-02-20

Family

ID=73803578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010953508.9A Active CN112116641B (zh) 2020-09-11 2020-09-11 一种基于OpenCL的散斑图像匹配方法

Country Status (1)

Country Link
CN (1) CN112116641B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236082A (zh) * 2013-04-27 2013-08-07 南京邮电大学 面向捕获静止场景的二维视频的准三维重建方法
CN103268608A (zh) * 2013-05-17 2013-08-28 清华大学 基于近红外激光散斑的深度估计方法及装置
WO2018127007A1 (zh) * 2017-01-03 2018-07-12 成都通甲优博科技有限责任公司 深度图获取方法及系统
US20200228785A1 (en) * 2017-09-29 2020-07-16 SZ DJI Technology Co., Ltd. Disparity map generation method, system, storage medium and computer program product
CN111563564A (zh) * 2020-07-20 2020-08-21 南京理工大学智能计算成像研究院有限公司 基于深度学习的散斑图像逐像素匹配方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236082A (zh) * 2013-04-27 2013-08-07 南京邮电大学 面向捕获静止场景的二维视频的准三维重建方法
CN103268608A (zh) * 2013-05-17 2013-08-28 清华大学 基于近红外激光散斑的深度估计方法及装置
WO2018127007A1 (zh) * 2017-01-03 2018-07-12 成都通甲优博科技有限责任公司 深度图获取方法及系统
US20200228785A1 (en) * 2017-09-29 2020-07-16 SZ DJI Technology Co., Ltd. Disparity map generation method, system, storage medium and computer program product
CN111563564A (zh) * 2020-07-20 2020-08-21 南京理工大学智能计算成像研究院有限公司 基于深度学习的散斑图像逐像素匹配方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
丁欢欢: "双目立体视觉测距系统关键技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 February 2016 (2016-02-15) *
吴树森;董小社;王宇菲;王龙翔;朱正东: "UPPA:面向异构众核系统的统一并行编程架构", 《计算机学报》, 30 June 2020 (2020-06-30) *
尹紫秋: "GMAW增材制造堆积熔池表面三维重建及熔宽控制", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》, 15 September 2018 (2018-09-15) *

Also Published As

Publication number Publication date
CN112116641B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
US11488418B2 (en) Three-dimensional (3D) pose estimation from a monocular camera
US10964061B2 (en) Learning-based camera pose estimation from images of an environment
US11037051B2 (en) 3D plane detection and reconstruction using a monocular image
Zhou et al. Voxelnet: End-to-end learning for point cloud based 3d object detection
CN108549873B (zh) 三维人脸识别方法和三维人脸识别系统
US11508076B2 (en) Learning rigidity of dynamic scenes for three-dimensional scene flow estimation
US11062471B1 (en) Neural network system for stereo image matching
Chang et al. GPU-friendly multi-view stereo reconstruction using surfel representation and graph cuts
Cheng et al. Real-time and efficient 6-D pose estimation from a single RGB image
CN110310220A (zh) 一种半全局实时立体匹配方法
CN110738730A (zh) 点云匹配方法、装置、计算机设备和存储介质
CN112734824A (zh) 一种基于广义光度立体模型的三维重建方法
CN107316324A (zh) 基于cuda实现的实时立体匹配及优化的方法
CN112116640B (zh) 一种基于OpenCL的双目立体匹配方法
KR20220146901A (ko) Slam을 가속화하는 방법 및 장치
Li et al. Pillar-based 3D object detection from point cloud with multiattention mechanism
CN112116641B (zh) 一种基于OpenCL的散斑图像匹配方法
Zhu et al. Global and local geometric constrained feature matching for high resolution remote sensing images
US20230252692A1 (en) Learning dense correspondences for images
CN112232372B (zh) 一种基于opencl的单目立体匹配及加速的方法
Duckworth et al. Parallel processing for real-time 3D reconstruction from video streams
Cao et al. Stable image matching for 3D reconstruction in outdoor
CN115239559A (zh) 一种融合视图合成的深度图超分辨率方法及系统
Ferreira et al. Fast exact Bayesian inference for high-dimensional models
US20210209798A1 (en) Method and apparatus for processing sparse points

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant