CN117314735B - 基于最小化重投影误差的全局优化坐标映射转换方法 - Google Patents
基于最小化重投影误差的全局优化坐标映射转换方法 Download PDFInfo
- Publication number
- CN117314735B CN117314735B CN202311246476.9A CN202311246476A CN117314735B CN 117314735 B CN117314735 B CN 117314735B CN 202311246476 A CN202311246476 A CN 202311246476A CN 117314735 B CN117314735 B CN 117314735B
- Authority
- CN
- China
- Prior art keywords
- points
- coordinate
- characteristic
- feature point
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013507 mapping Methods 0.000 title claims abstract description 46
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims abstract description 59
- 238000006073 displacement reaction Methods 0.000 claims abstract description 50
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 44
- 230000009466 transformation Effects 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000011426 transformation method Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000002068 genetic effect Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000005295 random walk Methods 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims 1
- 238000013136 deep learning model Methods 0.000 abstract description 4
- 230000000875 corresponding effect Effects 0.000 description 33
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000013016 damping Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000002922 simulated annealing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于最小化重投影误差的全局优化坐标映射转换方法,通过自定义的校准特征点为计算两系统变换的单应性矩阵做准备,提出使用更小的十字校准特征点,提高定位精度;通过全局优化算法,计算出两个系统场景S的校准特征点间的位移关系,减少了坐标之间的误差问题,提高了坐标转换的精确度以及鲁棒性;对实际视野中的特征区域利用深度学习模型进行分割,利用改进后的识别方法精准识别出观测系统特征区域的坐标,通过基于最小化重投影误差迭代优化的方法使用校准特征点计算得到单应性矩阵,实现观测系统和目标系统之间的坐标变换映射;本发明克服两平面系统基于坐标映射转换中,因为视野角度、系统坐标体系不同导致坐标无法准确转换的问题,通过全局优化算法和自定义的校准特征点,显著提升了坐标转换的精确度和稳定性,实现了同一个场景下通过一个平面系统下的坐标映射获取另一个平面系统对应的坐标,精度高、鲁棒性强。
Description
技术领域
本发明涉及成像与位移台定位技术领域,尤其是一种基于最小化重投影误差的全局优化坐标映射转换方法。
背景技术
坐标映射是计算机视觉和图像处理领域中的一个重要概念;坐标映射可以将不同图像或不同场景中的对应特征点进行对齐;使得可以进行跨图像或场景的特征匹配、跟踪和比较,从而实现各种计算机视觉和图像处理任务;在许多应用中,我们需要将一个图像中的点或特征映射到另一个图像或场景中的对应点或特征上;这种映射关系可以用数学模型来表示,其中最常用的是单应性矩阵。
全局优化从本质上讲属于NP(Non-deterministic Polynomial)问题,任务是找到一组绝对最佳的允许条件来实现目标,它试图在给定集合上找到一个函数或一组函数的全局最小值或最大值,通常被描述为一个最小化问题。
单应性矩阵是一种灵活且通用的数学模型,用于描述平面或场景之间的投影关系;它可以用于实现图像配准、图像拼接、虚拟现实等应用;提供了一种灵活的方式来描述和表示平面或场景之间的映射关系,适用于不同尺度和旋转的图像,因此在各种应用中具有广泛的适用性。单应性矩阵是一个3x3的矩阵,可以通过有限数量的参数来表示映射关系,这使得单应性矩阵的计算和使用相对简单和高效。
然而在实践中,不可避免的存在噪声、非线性畸变或完全不匹配问题等影响,在现有的技术中,只利用单应性矩阵准确计算坐标映射是具有一定挑战性的,计算的准确性需要建立在系统视野质量良好的情况下,并对校准特征点的精度有非常高的要求,该方法的适用性受到严格限制,不适合宽范围的应用推广。
发明内容
为了克服现有技术的不足,本发明提供了基于最小化重投影误差的全局优化坐标映射转换方法,旨在解决当前坐标映射转换方法存在的问题,包括对校准特征点精度要求高,受噪声、非线性畸变或完全不匹配问题的困扰;本发明引入全局优化方法改进校准特征点的准确性,并基于最小化重投影误差进行优化后的单应性矩阵变换方法相结合,同时还利用基于深度学习模型的特征点区域分割技术,从实际场景中提取出准确的特征点区域,大大提高了坐标映射的准确性和稳定性。
本发明解决其技术问题所采用的技术方案是:
基于最小化重投影误差的全局优化坐标映射转换方法,包括如下步骤:
步骤一:通过人为设定的特征点(十字)坐标作为校准特征点,分别计算两个系统中,相对应的特征点间的相对位移关系;即:计算出两个系统中每个特征点对应的坐标,以及相对应的两两特征点间的位移关系;
单应矩阵H具有8个自由度,共需要8个方程才能计算出单应矩阵H,而1对特征点能够提供两个方程,故而至少需要4对特征点才能完成单应矩阵H的求解,因此设计不少于4组特征点,特征点尽可能的充满整个场景S;
所述场景S是校准特征点的场景,场景S中的特征点记为Si,i表示特征点的序号,特征点Si满足:{si|i=1,2,3,…,n,n≥4};选取场景S内一个特征点S0作为参考特征点;
进一步的,所述特征点的坐标精度与校准十字大小成反比,校准十字大小越小,定位精度越高;
所述两个系统是指:观测系统A和目标系统B,所述观测系统A和目标系统B均为平面系统;
对于观测系统A,特征点的集合记为VA,VA={ai|i=0,1,2,3,…,n;n≥4}为从场景S中选取的特征点,场景S的参考特征点S0在观测系统A中对应的参考特征点为a0;
对于目标系统B,特征点的集合记为VB,VB={bi|i=0,1,2,3,…,n;n≥4}为从场景S中选取的特征点,场景S的参考特征点S0在目标系统B中对应的参考特征点为b0;
通过对观测系统A中特征点坐标计算,得到场景S在观测系统A内特征点间的相对位移关系,记为:
通过对目标系统B中特征点坐标计算,得到场景S在目标系统B内特征点间的相对位移关系,记为:
其中,M、N为观测系统A中标定的特征点,U、V为目标系统B中标定的特征点;为在观测系统A中所抽取的特征点M坐标与特征点N坐标所计算出的差值;同理,/>为在目标系统B中所抽取的特征点U坐标与特征点V坐标所计算出的差值;
所述相对位移关系PA即观测系统A中相邻两特征点之间的位移差值。
所述相对位移关系PB即目标系统B中相邻两特征点之间的位移差值。
步骤二:通过全局优化,计算每个系统中其它特征点与本系统中的参考特征点的相对位移关系,得到每个系统中各特征点优化后的坐标,减少了误差:
作为一种举例说明,减少了误差是指:因为硬件设备的配置及对照时参差不齐等原因,对坐标的测量存在误差;在每个系统中,我们通过全局优化算法来减小特征点坐标的测量误差。
对于观测系统A,经全局优化,计算得到的最优配置为:
对于目标系统B,经全局优化,计算得到的最佳配置为:
场景S在观测系统A内,其它特征点相对参考特征点优化后的位移关系为:
场景S在目标系统B内,其它特征点相对参考特征点优化后的位移关系:
其中:
为经过全局优化后观测系统A中抽取的第n个特征点与参考特征点a0所得出的位移关系;
为经过全局优化后目标系统B中抽取的第n个特征点与参考特征点b0所得出的位移关系;
通过优化后的特征点相对位移,求得优化后的特征点坐标;
作为一种举例说明,所述的全局优化包括:最小二乘算法,遗传算法、粒子群优化算法或模拟退火算法等。
作为一种举例说明,选择多个不同的特征点作为预选参考点,将每一个预选参考点作为独立的全局优化问题进行求解,比较各个结果的准确性和误差,选择对应结果最优的预选特征点作为参考点。
作为一种举例说明,可以先使用局部优化算法进行粗略的优化,然后将局部优化的结果作为全局优化算法的初始值估计值,再使用全局优化算法进行精细的优化。
步骤三:根据全局优化后的观测系统A和目标系统B之间特征点的对应关系,计算两系统的单应性变换矩阵;
对观测系统A和目标系统B进行匹配:将观测系统A特征点集合中的特征点与目标系统B特征点集合中的特征点进行对应匹配;
两个不同视角图像上的点,其对应的齐次坐标可以用一个射影变换来表述,对应的变换矩阵称为单应性矩阵;
将观测系统A特征点集合中的特征点ai与目标系统B特征点集合中对应的特征点bi进行匹配,对两个平面系统之间大小为3×3的单应矩阵H进行初步估计,得到单应矩阵H;单应矩阵H定义为:
ai=Hbi
平面上的点为三维齐次矢量,设对应的特征点ai,bi的齐次坐标为即:
通过观测系统A和目标系统B中n(n≥4)对特征点的坐标计算,得到单应矩阵H;
使用LM算法与奇异值分解结合使用来求解单应性矩阵:计算映射后的特征点与目标系统中对应位置的特征点之间的重投影误差,通过优化LM算法更新单应性矩阵H的参数,以减小重投影误差;优化算法根据重投影误差,调整单应性矩阵H的参数,使得重投影误差逐步减小;重复迭代:重复计算误差与优化,直到达到指定的停止条件(如达到最大迭代次数或重投影误差足够小);将LM求得的单应性矩阵使用奇异值分解(SVD)做进一步处理;
步骤四:对需要对采集的视野进行预处理,旨在提高识别实际样本特征区域坐标数据的准确性和可用性;
作为一种举例说明,所述的预处理方式包括图像去噪、图像标准化等。
作为一种举例说明,所述图像去噪包括均值滤波、中值滤波或高斯滤波去噪等。
作为一种举例说明,所述图像标准化包括灰度化、直方图均衡化。
步骤五:将预先标注的语义分割的训练图像以及预处理后的图像利用深度学习语义分割模型进行训练,得到所述图像特征区域的实际分割图;
进一步的,根据鲁棒性的要求,对预处理后的图像,采用数据增强方法来增强数据样本的多样性,使得能够生成更多样化,更具挑战的图像样本;
作为一种举例说明,所述的数据增强方法包括:随机翻转、旋转,随机改变图像强度等。
作为一种举例说明,所述深度学习语义分割模型包括unet、deeplab、stardist模型。
步骤六:根据语义分割模型的结果,识别出实际样本点信息的坐标,将观测系统A中识别的实际样本点坐标存于Sa中,根据Sa中存的实际样本点的坐标,通过步骤三由校准特征点计算得到的单应性矩阵H,其坐标变换后得到对应的在目标系统B中的坐标。
作为一种举例说明,本发明通过scipy.ndimage.measurements label函数对特征点对应的连通域进行提取,并通过centroid属性获得观测系统A中实际样本特征区域的坐标。
基于所述的scipy.ndimage.measurements label函数受分割后存在小面积的孔洞的影响,本发明通过补集作为mask用于限制膨胀结果,通过cv.getStructuringElement()函数创建3×3的十字形核,用于作为膨胀时的kernel,直至收敛。
本发明的有益效果:
本发明克服两平面系统基于坐标映射转换中,因为视野角度、系统坐标体系不同导致坐标无法准确转换的问题,转换后的误差极低。
本发明的目的是,提供一种基于最小化重投影误差的全局优化坐标映射转换方法,通过自定义的校准特征点为计算两系统变换的单应性矩阵做准备,提出使用更小的十字校准特征点,提高定位精度;通过全局优化算法,计算出两个系统场景S的校准特征点间的位移关系,减少了坐标之间的误差问题,提高了坐标转换的精确度以及鲁棒性;对实际视野中的特征区域利用深度学习模型进行分割,利用改进后的识别方法精准识别出观测系统特征区域的坐标,通过基于最小化重投影误差迭代优化的方法使用校准特征点计算得到单应性矩阵,实现两平面系统之间的坐标变换映射;本发明提供了一种精度高、鲁棒性强的两平面系统坐标映射方法,该方法通过全局优化算法和自定义的校准特征点,显著提升了坐标转换的精确度和稳定性。
附图说明
图1是本发明基于最小化重投影误差的全局优化坐标映射转换方法之整体流程结构框图。
图2是本发明基于最小化重投影误差的全局优化坐标映射转换方法之校准特征点的参照图。
图3是本发明基于最小化重投影误差的全局优化坐标映射转换方法之实物图对应的场景S特征点示意图。
图4是本发明基于最小化重投影误差的全局优化坐标映射转换方法之场景S相邻特征点对应关系示意图。
图5是本发明基于最小化重投影误差的全局优化坐标映射转换方法之参考特征点与其他特征点的位移关系示意图。
图6是本发明基于最小化重投影误差的全局优化坐标映射转换方法之特征点坐标经全局优化后效果示意图。
图7是本发明基于最小化重投影误差的全局优化坐标映射转换方法之两平面系统坐标对应关系映射示意图。
图8是本发明基于最小化重投影误差的全局优化坐标映射转换方法之观测系统与目标系统坐标映射预览图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细说明。
参照图1所示,基于最小化重投影误差的全局优化坐标映射转换方法,包括如下步骤:
步骤一:通过人为设定的特征点(十字)的坐标作为校准特征点,分别计算两个系统中,相对应的校准特征点间的相对位移关系;即:计算出两个系统中每个校准特征点对应的坐标,以及相对应的两两特征点间的位移关系;
单应矩阵H具有8个自由度,共需要8个方程才能计算出单应矩阵H,而1对特征点能够提供两个方程,故而至少需要4对特征点才能完成单应矩阵H的求解,因此设计不少于4组特征点,特征点尽可能的充满整个场景S;
进一步的,所述特征点的坐标精度于校准十字大小成反比,校准十字大小越小,定位精度越高;
所述两个系统是指:观测系统A和目标系统B,所述观测系统A和目标系统B均为平面系统;
作为一种举例说明,单应性矩阵的计算需要至少四组对应点,如图2所示,本发明中所用的校准特征点为9个;
作为一种举例说明,如图3中示意,所述场景S是校准特征点的场景,场景S中的特征点记为Si,i表示特征点的序号,特征点Si满足:{si|i=1,2,3,…,m,n≥4},S0作为参考校准特征点。
对于观测系统A,特征点的集合记为VA,VA={ai|i=0,1,2,3,…,n;n≥4}为从场景S中选取的特征点,场景S的参考特征点S0在观测系统A中对应的参考特征点为a0;
对于目标系统B,特征点的集合记为VB,VB={bi|i=0,1,2,3,…,n;n≥4}为从场景S中选取的特征点,场景S的参考特征点S0在目标系统B中对应的参考特征点为b0;
如图4所示,通过对观测系统A中特征点坐标计算,得到场景S在观测系统A内特征点间的相对位移关系,记为:
如图4所示,通过对目标系统B中特征点坐标计算,得到场景S在目标系统B内特征点间的相对位移关系,记为:
其中,M、N为观测系统A中标定的特征点,U、V为目标系统B中标定的特征点;为在观测系统A中所抽取的特征点M坐标与特征点N坐标所计算出的差值;同理,/>为在目标系统B中所抽取的特征点U坐标与特征点V坐标所计算出的差值;
所述相对位移关系PA即观测系统A中相邻两特征点之间的位移差值。
所述相对位移关系PB即目标系统B中相邻两特征点之间的位移差值。
步骤二:通过全局优化,计算每个系统中其它特征点与本系统中的参考特征点的相对位移关系,得到每个系统中各特征点优化后的坐标,减少误差:
因为硬件设备的配置及对照时参差不齐等原因,对坐标的测量存在误差;在每个系统中,我们通过全局优化算法来减小特征点坐标的测量误差;
作为一种举例说明,所述的全局优化包括遗传算法、粒子群优化算法或模拟退火算法等;
对于观测系统A,经全局优化,计算得到的最优配置为:
对于目标系统B,经全局优化,计算得到的最佳配置为:
如图5所示,经全局优化后,选定一个特征点为参考点,计算得到其他特征点与参考特征点的相对位移;
场景S在观测系统A内,其它特征点相对参考特征点优化后的位移关系为:
场景S在目标系统B内,其它特征点相对参考特征点优化后的位移关系:
其中:
a0为观测系统A中选取的参考特征点,为经过全局优化后观测系统A中抽取的第n个特征点与参考特征点a0所得出的位移关系;
b0为目标系统B中选取的参考特征点,为经过全局优化后目标系统B中抽取的第n个特征点与参考特征点b0所得出的位移关系;
作为一种举例说明,通过优化后的特征点相对位移,求得优化后的特征点坐标,如图6所示,左图为校准特征点初始坐标,右图为经全局优化后特征点对于参考特征点的相对位移坐标,其中参考特征点的坐标为(0,0);
进一步的,选择多个不同的特征点作为预选参考点,将每一个预选参考点作为独立的全局优化问题进行求解,比较各个结果的准确性和误差,选择对应结果最优的预选特征点作为参考点。
进一步的,可以先使用局部优化算法进行粗略的优化,然后将局部优化的结果作为全局优化算法的初始值估计值,再使用全局优化算法进行精细的优化。
作为一种举例说明,所述的局部优化算法可选择梯度下降法、牛顿法等;
通过优化后的特征点相对位移,求得优化后的特征点坐标;
作为一种举例说明,所述全局优化算法包括:最小二乘法、随机游走算法或遗传算法。
步骤三:根据观测系统A和目标系统B之间特征点的对应关系,计算两系统的单应性变换矩阵,如图7所示;
对观测系统A和目标系统B进行匹配:将观测系统A特征点集合中的特征点与目标系统B特征点集合中的特征点进行对应匹配;
两个不同视角图像上的点,其对应的齐次坐标可以用一个射影变换来表述,对应的变换矩阵称为单应性矩阵;
将观测系统A特征点集合中的特征点ai与目标系统B特征点集合中对应的特征点bi进行匹配,对两个平面系统之间大小为3×3的单应矩阵H进行初步估计,得到单应矩阵H;单应矩阵H定义为:
ai=Hbi
平面上的点为三维齐次矢量,设对应的特征点ai,bi的齐次坐标为即:
通过观测系统A和目标系统B中n(n≥4)对特征点的坐标计算,得到单应矩阵H;
进一步的,使用LM(Levenberg-Marquarelt)算法与奇异值分解结合使用来求解单应性矩阵:
LM算法是一种迭代求函数极值的算法,结合了牛顿法求极值与梯度法求极值这两种算法的优点;
高斯牛顿法求极值的递推公式:xs+1=xS-H-1G,其中H是多维向量矩阵,G是多维向量的一阶梯度;
梯度法求极值的递推公式:xs+1=xs-αΔf(x),其中α是梯度下降步长,Δf(x)是多维向量的一阶梯度;
LM算法求极值的递推公式:xs+1=xs-(H+αI)-1G,其中αI是调节因子,α是步长,I是单位矩阵;
从上述公式中可看出,αI是控制步长的调节因子,也称为阻尼因子,当LM算法求得的极值接近最优点时,使用较小的α,使整个公式接近高斯牛顿法使得能够更快的收敛;当离最优点很远时,高斯牛顿误差大,因此使用较大的α,使得整个公式接近梯度法;
在使用LM算法求解优化问题,目标是通过调整参数使得拟合误差最小化。阻尼因子的调整可以基于最小化重投影误差来进行的,在每次迭代时,算法会计算当前参数下的重投影误差,并根据该误差来动态调整阻尼因子;
这里的重投影误差是将观测系统A上的特征点坐标通过单应性矩阵H进行投影,并将其归一化到齐次坐标形式,计算投影点与目标系统B的对应特征点坐标之间的差异(残差);
通过使用LM算法迭代调整参数值来不断优化拟合结果,将LM求得的单应性矩阵使用奇异值分解(SVD)做进一步处理;
作为一种举例说明,分别使用最小化重投影误差、MSE以及决定系数等指标对优化算法进行评价,其中最小化重投影误差越小,获得的单应性矩阵越准确;MSE越小表示预测的变换结果与真实值之间的差异越小,单应性矩阵的准确性越高;决定系数的大小的取值范围在0-1之间,与拟合程度成正相关,具体数据可以参照表1:
表1
优化算法 | 最小化重投影误差 | MSE | 决定系数 |
LM算法 | 22.176486705092152 | 676.0035575186679 | 0.5333712164297386 |
最小二乘 | 50.155505953820104 | 2882.547043031037 | -0.9897519847541365 |
梯度下降 | 86.4819901557029 | 7862.522598212905 | -4.427307763386234 |
RANSAC | 29.609916714415597 | 1161.832564218829 | 0.1980152913044716 |
高斯牛顿法 | 37.85314675135679 | 1666.4463229147004 | -0.1503072903952103 |
步骤四:对需要对采集的视野进行预处理,旨在提高识别实际样本点坐标数据的准确性和可用性;
作为一种举例说明,所述的预处理方式包括图像去噪、图像标准化等;
作为一种举例说明,所述图像去噪包括均值滤波、中值滤波或高斯滤波去噪等;
作为一种举例说明,所述图像标准化包括灰度化、直方图均衡化;
步骤五:将预先标注的语义分割的训练图像以及预处理后的图像利用深度学习语义分割模型进行训练,得到所述图像的实际分割图;
进一步的,根据鲁棒性的要求,对预处理后的图像,采用数据增强方法来增强数据样本的多样性,使得能够生成更多样化,更具挑战的图像样本;
作为一种举例说明,所述的数据增强方法包括随机翻转、旋转,随机改变图像强度等;
作为一种举例说明,所述深度学习语义分割模型包括unet、deeplab、stardist模型;
步骤六:根据语义分割模型的结果,识别出实际样本点信息的坐标,将观测系统A中识别的实际样本点坐标存于Sa中,根据Sa中存的实际样本点的坐标,通过步骤三由校准特征点计算得到的单应性矩阵H,其坐标变换后得到对应的在目标系统B中的坐标;
作为一种举例说明,本发明通过scipy.ndimage.measurements label函数对特征点对应的连通域进行提取,并通过centroid属性获得观测系统系统A中实际样本点的坐标;
进一步的,基于所述的scipy.ndimage.measurements label函数受分割后存在小面积的孔洞的影响,本发明通过补集作为mask用于限制膨胀结果,通过cv.getStructuringElement()函数创建3×3的十字形核,用于作为膨胀时的kernel,直至收敛;
如图8所示,将观测系统的特征区域进行分割后,基于上述识别方法取得的对应特征点坐标,通过变换矩阵,获得目标系统特征区域的定位坐标;
本发明克服两平面系统基于坐标映射转换中,因为视野角度、系统坐标体系不同导致坐标无法准确转换的问题,转换后的误差极低。
本发明的目的是,提供一种基于最小化重投影误差的全局优化坐标映射转换方法,通过自定义的校准特征点为计算两系统变换的单应性矩阵做准备,提出使用更小的十字校准特征点,提高定位精度;通过全局优化算法,计算出两个系统场景S的校准特征点间的位移关系,减少了坐标之间的误差问题,提高了坐标转换的精确度以及鲁棒性;对实际视野中的特征区域利用深度学习模型进行分割,利用改进后的识别方法精准识别出观测系统特征区域的坐标,通过基于最小化重投影误差迭代优化的方法使用校准特征点计算得到单应性矩阵,实现两平面系统之间的坐标变换映射;本发明提供了一种精度高、鲁棒性强的两平面系统坐标映射方法,该方法通过全局优化算法和自定义的校准特征点,显著提升了坐标转换的精确度和稳定性。
以上所述的仅为本发明的优选实施例,所应理解的是,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想,并不用于限定本发明的保护范围,凡在本发明的思想和原则之内所做的任何修改、等同替换等等,均应包含在本发明的保护范围之内。
Claims (10)
1.基于最小化重投影误差的全局优化坐标映射转换方法,其特征在于,包括如下步骤:
步骤一:通过人为设定的特征点的坐标作为校准特征点,分别计算两个系统中,相对应的特征点间的相对位移关系;即:计算出两个系统中每个特征点对应的坐标,以及相对应的两两特征点间的位移关系;
单应矩阵H具有8个自由度,共需8个方程计算出单应矩阵H,1对特征点能够提供两个方程,故至少需要4对特征点才能完成单应矩阵H的求解,因此设计不少于4组特征点,特征点尽可能的充满整个场景S;
所述场景S是校准特征点的场景,场景S中的特征点记为Si,i表示特征点的序号,特征点Si满足:{si|i=1,2,3,…,n,n≥4},S0作为参考校准特征点;
所述两个系统是指:观测系统A和目标系统B,所述观测系统A和目标系统B均为平面系统;
对于观测系统A,特征点的集合记为VA,VA={ai|i=0,1,2,3,…,n;n≥4}为从场景S中选取的特征点,场景S的参考特征点S0在观测系统A中对应的参考特征点为a0;
对于目标系统B,特征点的集合记为VB,VB={bi|i=0,1,2,3,…,n;n≥4}为从场景S中选取的特征点,场景S的参考特征点S0在目标系统B中对应的参考特征点为b0;
通过对观测系统A中特征点坐标计算,得到场景S在观测系统A内特征点间的相对位移关系,记为:
通过对目标系统B中特征点坐标计算,得到场景S在目标系统B内特征点间的相对位移关系,记为:
其中,M、N为观测系统A中标定的特征点,U、V为目标系统B中标定的特征点;为在观测系统A中所抽取的特征点M坐标与特征点N坐标所计算出的差值;同理,/>为在目标系统B中所抽取的特征点U坐标与特征点V坐标所计算出的差值;
所述相对位移关系PA即观测系统A中相邻两特征点之间的位移差值;
所述相对位移关系PB即目标系统B中相邻两特征点之间的位移差值;
步骤二:通过全局优化,计算每个系统中其它特征点与本系统中的参考特征点的相对位移关系,得到每个系统中各特征点优化后的坐标;
对于观测系统A,经全局优化,计算得到的最优配置为:
对于目标系统B,经全局优化,计算得到的最佳配置为:
场景S在观测系统A内,其它特征点相对参考特征点优化后的位移关系为:
场景S在目标系统B内,其它特征点相对参考特征点优化后的位移关系:
其中:
a0为观测系统A中选取的参考特征点,为经过全局优化后观测系统A中抽取的第n个特征点与参考特征点a0所得出的位移关系;
b0为目标系统B中选取的参考特征点,为经过全局优化后目标系统B中抽取的第n个特征点与参考特征点b0所得出的位移关系;
通过优化后的特征点相对位移,求得优化后的特征点坐标;
步骤三:根据全局优化后观测系统A和目标系统B之间特征点的对应关系,计算两系统的单应性变换矩阵;
对观测系统A和目标系统B进行匹配:将观测系统A特征点集合中的特征点与目标系统B特征点集合中的特征点进行对应匹配;
两个不同视角图像上的点,其对应的齐次坐标可以用一个射影变换来表述,对应的变换矩阵称为单应性矩阵;
将观测系统A特征点集合中的特征点ai与目标系统B特征点集合中对应的特征点bi进行匹配,对两个平面系统之间大小为3×3的单应矩阵H进行初步估计,得到单应矩阵H;单应矩阵H定义为:
ai=Hbi
平面上的点为三维齐次矢量,设对应的特征点ai,bi的齐次坐标为即:
通过观测系统A和目标系统B中n对特征点的坐标计算,得到单应矩阵H;其中:n≥4;
步骤四:对需要对采集的视野进行预处理,旨在提高识别实际样本特征区域坐标数据的准确性和可用性;
步骤五:将预先标注的语义分割的训练图像以及预处理后的图像利用深度学习语义分割模型进行训练,得到所述图像特征区域的实际分割图;
根据鲁棒性的要求,对预处理后的图像,采用数据增强方法来增强数据样本的多样性,使得能够生成更多样化,更具挑战的图像样本;
步骤六:根据语义分割模型的结果,识别出实际样本点信息的坐标,将观测系统A中识别的实际样本点坐标存于Sa中,根据Sa中存的实际样本点的坐标,通过步骤三由校准特征点计算得到的单应性矩阵H,其坐标变换后得到对应的在目标系统B中的坐标。
2.根据权利要求1所述的基于最小化重投影误差的全局优化坐标映射转换方法,其特征在于,所述全局优化包括:最小二乘法、随机游走算法或遗传算法。
3.根据权利要求1所述的基于最小化重投影误差的全局优化坐标映射转换方法,其特征在于,所述特征点的坐标精度与校准十字大小成反比,校准十字大小越小,定位精度越高。
4.根据权利要求1所述的基于最小化重投影误差的全局优化坐标映射转换方法,其特征在于,所述的预处理方式包括:图像去噪及图像标准化;
所述图像去噪包括均值滤波、中值滤波或高斯滤波去噪;
所述图像标准化包括灰度化、直方图均衡化。
5.根据权利要求1所述的基于最小化重投影误差的全局优化坐标映射转换方法,其特征在于,先使用局部优化算法进行粗略的优化,将优化的结果作为全局优化的初始估计值后,再进行全局优化。
6.根据权利要求5所述的基于最小化重投影误差的全局优化坐标映射转换方法,其特征在于,所述的局部优化方法包括:梯度下降法或牛顿法。
7.根据权利要求1所述的基于最小化重投影误差的全局优化坐标映射转换方法,其特征在于,使用基于最小化重投影误差迭代的LM算法与奇异值分解结合计算单应性矩阵。
8.根据权利要求1所述的基于最小化重投影误差的全局优化坐标映射转换方法,其特征在于,所述的深度学习分割模型包括:unet、deeplab或stardist模型。
9.根据权利要求1所述的基于最小化重投影误差的全局优化坐标映射转换方法,所述的数据增强方法包括:随机翻转、旋转或随机改变图像强度方法中的一种或者组合。
10.根据权利要求1所述的基于最小化重投影误差的全局优化坐标映射转换方法,其特征在于,选择多个不同的特征点作为预选参考点,将每一个预选参考点作为独立的全局优化问题进行求解,比较各个结果的准确性和误差,选择对应结果最优的预选特征点作为参考点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311246476.9A CN117314735B (zh) | 2023-09-26 | 2023-09-26 | 基于最小化重投影误差的全局优化坐标映射转换方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311246476.9A CN117314735B (zh) | 2023-09-26 | 2023-09-26 | 基于最小化重投影误差的全局优化坐标映射转换方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117314735A CN117314735A (zh) | 2023-12-29 |
CN117314735B true CN117314735B (zh) | 2024-04-05 |
Family
ID=89273132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311246476.9A Active CN117314735B (zh) | 2023-09-26 | 2023-09-26 | 基于最小化重投影误差的全局优化坐标映射转换方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117314735B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104616292A (zh) * | 2015-01-19 | 2015-05-13 | 南开大学 | 基于全局单应矩阵的单目视觉测量方法 |
CN105389787A (zh) * | 2015-09-30 | 2016-03-09 | 华为技术有限公司 | 一种全景图像拼接方法及装置 |
CN109064404A (zh) * | 2018-08-10 | 2018-12-21 | 西安电子科技大学 | 一种基于多相机标定的全景拼接方法、全景拼接系统 |
WO2021057743A1 (zh) * | 2019-09-27 | 2021-04-01 | Oppo广东移动通信有限公司 | 地图融合方法及装置、设备、存储介质 |
CN112927279A (zh) * | 2021-02-24 | 2021-06-08 | 中国科学院微电子研究所 | 一种图像深度信息生成方法、设备及存储介质 |
CN113160336A (zh) * | 2021-05-11 | 2021-07-23 | 北京易航远智科技有限公司 | 一种简易标定环境下的车载环视相机标定方法 |
CN114399547A (zh) * | 2021-12-09 | 2022-04-26 | 中国人民解放军国防科技大学 | 一种基于多帧的单目slam鲁棒初始化方法 |
CN114821113A (zh) * | 2021-11-19 | 2022-07-29 | 江苏科技大学 | 基于自适应鲁棒核的单目视觉惯性slam方法与系统 |
CN115456870A (zh) * | 2022-07-26 | 2022-12-09 | 南京华智大为科技有限责任公司 | 基于外参估计的多图像拼接方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111047510B (zh) * | 2019-12-17 | 2023-02-14 | 大连理工大学 | 一种基于标定的大视场角图像实时拼接方法 |
-
2023
- 2023-09-26 CN CN202311246476.9A patent/CN117314735B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104616292A (zh) * | 2015-01-19 | 2015-05-13 | 南开大学 | 基于全局单应矩阵的单目视觉测量方法 |
CN105389787A (zh) * | 2015-09-30 | 2016-03-09 | 华为技术有限公司 | 一种全景图像拼接方法及装置 |
CN109064404A (zh) * | 2018-08-10 | 2018-12-21 | 西安电子科技大学 | 一种基于多相机标定的全景拼接方法、全景拼接系统 |
WO2021057743A1 (zh) * | 2019-09-27 | 2021-04-01 | Oppo广东移动通信有限公司 | 地图融合方法及装置、设备、存储介质 |
CN112927279A (zh) * | 2021-02-24 | 2021-06-08 | 中国科学院微电子研究所 | 一种图像深度信息生成方法、设备及存储介质 |
CN113160336A (zh) * | 2021-05-11 | 2021-07-23 | 北京易航远智科技有限公司 | 一种简易标定环境下的车载环视相机标定方法 |
CN114821113A (zh) * | 2021-11-19 | 2022-07-29 | 江苏科技大学 | 基于自适应鲁棒核的单目视觉惯性slam方法与系统 |
CN114399547A (zh) * | 2021-12-09 | 2022-04-26 | 中国人民解放军国防科技大学 | 一种基于多帧的单目slam鲁棒初始化方法 |
CN115456870A (zh) * | 2022-07-26 | 2022-12-09 | 南京华智大为科技有限责任公司 | 基于外参估计的多图像拼接方法 |
Non-Patent Citations (2)
Title |
---|
单目视觉拼图导航中的单应矩阵估计;高俊钗等;光电子技术;20130928;第33卷(第03期);全文 * |
高俊钗等.单目视觉拼图导航中的单应矩阵估计.光电子技术.2013,第33卷(第03期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN117314735A (zh) | 2023-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110335297B (zh) | 一种基于特征提取的点云配准方法 | |
CN109064516B (zh) | 一种基于绝对二次曲线像的相机自标定方法 | |
CN107481284A (zh) | 目标物跟踪轨迹精度测量的方法、装置、终端及系统 | |
US20210090230A1 (en) | System and method for efficiently scoring probes in an image with a vision system | |
CN107490356B (zh) | 一种非合作目标旋转轴和旋转角测量方法 | |
CN111429494A (zh) | 一种基于生物视觉的点云高精度自动配准方法 | |
CN110647156B (zh) | 基于目标物对接环的对接设备位姿调整方法、系统 | |
CN109974618B (zh) | 多传感器视觉测量系统的全局标定方法 | |
CN112509044A (zh) | 一种基于点线特征融合的双目视觉slam方法 | |
CN112017223A (zh) | 基于改进SIFT-Delaunay的异源图像配准方法 | |
Lotz et al. | Robust, fast and accurate: a 3-step method for automatic histological image registration | |
CN107749071A (zh) | 大畸变棋盘格图像角点检测方法及装置 | |
CN114463442A (zh) | 一种非同轴相机的标定方法 | |
CN117314735B (zh) | 基于最小化重投影误差的全局优化坐标映射转换方法 | |
Zhou et al. | Feature matching for remote sensing image registration via manifold regularization | |
Aranda et al. | Omnidirectional visual homing using the 1D trifocal tensor | |
CN113587904A (zh) | 一种融合机器视觉和激光参照点信息的目标位姿测量方法 | |
CN112254743A (zh) | 一种基于星角距相减的星敏感器在轨标定方法 | |
CN109754435B (zh) | 一种基于小靶标模糊图像的摄像机在线标定方法 | |
CN111951178A (zh) | 显著提升图像质量的图像处理方法、装置和电子设备 | |
CN116630423A (zh) | 一种基于orb特征的微小型机器人多目标双目定位方法及系统 | |
Alturki et al. | Camera principal point estimation from vanishing points | |
CN108510543A (zh) | 一种棋盘格图像特征中心亚像素定位方法 | |
CN114897990A (zh) | 一种基于神经网络的相机畸变标定方法、系统和存储介质 | |
CN115035326A (zh) | 一种雷达图像与光学图像精确匹配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |