CN117788576A - 一种基于单张图像的相机空间定位方法 - Google Patents
一种基于单张图像的相机空间定位方法 Download PDFInfo
- Publication number
- CN117788576A CN117788576A CN202311741853.6A CN202311741853A CN117788576A CN 117788576 A CN117788576 A CN 117788576A CN 202311741853 A CN202311741853 A CN 202311741853A CN 117788576 A CN117788576 A CN 117788576A
- Authority
- CN
- China
- Prior art keywords
- image
- straight line
- coordinates
- camera
- transformed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 239000011159 matrix material Substances 0.000 claims abstract description 39
- 230000001131 transforming effect Effects 0.000 claims abstract description 12
- 238000001914 filtration Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于单张图像的相机空间定位方法,该方法包括以下步骤:获取原始图像场景中直线簇或近似矩形;获得平面单应矩阵,通过平面单应矩阵对图像进行变换,得到变换图像;设置变换图像上的特征点,将特征点逆投影至原始图像,获得特征点在原始图像的图像坐标;根据特征点在变换图像中的坐标和特征点在原始图像上的坐标,通过PnP法获得相机的位姿。本发明公开了一种基于单张图像的相机空间定位方法,仅需要单张图片,无需三维重建即可实现相机空间定位。
Description
技术领域
本发明涉及一种相机空间定位方法,尤其是基于单张图像的相机空间定位方法,属于视觉定位领域。
背景技术
相机的位姿估计在AR(Augmented Reality增强现实)的实现中起着至关重要的作用,准确的位姿估计是将虚拟物体能够准确叠加在真实场景中的必要条件。
现有技术中,AR应用中,在对相机位姿进行估计之前,需要对场景进行三维重建,一般采用SLAM(Simultaneous Localization And Mapping,同步定位和建图)的方法来进行,SLAM的基础是多视几何理论,对于AR这种实时视频应用,它必须要满足一定的视差要求,因此需要多张图像进行相机定位。
现有技术中,对于小范围场景还可通过PnP法(Perspective-n-Point,n点透视法)来求解相机的定位问题,然而,PnP算法求解相机位姿的前提条件是必须预先获得n个(n>3)三维参考点的3D坐标,以及它们在图像上对应的2D坐标,n越大算法的鲁棒性越高,参考点的3D坐标一般通过三维重建的方法来获得,而三维重建方法无论是SLAM还是SfM(Structure from Motion,根据运动的结构重建),都需要多张图像的参与。
在部分小范围AR场景中,只需要相对定位,现有技术中的基于多张图像的三维重建定位,定位相对复杂,运算量、定位速度在特定需求时无法满足。
由于上述原因,有必要提出了一种针对平面小范围AR场景的简单、快速的定位方法。
发明内容
为了克服上述问题,本发明进行了深入研究,设计出一种基于单张图像的相机空间定位方法,包括以下步骤:
S1、获取原始图像场景中直线簇或近似矩形;当获取的为直线簇时,在直线簇中寻找至少一对近似直线对,所述近似直线对是指两条直线近似平行或近似垂直;
所述近似矩形是指实际矩形物体拍摄后得到的轮廓线;
S2、获得平面单应矩阵,通过平面单应矩阵对原始图像进行变换,得到变换图像,其中,所述平面单应矩阵为能够将近似直线对映射为完全平行或垂直直线对,或能够将近似矩形映射为矩形的变换矩阵;
S3、设置变换图像上的特征点,利用所述平面单应矩阵将特征点逆投影至原始图像,获得特征点在原始图像的图像坐标;
S4、根据特征点在变换图像中的坐标和在原始图像上的坐标,通过PnP法获得相机的位姿。
在一个优选的实施方式中,在步骤S1中,所述在直线簇中寻找至少一对近似直线对,通过对直线簇进行过滤获得。
在一个优选的实施方式中,S1中,所述过滤包括距离过滤。
在一个优选的实施方式中,S1中,所述原始图片是指相机拍摄的单张图片。
在一个优选的实施方式中,S3中包括以下子步骤:
S31、在变换图像上设置特征点;
S32、以变换图像的图像平面作为z=0平面,构建基于变换图像的三维坐标系,获取特征点在三维坐标系下的坐标值,该坐标值称为变换特征点坐标;
S33、通过平面单应矩阵对变换特征点坐标进行变换,获得特征点在原始图像中的坐标。
在一个优选的实施方式中,所述近似平行直线,是指两条直线之间的角度小于10度的直线,所述近似垂直,是指两条直线之间的夹角为80~100度的直线。
在一个优选的实施方式中,在步骤S1之前,还具有步骤S0、预处理图像;所述预处理,包括图像灰度化、图像均衡化、对比度增强、图像去噪、骨架提取中的一种或多种。
本发明还公开了一种基于单张图像的相机空间定位装置,包括直线簇获取模块、图像变换模块、特征点提取模块和位姿解算模块,
所述直线获取模块,用于获取原始图像场景中直线簇或近似矩形;
所述图像变换模块,用于获得平面单应矩阵,通过平面单应矩阵对图像进行变换,得到变换图像;
所述特征点提取模块,用于设置变换图像上的特征点,将特征点逆投影至原始图像,获得特征点在原始图像的图像坐标;
所述位姿解算模块,根据特征点在变换后图像中的坐标和特征点在原始图像上的坐标,通过PnP法获得相机的定位。
本发明还提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述任一项所述的方法。
本发明还提供了一种存储有计算机指令的计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行上述任一项所述的方法。
本发明所具有的有益效果包括:
(1)仅需要单张图片即可实现相机空间定位;
(2)无需三维重建即可实现相机空间定位;
(3)定位方法简单、运算量低、定位速度快。
附图说明
图1示出根据本发明一种优选实施方式的基于单张图像的相机空间定位方法流程示意图;
图2示出根据本发明一种优选实施方式的基于单张图像的相机空间定位方法原始图像示意图;
图3示出根据本发明一种优选实施方式的基于单张图像的相机空间定位方法直线识别示意图;
图4示出根据本发明一种优选实施方式的基于单张图像的相机空间定位方法中对原始图像进行变换示意图。
具体实施方式
下面通过附图和实施例对本发明进一步详细说明。通过这些说明,本发明的特点和优点将变得更为清楚明确。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
根据本发明提供的一种基于单张图像的相机空间定位方法,针对具有类似直线边缘的AR场景进行相机的空间定位,进一步地,针对AR场景中具有平行或垂直直线边缘的物体时进行相机的空间定位。
进一步地,在相机拍摄单张图像后即可进行定位,无需等待相机提供多张图片。
进一步地,该方法包括以下步骤:
S1、获取原始图像场景中直线簇或近似矩形;当获取的为直线簇时,在直线簇中寻找至少一对近似直线对,所述近似直线对是指两条直线近似平行或近似垂直;
所述近似矩形是指实际矩形物体拍摄后得到的轮廓线;
S2、获得平面单应矩阵,通过平面单应矩阵对原始图像进行变换,得到变换图像,其中,所述平面单应矩阵为能够将近似直线对映射为完全平行或垂直直线对,或能够将近似矩形映射为矩形的变换矩阵;
S3、设置变换图像上的特征点,利用所述平面单应矩阵将特征点逆投影至原始图像,获得特征点在原始图像的图像坐标;
S4、根据特征点在变换后图像中的坐标和特征点在原始图像上的坐标,通过PnP法获得相机的位姿。
优选地,在步骤S1之前,还具有步骤S0、预处理图像;通过预处理图像,降低图像复杂度、简化图像数据,便于后续直线的获取检测。
进一步地,在本发明中,对具体的预处理方法不做特别限定,可以包括图像灰度化、图像均衡化、对比度增强、图像去噪、骨架提取等中的一种或多种。
所述原始图片是指相机拍摄的单张图片。本发明通过相机拍摄的单张图片即可获得相机位姿,定位速度更快。
在步骤S1中,所述直线通过霍夫变换获得,霍夫变换是一种特征检测,被广泛应用在图像分析、计算机视觉以及数位影像处理中。
进一步地,通过霍夫变换,可以识别出图像中的多条直线段,获得图像场景中的直线簇。
在一个优选的实施方式中,所述在直线簇中寻找至少一对近似直线对,通过对直线簇进行过滤获得,
优选地,过滤获得近似平行直线对的过程包括以下子步骤:
S101、在直线簇中选出最长直线;
S102、寻找与最长直线近似平行的直线,若无近似平行直线,则删除该最长直线;若有近似平行直线,则将所有近似平行直线与最长直线组合成至少一个近似平行直线对,并将近似平行直线对中直线移出直线簇中;
S103、重复步骤S101~S102,处理直线簇中剩余直线。
优选地,S102中,所述近似平行直线是指两条直线之间的角度小于角度阈值的直线,更优选地,所述角度阈值设置为10度。
优选地,所述过滤还包括距离过滤:
当两条近似平行直线的距离小于距离阈值时,将较短直线删除,更优选地,所述距离阈值设置为图像宽度与图像高度中最小值的0.2倍。在本发明中,通过设置距离阈值,将多个相同位置的直线筛选出来,避免其影响后续的处理。
优选地,过滤获得近似垂直直线对过程包括以下子步骤:
S111、在直线簇中选出最长直线;
S112、寻找与最长直线近似垂直的直线,若无近似垂直直线,则删除该最长直线;若有近似垂直直线,则将所有近似垂直直线与最长直线组合成至少一个近似垂直直线对,并将近似垂直直线对中直线移出直线簇中;
S113、重复步骤S111~S112,处理直线簇中剩余直线。
所述近似垂直直线对,是指两条直线之间的夹角为80~100度的直线。
在步骤S2中,所述平面单应矩阵通过对近似直线对或对近似矩形进行最小二乘法优化求解获得,在本发明中,对具体获得方法不做限定,本领域技术人员可采用任意一种已知的方式获得,例如采用OpenCV中提供的方法获得。
在一个优选的实施方式中,当具有多对近似直线对时,分别对每对近似直线对进行平面单应矩阵的求取,然后相互校验;如果都通过校验,则任选一对近似直线对进行平面单应矩阵的求取;如果不通过校验,则直线长度最长的一对近似直线对进行平面单应矩阵的求取。
进一步地,通过平面单应矩阵,可以对原始图像进行变换,如图4所示,获得变换图像,变换图像中,直线对中的直线完全平行或垂直。
优选地,S3中包括以下子步骤:
S31、在变换图像上设置特征点;
S32、以变换图像的图像平面作为z=0平面,构建基于变换图像的三维坐标系,获取特征点在三维坐标系下的坐标值,该坐标值称为变换特征点坐标;
S33、通过平面单应矩阵对变换特征点坐标进行变换,获得特征点在原始图像中的坐标。
在步骤S31中,对特征点的具体类型不做限制,可以是光流点、ORB点、SIFT点、SURF点等的任意类型特征点,本领域技术人员可根据需要自由选择。
优选地,S31包括以下子步骤:
S311、获得变换图片上不同位置的特征点;
S312、以特征点的模作为特征点的强度构造优先队列,将所有特征点放置到优先队列中;
S313、通过Delaunary三角化方法,依次将优先队列中的特征点插入到三角网中,距离从大到小依次从优先队列中选取强度最强的150-200个特征点,将这些特征点保留,删除其余位置的特征点。
S311中,可以采用任意一种已知的方法获取图片上不同位置的特征点,例如通过调用Open CV算法库获得。
S313中,通过Delaunary三角化方法能够加快搜索效率,提高空间定位速度;
进一步地,通过距离从大到小依次从优先队列中选取强度最强的150-200个特征点,能够使获得的特征点兼顾强度和相互距离分散,极大提高定位的精度。
更优选地,S313包括以下子步骤:
S3131、设定距离阈值;
S3132遍历优先队列,针对每一个特征点,可得到其所在三角形的三个顶点对应的三个相邻特征点,计算三个相邻特征点与该特征点的最小距离,当最小距离大于距离阈值时,将该特征点选取,同时从优先队列中剔除该特征点,获得新优先队列;
S3133、缩小距离阈值,重复步骤S3132,遍历新优先队列,选取特征点;
S3134、重复步骤S3133,多次缩小距离阈值,直到选取的特征点数目达到150-200个。
优选地,S3131中,初始时,距离阈值设置为一个较大的值,例如选取图像长宽最小值的1/2。
优选地,S3132中,按照黄金分割比例缩小距离阈值。
在步骤S4中,根据特征点的变换特征点坐标和原始图像的坐标,通过PnP法(Perspective-n-Point,n点透视法)即可获得相机的定位。
利用PnP算法结合最小二乘法则求取投影变换矩阵M,使得变换特征点坐标利用M矩阵变换后得到的二维坐标点距离特征点在原始图像上的对应的坐标点,在最小二乘意义下偏差最小。
在求解M矩阵时,利用特征点的强度以及特征点到变换图像中心点的距离作为最小二乘计算的权重来提高算法的稳定性特征点的强度越大,权重越大,特征点到变换图像中心点的距离越远,权重越大。
优选地,在第一次求解的结果基础上,剔除误差大于特定阈值的特征点后再次求解,以此来提高最终解算的精度。
实施例
实施例1
进行相机定位,在相机拍摄单张图像后,进行以下步骤:
步骤S0、预处理图像;所述预处理,包括图像灰度化、对比度增强、图像去噪;
S1、获取原始图像场景中直线簇;在直线簇中寻找至少一对近似直线对,所述近似直线对是指两条直线近似平行,两条直线之间的角度小于10度;
S2、获得平面单应矩阵,通过平面单应矩阵对图像进行变换,得到变换图像;
S3、设置变换图像上的特征点,将特征点逆投影至原始图像,获得特征点在原始图像的图像坐标;
S4、根据特征点在变换图像中的坐标和特征点在原始图像上的坐标,通过PnP法获得相机的位姿。
在步骤S1中,所述直线通过霍夫变换获得,所述过滤,包括以下子步骤:
S101、在直线簇选出最长直线;
S102、寻找与最长直线近似平行的直线,若无近似平行直线,则删除该最长直线;若有相近似平行直线,则将所有相近似平行直线与最长直线组合成至少一个近似平行直线对,并将近似平行直线对中直线移出直线簇中;
S103、重复步骤S101~S102,处理直线库簇剩余直线
所述过滤还包括距离过滤:
当两条平行直线的距离小于距离阈值时,将较短直线删除,更优选地,所述距离阈值设置为图像宽度与图像高度中最小值的0.2倍。
在步骤S2中,所述平面单应矩阵通过对近似直线对进行最小二乘法优化求解获得。
在步骤S3中,在变换后的图像中提取特征点,特征点采用光流点。
S3中包括以下子步骤:
S31、在变换图像上设置特征点;
S32、以变换图像的图像平面作为z=0平面,构建基于变换图像的三维坐标系,获取特征点在三维坐标系下的坐标值,该坐标值称为变换特征点坐标;
S33、通过平面单应矩阵对变换特征点坐标进行变换,获得特征点在原始图像中的坐标。
S31包括以下子步骤:
S311、获得变换图片上不同位置的特征点;
S312、以特征点的模作为特征点的强度构造优先队列,将所有特征点放置到优先队列中;
S313、通过Delaunary三角化方法,依次将优先队列中的特征点插入到三角网中,距离从大到小依次从优先队列中选取强度最强的150个特征点,将这些特征点保留,删除其余位置的特征点。
S313包括以下子步骤:
S3131、设定距离阈值,其中距离阈值设置为图像长宽最小值的1/2;
S3132遍历优先队列,针对每一个特征点,可得到其所在三角形的三个顶点对应的三个相邻特征点,计算三个相邻特征点与该特征点的最小距离,当最小距离大于距离阈值时,将该特征点选取,同时从优先队列中剔除该特征点,获得新优先队列;
S3133、缩小距离阈值,重复步骤S3132,遍历新优先队列,选取特征点;
S3134、重复步骤S3133,多次缩小距离阈值,直到选取的特征点数目达到150个。
在步骤S4中,根据特征点在变换后图像中的坐标,通过PnP法获得相机的定位。
对比例1
采用相同的相机,采用SFM(Structure From Motion)方法获取相机定位,SFM方法是目前使用率最高的相机定位方法。
实验例
获得实施例1、对比例1中相机定位后,对相机定位精度进行检验,采用行业通用的检测方法进行,具体地,
针对实施例1,在拍摄目标上设置150个检测点,拍摄一幅大小为960像素*720像素图像作为原始图像;针对对比例1除了该图像外,另外拍摄同样大小的两幅作为原始图像;
根据相机的定位关系,将目标上设置的150个检测点重投影在拍摄图像上,获得重投影检测点;
将重投影检测点与图像检测点进行比对,获得检测点偏差,该偏差称为重投影误差,以重投影误差的大小作为定位精确度的度量指标,误差越小,说明定位精度越高。
实施例1、对比例1中相机定位精度检测结果如表一所示。
表一
从表中可以看出,实施例1中的定位方法虽然仅需拍摄一张图像,但其和对比例1的方法获得的定位精度几乎相同。
本发明还提供了一种基于单张图像的相机空间定位装置,包括直线簇获取模块、图像变换模块、特征点提取模块和位姿解算模块,
所述直线获取模块,用于获取原始图像场景中直线簇或近似矩形,优选通过霍夫变换提取图像中的直线簇;
所述图像变换模块,用于获取平面单应矩阵,通过平面单应矩阵对原始图像进行变换,得到变换图像;
所述特征点提取模块,用于设置变换图像上的特征点,将特征点逆投影至原始图像,获得特征点在原始图像的图像坐标;
所述位姿解算模块,根据特征点在变换后图像中的坐标和特征点在原始图像上的坐标,通过PnP法获得相机的定位。
本发明中以上描述的方法和装置的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的方法和装置,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的方法和装置实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与V P S服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明公开的技术方案所期望的结果,本文在此不进行限制。
Claims (10)
1.一种基于单张图像的相机空间定位方法,其特征在于,包括以下步骤:
S1、获取原始图像场景中直线簇或近似矩形;当获取的为直线簇时,在直线簇中寻找至少一对近似直线对,所述近似直线对是指两条直线近似平行或近似垂直;
所述近似矩形是指实际矩形物体拍摄后得到的轮廓线;
S2、获得平面单应矩阵,通过平面单应矩阵对原始图像进行变换,得到变换图像,其中,所述平面单应矩阵为能够将近似直线对映射为完全平行或垂直直线对,或能够将近似矩形映射为矩形的变换矩阵;
S3、设置变换图像上的特征点,利用所述平面单应矩阵将特征点逆投影至原始图像,获得特征点在原始图像的图像坐标;
S4、根据特征点在变换图像中的坐标和特征点在原始图像上的坐标,通过PnP法获得相机的位姿。
2.根据权利要求1所述的基于单张图像的相机空间定位方法,其特征在于,
在步骤S1中,所述在直线簇中寻找至少一对近似直线对,通过对直线簇进行过滤获得。
3.根据权利要求2所述的基于单张图像的相机空间定位方法,其特征在于,
S1中,所述过滤包括距离过滤。
4.根据权利要求1所述的基于单张图像的相机空间定位方法,其特征在于,
S1中,所述原始图片是指相机拍摄的单张图片。
5.根据权利要求1所述的基于单张图像的相机空间定位方法,其特征在于,
S3中包括以下子步骤:
S31、在变换图像上设置特征点;
S32、以变换图像的图像平面作为z=0平面,构建基于变换图像的三维坐标系,获取特征点在三维坐标系下的坐标值,该坐标值称为变换特征点坐标;
S33、通过平面单应矩阵对变换特征点坐标进行变换,获得特征点在原始图像中的坐标。
6.根据权利要求1所述的基于单张图像的相机空间定位方法,其特征在于,
所述近似平行直线,是指两条直线之间的角度小于10度的直线,所述近似垂直,是指两条直线之间的夹角为80~100度的直线。
7.根据权利要求1所述的基于单张图像的相机空间定位方法,其特征在于,
在步骤S1之前,还具有步骤S0、预处理图像;所述预处理,包括图像灰度化、图像均衡化、对比度增强、图像去噪、骨架提取中的一种或多种。
8.一种基于单张图像的相机空间定位装置,其特征在于,包括直线簇获取模块、图像变换模块、特征点提取模块和位姿解算模块,
所述直线获取模块,用于获取原始图像场景中直线簇或近似矩形;
所述图像变换模块,用于获得平面单应矩阵,通过平面单应矩阵对图像进行变换,得到变换图像;
所述特征点提取模块,用于设置变换图像上的特征点,将特征点逆投影至原始图像,获得特征点在原始图像的图像坐标;
所述位姿解算模块,根据特征点在变换后图像中的坐标和特征点在原始图像上的坐标,通过PnP法获得相机的定位。
9.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
10.一种存储有计算机指令的计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311741853.6A CN117788576A (zh) | 2023-12-18 | 2023-12-18 | 一种基于单张图像的相机空间定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311741853.6A CN117788576A (zh) | 2023-12-18 | 2023-12-18 | 一种基于单张图像的相机空间定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117788576A true CN117788576A (zh) | 2024-03-29 |
Family
ID=90393724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311741853.6A Pending CN117788576A (zh) | 2023-12-18 | 2023-12-18 | 一种基于单张图像的相机空间定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117788576A (zh) |
-
2023
- 2023-12-18 CN CN202311741853.6A patent/CN117788576A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10977818B2 (en) | Machine learning based model localization system | |
WO2015135323A1 (zh) | 一种摄像机跟踪方法及装置 | |
US10373380B2 (en) | 3-dimensional scene analysis for augmented reality operations | |
WO2020206903A1 (zh) | 影像匹配方法、装置及计算机可读存储介质 | |
CN107077744B (zh) | 使用边缘的三维模型生成的方法和系统 | |
CN108895981B (zh) | 一种三维测量方法、装置、服务器和存储介质 | |
US9786062B2 (en) | Scene reconstruction from high spatio-angular resolution light fields | |
CN108898676B (zh) | 一种虚实物体之间碰撞及遮挡检测方法及系统 | |
US8447099B2 (en) | Forming 3D models using two images | |
Schöning et al. | Evaluation of multi-view 3D reconstruction software | |
CN112581629A (zh) | 增强现实显示方法、装置、电子设备及存储介质 | |
CN109887030A (zh) | 基于cad稀疏模板的无纹理金属零件图像位姿检测方法 | |
US20190333242A1 (en) | Method and apparatus for three-dimensional object pose estimation, device and storage medium | |
WO2022237026A1 (zh) | 平面信息检测方法及系统 | |
CN112528858A (zh) | 人体姿态估计模型的训练方法、装置、设备、介质及产品 | |
CN111415420A (zh) | 空间信息确定方法、装置及电子设备 | |
US11189053B2 (en) | Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium | |
CN112634366B (zh) | 位置信息的生成方法、相关装置及计算机程序产品 | |
CN112270748B (zh) | 基于图像的三维重建方法及装置 | |
CN111192308B (zh) | 图像处理方法及装置、电子设备和计算机存储介质 | |
CN112102391A (zh) | 测量方法及装置、电子设备及存储介质 | |
AU2022375768A1 (en) | Methods, storage media, and systems for generating a three-dimensional line segment | |
CN117788576A (zh) | 一种基于单张图像的相机空间定位方法 | |
Kim et al. | Realtime plane detection for projection Augmented Reality in an unknown environment | |
CN111260544B (zh) | 数据处理方法及装置、电子设备和计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |