CN115546304B - 一种基于摄像机所在的三维坐标系检测定位的方法及装置 - Google Patents
一种基于摄像机所在的三维坐标系检测定位的方法及装置 Download PDFInfo
- Publication number
- CN115546304B CN115546304B CN202211480258.7A CN202211480258A CN115546304B CN 115546304 B CN115546304 B CN 115546304B CN 202211480258 A CN202211480258 A CN 202211480258A CN 115546304 B CN115546304 B CN 115546304B
- Authority
- CN
- China
- Prior art keywords
- value
- detected
- target
- moment
- coordinate value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明属于计算机处理领域,公开了一种基于摄像机所在的三维坐标系检测定位的方法及装置,所述检测方法包括:获取待检测目标的第一时刻观测值和摄像机的第一转角参数;根据第一时刻观测值和预设残差回归方程确定待检测目标在第一时刻的第一时刻理论坐标值;将第一转角参数和第一时刻理论坐标值输入至预设计算公式中,得到待检测目标的实际三维坐标值。避免了直接根据第一时刻观测值计算实际三维坐标值,提高了计算待检测目标实际三维坐标值的计算精确度。
Description
技术领域
本发明属于计算机处理领域,具体地说,涉及一种基于摄像机所在的三维坐标系检测定位的方法及装置。
背景技术
现有的增强现实摄像机已具备了虚拟标签添加功能,可以供用户在视频画面上添加标签,通过改变摄像机的转动角度,实现了虚拟标签跟随检测目标,得到检测目标在拍摄的图像中的实时位置,另外在计算待检测目标的实时位置时,需要用到待检测目标在增强摄像机所在的三维坐标系下的三维坐标值,但是现有技术中在计算待检测目标的三维坐标值时,并没有考虑到摄像机光学透镜固有的透视失真导致成像画面畸变,进而使得在计算出来的三维坐标值存在误差,存在计算精度较低的问题。
有鉴于此特提出本发明。
发明内容
本发明要解决的技术问题在于克服现有技术的不足,提供一种基于摄像机所在的三维坐标系检测定位的方法及装置,以解决现有技术中在计算待检测目标的三维坐标值时未考虑到成像存在畸变,使得计算出来的三维坐标值不准确的问题。
为解决上述技术问题,本发明采用技术方案的基本构思是:
第一方面,本发明提供了一种基于摄像机所在的三维坐标系检测定位的方法,包括:
获取待检测目标的第一时刻观测值和所述摄像机的第一转角参数;所述第一时刻观测值为所述待检测目标在第一图像中的位置坐标值;所述第一图像为所述摄像机在第一时刻拍摄的图像;所述第一转角参数为所述摄像机在第一时刻拍摄所述待检测目标时的旋转角度;
根据所述第一时刻观测值和预设残差回归方程确定所述待检测目标在第一时刻的第一时刻理论坐标值;所述预设残差回归方程是根据所述待检测目标每个历史时刻的历史观测值和所述历史时刻的历史理论坐标值之间的残差拟合得到的曲线;所述历史理论坐标值是根据所述待检测目标的理论三维坐标值计算得到的所述待检测目标在各个所述历史时刻的历史观测值的理论二维坐标值;所述理论三维坐标值为当待检测目标在拍摄图像的中心位置时,根据此时待检测目标的观测值和摄像机的转角参数计算得到的;
将所述第一转角参数和所述第一时刻理论坐标值输入至预设计算公式中,得到所述待检测目标的实际三维坐标值;所述预设计算公式中包括所述实际三维坐标值与所述第一时刻理论坐标值和所述第一转角参数之间的映射关系。
可选的,根据所述第一时刻观测值和预设残差回归方程确定所述待检测目标的第一时刻理论坐标值,包括:
根据所述第一时刻观测值和所述预设残差回归方程进行迭代,得到每次迭代后的第一时刻理论坐标值的预估值;
针对每次迭代,将该次迭代后得到的第一时刻理论坐标值的预估值输入至所述预设残差回归方程中得到该次迭代后的第一时刻残差值,将该次迭代后得到的第一时刻理论坐标值的预估值与该次迭代后的第一时刻残差值之和作为该次迭代后的第一时刻校正观测值;
将每次迭代后的第一时刻校正观测值与所述第一时刻观测值相减得到每次迭代后的预估误差差值;
若其中一次迭代后的预估误差差值符合预设要求,则确定该次迭代后的第一时刻理论坐标值的预估值为第一时刻理论坐标值。
可选的,所述检测方法包括:
若其中一次迭代后的预估误差差值小于或等于第一差值,且小于或等于第二差值,则确定该次迭代后的预估误差差值符合所述预设要求;所述第一差值为该次迭代前上次迭代得到的预估误差差值;所述第二差值为该次迭代后再次迭代得到的预估误差差值。
可选的,所述检测方法还包括:
获取所述摄像机的第二转角参数;所述第二转角参数为所述摄像机在第二时刻拍摄所述待检测目标时的旋转角度;
将所述实际三维坐标值和所述第二转角参数输入至所述预设计算公式中得到所述待检测目标在第二时刻的第二时刻理论坐标值;
将所述第二时刻理论坐标值输入至所述预设残差回归方程中得到第二时刻残差值,将所述第二时刻理论坐标值和所述第二时刻残差值之和作为校正之后的第二时刻校正观测值。
可选的,获取所述预设残差回归方程,包括:
获取所述待检测目标的历史位置数据;所述历史位置数据包括所述待检测目标在各个历史时刻的历史观测值、各个历史时刻的历史理论坐标值以及各个时刻的历史观测值和历史理论坐标值的残差值;
根据所述历史位置数据和预设算法求解得到所述预设残差回归方程。
可选的,所述检测方法还包括: 将所述第二时刻校正观测值发送至用户终端。
第二方面,本发明提供了一种基于摄像机所在的三维坐标系检测定位的装置,包括:
第一获取模块,用于获取待检测目标的第一时刻观测值和所述摄像机的第一转角参数;所述第一时刻观测值为所述待检测目标在第一图像中的位置坐标值;所述第一图像为所述摄像机在第一时刻拍摄的图像;所述第一转角参数为所述摄像机在第一时刻拍摄所述待检测目标时的旋转角度;
确定模块,用于根据所述第一时刻观测值和预设残差回归方程确定所述待检测目标在第一时刻的第一时刻理论坐标值;所述预设残差回归方程是根据所述待检测目标每个历史时刻的历史观测值和所述历史时刻的历史理论坐标值之间的残差拟合得到的曲线;所述历史理论坐标值是根据所述待检测目标的理论三维坐标值计算得到的所述待检测目标在各个所述历史时刻的历史观测值的理论二维坐标值;所述理论三维坐标值为当待检测目标在拍摄图像的中心位置时,根据此时待检测目标的观测值和摄像机的转角参数计算得到的;
第一计算模块,用于将所述第一转角参数和所述第一时刻理论坐标值输入至预设计算公式中,得到所述待检测目标的实际三维坐标值;所述预设计算公式中包括所述实际三维坐标值与所述第一时刻理论坐标值和所述第一转角参数之间的映射关系。
可选的,所述检测装置,所述确定模块包括:
第一处理单元,用于根据所述第一时刻观测值和所述预设残差回归方程进行迭代,得到每次迭代后的第一时刻理论坐标值的预估值;
第二处理单元,用于针对每次迭代,将该次迭代后得到的第一时刻理论坐标值的预估值输入至所述预设残差回归方程中得到该次迭代后的第一时刻残差值,将该次迭代后得到的第一时刻理论坐标值的预估值与该次迭代后的第一时刻残差值之和作为该次迭代后的第一时刻校正观测值;
第三处理单元,用于将每次迭代后的第一时刻校正观测值与所述第一时刻观测值相减得到每次迭代后的预估误差差值;
第一确定单元,用于若其中一次迭代后的预估误差差值符合预设要求,则确定该次迭代后的第一时刻理论坐标值的预估值为第一时刻理论坐标值。
可选的,所述确定模块还包括:
第二确定单元,用于若其中一次迭代后的预估误差差值小于或等于第一差值,且小于或等于第二差值,则确定该次迭代后的预估误差差值符合所述预设要求;所述第一差值为该次迭代前上次迭代得到的预估误差差值;所述第二差值为该次迭代后再次迭代得到的预估误差差值。
可选的,所述检测装置,还包括:
第二获取模块,用于获取所述摄像机的第二转角参数;所述第二转角参数为所述摄像机在第二时刻拍摄所述待检测目标时的旋转角度;
第二计算模块,用于将所述实际三维坐标值和所述第二转角参数输入至所述预设计算公式中得到所述待检测目标在第二时刻的第二时刻理论坐标值;
第三计算模块,用于将所述第二时刻理论坐标值输入至所述预设残差回归方程中得到第二时刻残差值,将所述第二时刻理论坐标值和所述第二时刻残差值之和作为校正之后的第二时刻校正观测值。
可选的,所述检测装置还包括:
第三获取单元,用于获取所述待检测目标的历史位置数据;所述历史位置数据包括所述待检测目标在各个历史时刻的历史观测值、各个历史时刻的历史理论坐标值以及各个时刻的历史观测值和历史理论坐标值的残差值;
第四计算单元,用于根据所述历史位置数据和预设算法求解得到所述预设残差回归方程。
可选的,所述检测装置还包括:
发送模块,用于将所述第二时刻校正观测值发送至用户终端。
第三方面,本发明还提供了一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当所述计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述处理器执行所述机器可读指令使时实现第一方面中任一项基于摄像机所在的三维坐标系检测定位的方法。
本发明中考虑到摄像机光学透镜固有的透视失真导致成像画面发生畸变,先获取待检测目标的第一时刻观测值和摄像机的第一转角参数,然后根据第一时刻观测值和预设残差回归方程确定待检测目标在第一时刻的第一时刻理论坐标值,再然后根据第一时刻理论坐标值以及第一转角参数计算待检测目标的实际三维坐标值。避免了直接根据第一时刻观测值计算实际三维坐标值,提高了计算待检测目标实际三维坐标值的计算精确度。
下面结合附图对本发明的具体实施方式作进一步详细的描述。
附图说明
附图作为本发明的一部分,用来提供对本发明的进一步的理解,本发明的示意性实施例及其说明用于解释本发明,但不构成对本发明的不当限定。显然,下面描述中的附图仅仅是一些实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。在附图中:
图1是本发明提供的一种基于摄像机所在的三维坐标系检测定位的方法的第一种流程示意图;
图2是本发明提供的待检测目标的第一种示意图;
图3是本发明提供的待检测目标的第二种示意图;
图4是本发明提供的一种基于摄像机所在的三维坐标系检测定位的方法的第二种流程示意图;
图5是本发明提供的一种基于摄像机所在的三维坐标系检测定位的装置的结构示意图;
图6是本发明提供的一种计算机设备的结构示意图。
需要说明的是,这些附图和文字描述并不旨在以任何方式限制本发明的构思范围,而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对实施例中的技术方案进行清楚、完整地描述,以下实施例用于说明本发明,但不用来限制本发明的范围。
在本发明的描述中,需要说明的是,术语 “上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
如图1所示,为本发明提供的一种基于摄像机所在的三维坐标系检测定位的方法,包括:
S101,获取待检测目标的第一时刻观测值和所述摄像机的第一转角参数;所述第一时刻观测值为所述待检测目标在第一图像中的位置坐标值;所述第一图像为所述摄像机在第一时刻拍摄的图像;所述第一转角参数为所述摄像机在第一时刻拍摄所述待检测目标时的旋转角度;
S102,根据所述第一时刻观测值和预设残差回归方程确定所述待检测目标在第一时刻的第一时刻理论坐标值;所述预设残差回归方程是根据所述待检测目标每个历史时刻的历史观测值和所述历史时刻的历史理论坐标值之间的残差拟合得到的曲线;所述历史理论坐标值是根据所述待检测目标的理论三维坐标值计算得到的所述待检测目标在各个所述历史时刻的历史观测值的理论二维坐标值;所述理论三维坐标值为当待检测目标在拍摄图像的中心位置时,根据此时待检测目标的观测值和摄像机的转角参数计算得到的;
S103,将所述第一转角参数和所述第一时刻理论坐标值输入至预设计算公式中,得到所述待检测目标的实际三维坐标值;所述预设计算公式中包括所述实际三维坐标值与所述第一时刻理论坐标值和所述第一转角参数之间的映射关系。
在上述步骤S101中,待检测目标为要进行实时定位检测的某一物体,待检测目标可以是用户选择的众多物体中任意一个物体。
第一时刻观测值是利用用户编写的测量程序从拍摄的第一图像中获取待检测目标的二维位置坐标值,以便于用户了解待检测目标在摄像机拍摄的图像中的二维位置信息。
第一转角参数为摄像机在某一时刻拍摄待检测目标时,摄像机在水平方向上的水平转角和在垂直方向上的和垂直转角。
在上述步骤S101中,摄像机的位置固定下来,通过控制摄像机云台的转动状态,使得拍摄视角改变,进而使得观测到的待检测目标在图像中的二维位置发生改变,在第一时刻,转动摄像机云台到某一角度,摄像机拍摄到携带有待检测目标的第一图像。获取增强现实摄像机在此时刻的水平转角参数和垂直转角参数,即第一转角参数,以及获取待检测目标在第一图像中的二维位置坐标值,即第一时刻观测值。
例如,如图2所示,在 时刻,将摄像机云台转动到某一拍摄角度,摄像机在此时刻拍摄到携带有待检测目标M的第一图像a,获取到摄像机的水平转角和垂直转角 ),以及获取待检测目标M在第一图像a中的二维位置坐标值 。
在上述步骤S102中,预设残差回归方程是在摄像机的位置不变,摄像机的变焦倍数也不变的情况下,通过调整摄像机云台转动角度,实现在不同拍摄角度观测待检测目标,得到待检测目标在图像中各个历史时刻的历史观测值和历史理论坐标值,根据待检测目标在各个历史时刻的历史观测值和在该历史时刻的历史理论坐标值的残差进行拟合得到的一条曲线。
第一时刻理论坐标值为当摄像机拍摄的图像不存在畸变时,待检测目标在第一图像中的标准二维位置坐标值。
具体的,由于摄像机在光学透镜固有的透视失真导致的成像画面畸变,使得检测出来的第一时刻观测值存在误差,也就是,使得检测到的第一时刻观测值并不等于待检测目标的第一时刻理论坐标值,因此,先利用第一时刻观测值和预设误差回归方程计算出待检测目标在第一时刻的第一时刻理论坐标值。
为了详细的了解,根据所述第一时刻观测值和预设残差回归方程确定所述待检测目标的第一时刻理论坐标值,步骤S102,还包括:
步骤1021,根据所述第一时刻观测值和所述预设残差回归方程进行迭代,得到每次迭代后的第一时刻理论坐标值的预估值;
步骤1022, 针对每次迭代,将该次迭代后得到的第一时刻理论坐标值的预估值输入至所述预设残差回归方程中得到该次迭代后的第一时刻残差值,将该次迭代后得到的第一时刻理论坐标值的预估值与该次迭代后的第一时刻残差值之和作为该次迭代后的第一时刻校正观测值;
步骤1023,将每次迭代后的第一时刻校正观测值与所述第一时刻观测值相减得到每次迭代后的预估误差差值;
步骤1024,若其中一次迭代后的预估误差差值符合预设要求,则确定该次迭代后的第一时刻理论坐标值的预估值为第一时刻理论坐标值。
在上述步骤 1021中,将待检测目标在第一时刻理论坐标值初始化为第一时刻观测值,将第一时刻观测值输入至预设残差回归方程中得到一残差值,基于该残差值进行一次迭代,得到第一次迭代后的第一时刻理论坐标值的预估值,然后在第一次迭代的基础上进行第二次迭代,得到第二次迭代后的第一时刻理论坐标值的预估值,以此类推得到每次迭代后的第一时刻理论坐标值的预估值。
例如,以待检测目标M在时刻的观测值为为例,则将待检测目标M的 时刻理论坐标值初始化为,将代入到预设残差回归方程中得到一残差值 ,基于该残差值 进行迭代得到第一次迭代后的时刻理论坐标值的预估值 ,然后将第一次迭代后的t时刻理论坐标值的预估值再次带入到预设残差回归方程中得到残差值,根据第一次迭代后的时刻校正观测值 和时刻观测值的关系,确定下一步迭代时的移动方向,然后在第一次进行迭代后的时刻理论坐标值的预估值以及残差值的基础上进行第二次迭代,得到第二次迭代后的时刻理论坐标值的预估值,其中计算公式为:和 ,其中, 为每次迭代结束后的预估误差差值。基于上述公式不断地进行迭代,得到每次迭代后的时刻理论坐标值的预估值。
在上述步骤1022中,以第一次迭代后得到的t时刻理论坐标值的预估值为例,将带入到预设残差回归方程中得到第一次迭代后t时刻的残差值,将和之和作为第一次迭代后得到的t时刻校正观测值;同样的,第二次迭代后的t时刻理论坐标值的预估值为,将带入到预设残差回归方程中得到第二次迭代后t时刻的残差值,将 和之和作为第二次迭代后得到的t时刻校正观测值。
在上述步骤1023中,将每次迭代后的第一时刻校正观测值与第一时刻观测值相减得到该迭代后的预估误差差值。
在上述步骤1024中,当其中第一迭代后的预估误差差值满足预设要求时,则停止迭代,并将该次迭代后得到的第一时刻理论坐标值的预估值作为待检测目标在第一时刻时的第一理论坐标值。
进一步的,本发明还提供了具体判断预估误差差值是否符合预设要求的详细过程,判断本次迭代后的预估误差差值是否小于或等于上次迭代后的预估误差差值,以及小于或等于本次迭代之后再次迭代后的预估误差差值,如果满足要求,则确定本次迭代后符合要求,并停止迭代,将本次迭代后得到的第一时刻理论坐标值的预估值作为第一时刻的第一时刻理论坐标值。
其中预设残差回归方程的获取步骤如下:
步骤1025,获取所述待检测目标的历史位置数据;所述历史位置数据包括所述待检测目标在各个历史时刻的历史观测值、各个历史时刻的历史理论坐标值以及各个时刻的历史观测值和历史理论坐标值的残差值;
步骤1026,根据所述历史位置数据和预设算法求解得到所述预设残差回归方程。
在上述步骤1025中,在获取待检测目标的历史位置数据之前,还包括,如图3所示,通过转动摄像机云台,使得待检测目标M移动到画面的中心位置o,由于中心位置不存在畸变,也就是说,当待检测目标在拍摄图像中心位置o时,待检测目标的观测值和待检测目标的理论坐标值是相等的,则根据此时刻摄像机云台的水平转角参数以及垂直转角参数、待检测目标的观测值,输入到步骤S103中使用的预设计算公式中得到待检测目标的理论三维坐标值、 )。
由于只有图像的中心位置不存在畸变,因此待检测目标在拍摄图像除中心位置o之外的其他位置时,待检测目标在每个位置的观测值与在该位置的理论坐标值之间均存在一定的误差,继续将摄像机云台转动一定的角度,在拍摄角度c继续拍摄待检测目标,基于上述求得的理论三维坐标值、 ),以及摄像机云台的水平转角参数和数值转角参数再次带入到上述预设计算公式中,求得在拍摄角度c下,摄像机云台拍摄的待检测目标的理论坐标值,利用用户编写的测量程序自动获取在拍摄角度c下摄像机云台拍摄的图像中待检测目标的观测值,因此在拍摄角度c下摄像机拍摄到待检测目标的观测值和理论坐标值之间的残差为, ,依次类推获取待检测目标在拍摄图像中的各个历史时刻的历史观测值和历史理论坐标值之间的残差,以得到待检测目标的历史位置数据。
在步骤1026中,通过转动摄像机,实现在不同拍摄角度下拍摄待检测目标,可以发现当待检测目标在拍摄图像中的位置离拍摄图像的中心位置越远,比如待检测目标在图像的边缘区域,那么图像发生畸变会更明显,使得在边缘区域时,待检测目标的理论坐标值和观测值之间的残差会越大,因此,基于待检测目标的理论坐标值和观测值之间的残差与待检测目标距离中心点的距离r成非线性的正比例关系,进而使用高次多项式对待检测目标的观测值和理论坐标值之间的残差进行拟合,,其中r为待检测目标的理论坐标值到图像中心的距离,,假设将摄像机云台转动n次,则将这n次采集的待检测目标的观测值和理论值之间的残差利用预设算法来求解上述公式中的系数,进而得到拟合好的误差曲线,其中n越大,则表明采样数量越多,越能够提高拟合精准度,本发明中以n=5为例,预设算法采用Nelder-Mead算法根据采集到的五次数据来求解,以得到残差回归方程,此算法是一种求多元函数局部最小值的算法,该算法的优点是不需要函数可导并且能较快收敛到局部最小值。
在上述步骤S103中,由于摄像机在拍摄待检测目标时,只是摄像机的拍摄角度改变,而摄像机的位置并不改变,因此待检测目标在摄像机所在的三维坐标系中的理论三维坐标值并不发生变化。因此预设计算公式是摄像机在同一变焦倍数下,只考虑待摄像机在各个时刻的转角参数,以及在不同时刻下拍摄到的待检测目标在图像中的理论坐标值这两个变量,建立的待检测目标的第一时刻理论坐标值与第一转角参数以及待检测目标的实际三维坐标值之间的映射关系。
实际三维坐标值是在不改变摄像机拍摄位置、摄像机的变焦倍数时,将待检测目标某一时刻的理论坐标值映射到在摄像机所在的世界坐标系下,得到的实际三维坐标值。
根据虚拟标签标注的待检测目标的理论坐标值以及摄像机当前PTZ状态信息,利用摄像机模型将待检测目标的理论坐标值映射到三维球面上,建立上述预设计算公式过程如下:
根据视场角以及摄像机拍摄的图像的宽高,分别计算摄像机水平方向的焦距和垂直方向的焦距,假如为摄像机拍摄的成像图像的宽,为摄像机拍摄的成像图像的高,那么计算得到的摄像机水平方向的焦距 ,摄像机垂直方向的焦距。
其中,和分别为摄像机实时的水平转角和垂直转角,因此初始计算公式为,进而在计算待检测目标的世界坐标值时,根据初始计算公式转换得到预设计算公式: ,假如在时刻,摄像机的转角参数为图像的中心点坐标值为,经过对 时刻的观测值进行迭代处理,假设最终得到的待检测目标的理论坐标值为,则将转角参数)、理论坐标值为、图像中心点坐标值带入到预设计算公式 中,求得待检测目标的实际三维坐标值 。
本发明中考虑到摄像机光学透镜固有的透视失真导致成像画面发生畸变,先获取待检测目标的第一时刻观测值和摄像机的第一转角参数,然后根据第一时刻观测值和预设残差回归方程确定待检测目标在第一时刻的第一时刻理论坐标值,再然后根据第一时刻理论坐标值以及第一转角参数计算待检测目标的实际三维坐标值。避免了直接根据第一时刻观测值计算实际三维坐标值,提高了计算待检测目标实际三维坐标值的计算精确度。
进一步的,如图4所示,本发明在计算出待检测目标的实际三维坐标值之后,还包括:
S104,获取所述摄像机的第二转角参数;所述第二转角参数为所述摄像机在第二时刻拍摄所述待检测目标时的旋转角度;
S105,将所述实际三维坐标值和所述第二转角参数输入至所述预设计算公式中得到所述待检测目标在第二时刻的第二时刻理论坐标值;
S106, 将所述第二时刻理论坐标值输入至所述预设残差回归方程中得到第二时刻残差值,将所述第二时刻理论坐标值和所述第二时刻残差值之和作为校正之后的第二时刻校正观测值。
在上述步骤S104中,具体的,继续转动摄像机云台,假设在第二时刻将摄像机云台转动到b拍摄角度,则获取摄像机在第二时刻的水平转角参数和垂直转角参数,其中第二时刻可以为任意时刻。
在上述步骤S106中,基于拍摄的图像存在畸变,因此程序自动测量的待检测目标的观测值和待检测目标的理论值存在误差,本发明中并不是直接将程序在第二时刻自动测量的待检测目标的观测值发送给用户终端,在得到第二时刻理论坐标值之后,将第二时刻理论坐标值输入至预设残差回归方程中得到第二时刻残差值,将第二时刻理论坐标值和第二时刻残差值之和作为校正之后的第二时刻校正观测值,并将第二时刻校正观测值发送给用户终端,避免因成像画面存在畸变影响观测值的检测精度,以便用户了解到更加精确的观测值,提高了观测值的检测精度。
例如,将时刻待检测目标的理论值 输入至预设残差回归方程中得到第二时刻残差值,根据残差公式 ,得到校正之后第二时刻校正观测值和 之和,避免因成像画面存在畸变影响观测值的检测精度,以便用户了解到更加精确的观测值,提高了观测值的检测精度。
如图5所示,为本发明提供的一种基于摄像机所在的三维坐标系检测定位的装置,包括:第一获取模块501、确定模块502、第一计算模块503,
第一获取模块501,用于获取待检测目标的第一时刻观测值和所述摄像机的第一转角参数;所述第一时刻观测值为所述待检测目标在第一图像中的位置坐标值;所述第一图像为所述摄像机在第一时刻拍摄的图像;所述第一转角参数为所述摄像机在第一时刻拍摄所述待检测目标时的旋转角度;
确定模块502,用于根据所述第一时刻观测值和预设残差回归方程确定所述待检测目标在第一时刻的第一时刻理论坐标值;所述预设残差回归方程是根据所述待检测目标每个历史时刻的历史观测值和所述历史时刻的历史理论坐标值之间的残差拟合得到的曲线;所述历史理论坐标值是根据所述待检测目标的理论三维坐标值计算得到的所述待检测目标在各个所述历史时刻的历史观测值的理论二维坐标值;所述理论三维坐标值为当待检测目标在拍摄图像的中心位置时,根据此时待检测目标的观测值和摄像机的转角参数计算得到的;
第一计算模块503,用于将所述第一转角参数和所述第一时刻理论坐标值输入至预设计算公式中,得到所述待检测目标的实际三维坐标值;所述预设计算公式中包括所述实际三维坐标值与所述第一时刻理论坐标值和所述第一转角参数之间的映射关系。
可选的,所述检测装置,所述确定模块包括:
第一处理单元,用于根据所述第一时刻观测值和所述预设残差回归方程进行迭代,得到每次迭代后的第一时刻理论坐标值的预估值;
第二处理单元,用于针对每次迭代,将该次迭代后得到的第一时刻理论坐标值的预估值输入至所述预设残差回归方程中得到该次迭代后的第一时刻残差值,将该次迭代后得到的第一时刻理论坐标值的预估值与该次迭代后的第一时刻残差值之和作为该次迭代后的第一时刻校正观测值;
第三处理单元,用于将每次迭代后的第一时刻校正观测值与所述第一时刻观测值相减得到每次迭代后的预估误差差值;
第一确定单元,用于若其中一次迭代后的预估误差差值符合预设要求,则确定该次迭代后的第一时刻理论坐标值的预估值为第一时刻理论坐标值。
可选的,所述确定模块还包括:
第二确定单元,用于若其中一次迭代后的预估误差差值小于或等于第一差值,且小于或等于第二差值,则确定该次迭代后的预估误差差值符合所述预设要求;所述第一差值为该次迭代前上次迭代得到的预估误差差值;所述第二差值为该次迭代后再次迭代得到的预估误差差值。
可选的,所述检测装置,还包括:
第二获取模块,用于获取所述摄像机的第二转角参数;所述第二转角参数为所述摄像机在第二时刻拍摄所述待检测目标时的旋转角度;
第二计算模块,用于将所述实际三维坐标值和所述第二转角参数输入至所述预设计算公式中得到所述待检测目标在第二时刻的第二时刻理论坐标值;
第三计算模块,用于将所述第二时刻理论坐标值输入至所述预设残差回归方程中得到第二时刻残差值,将所述第二时刻理论坐标值和所述第二时刻残差值之和作为校正之后的第二时刻校正观测值。
可选的,所述检测装置还包括:
第三获取单元,用于获取所述待检测目标的历史位置数据;所述历史位置数据包括所述待检测目标在各个历史时刻的历史观测值、各个历史时刻的历史理论坐标值以及各个时刻的历史观测值和历史理论坐标值的残差值;
第四计算单元,用于根据所述历史位置数据和预设算法求解得到所述预设残差回归方程。
对应于图1中的基于摄像机所在的三维坐标系检测定位的方法,本发明还提供了一种计算机设备80,如图6所示,该设备包括存储器801、处理器802及存储在该存储器801上并可在该处理器802上运行的计算机程序,其中,上述处理器802执行上述计算机程序时实现基于摄像机所在的三维坐标系检测定位的方法的步骤。
具体地,上述存储器801和处理器802能够为通用的存储器和处理器,这里不做具体限定,当处理器802运行存储器801存储的计算机程序时,能够执行上述基于摄像机所在的三维坐标系检测定位的方法,解决现有技术中在计算待检测目标的三维坐标值时未考虑到成像存在畸变,使得计算出来的三维坐标值不准确的问题,首先:先获取待检测目标的第一时刻观测值和摄像机的第一转角参数,然后根据第一时刻观测值和预设残差回归方程确定待检测目标在第一时刻的第一时刻理论坐标值,再然后根据第一时刻理论坐标值以及第一转角参数计算待检测目标的实际三维坐标值。避免了直接根据第一时刻观测值计算实际三维坐标值,提高了计算待检测实际三维坐标值的计算精确度。
以上所述仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专利的技术人员在不脱离本发明技术方案范围内,当可利用上述提示的技术内容作出些许更动或修饰为等同变化的等效实施例,上述实施例中的实施方案也可以进一步组合或者替换,但凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明方案的范围内。
Claims (10)
1.一种基于摄像机所在的三维坐标系检测定位的方法,其特征在于,包括:
获取待检测目标的第一时刻观测值和所述摄像机的第一转角参数;所述第一时刻观测值为所述待检测目标在第一图像中的位置坐标值;所述第一图像为所述摄像机在第一时刻拍摄的图像;所述第一转角参数为所述摄像机在第一时刻拍摄所述待检测目标时的旋转角度;
根据所述第一时刻观测值和预设残差回归方程确定所述待检测目标在第一时刻的第一时刻理论坐标值;所述预设残差回归方程是根据所述待检测目标每个历史时刻的历史观测值和所述历史时刻的历史理论坐标值之间的残差拟合得到的曲线;所述历史理论坐标值是根据所述待检测目标的理论三维坐标值计算得到的所述待检测目标在各个所述历史时刻的历史观测值的理论二维坐标值;所述理论三维坐标值为当待检测目标在拍摄图像的中心位置时,根据此时待检测目标的观测值和摄像机的转角参数计算得到的;
将所述第一转角参数和所述第一时刻理论坐标值输入至预设计算公式中,得到所述待检测目标的实际三维坐标值;所述预设计算公式中包括所述实际三维坐标值与所述第一时刻理论坐标值和所述第一转角参数之间的映射关系。
2.根据权利要求1所述的基于摄像机所在的三维坐标系检测定位的方法,其特征在于,根据所述第一时刻观测值和预设残差回归方程确定所述待检测目标的第一时刻理论坐标值,包括:
根据所述第一时刻观测值和所述预设残差回归方程进行迭代,得到每次迭代后的第一时刻理论坐标值的预估值;
针对每次迭代,将该次迭代后得到的第一时刻理论坐标值的预估值输入至所述预设残差回归方程中得到该次迭代后的第一时刻残差值,将该次迭代后得到的第一时刻理论坐标值的预估值与该次迭代后的第一时刻残差值之和作为该次迭代后的第一时刻校正观测值;
将每次迭代后的第一时刻校正观测值与所述第一时刻观测值相减得到每次迭代后的预估误差差值;
若其中一次迭代后的预估误差差值符合预设要求,则确定该次迭代后的第一时刻理论坐标值的预估值为第一时刻理论坐标值。
3.根据权利要求2所述的基于摄像机所在的三维坐标系检测定位的方法,其特征在于,包括:
若其中一次迭代后的预估误差差值小于或等于第一差值,且小于或等于第二差值,则确定该次迭代后的预估误差差值符合所述预设要求;所述第一差值为该次迭代前上次迭代得到的预估误差差值;所述第二差值为该次迭代后再次迭代得到的预估误差差值。
4.根据权利要求1所述的基于摄像机所在的三维坐标系检测定位的方法,其特征在于,还包括:
获取所述摄像机的第二转角参数;所述第二转角参数为所述摄像机在第二时刻拍摄所述待检测目标时的旋转角度;
将所述实际三维坐标值和所述第二转角参数输入至所述预设计算公式中得到所述待检测目标在第二时刻的第二时刻理论坐标值;
将所述第二时刻理论坐标值输入至所述预设残差回归方程中得到第二时刻残差值,将所述第二时刻理论坐标值和所述第二时刻残差值之和作为校正之后的第二时刻校正观测值。
5.根据权利要求1所述的基于摄像机所在的三维坐标系检测定位的方法,其特征在于,获取所述预设残差回归方程,包括:
获取所述待检测目标的历史位置数据;所述历史位置数据包括所述待检测目标在各个历史时刻的历史观测值、各个历史时刻的历史理论坐标值以及各个时刻的历史观测值和历史理论坐标值的残差值;
根据所述历史位置数据和预设算法求解得到所述预设残差回归方程。
6.根据权利要求4所述的基于摄像机所在的三维坐标系检测定位的方法,其特征在于,还包括:
将所述第二时刻校正观测值发送至用户终端。
7.一种基于摄像机所在的三维坐标系检测定位的装置,其特征在于,包括:
第一获取模块,用于获取待检测目标的第一时刻观测值和所述摄像机的第一转角参数;所述第一时刻观测值为所述待检测目标在第一图像中的位置坐标值;所述第一图像为所述摄像机在第一时刻拍摄的图像;所述第一转角参数为所述摄像机在第一时刻拍摄所述待检测目标时的旋转角度;
确定模块,用于根据所述第一时刻观测值和预设残差回归方程确定所述待检测目标在第一时刻的第一时刻理论坐标值;所述预设残差回归方程是根据所述待检测目标每个历史时刻的历史观测值和所述历史时刻的历史理论坐标值之间的残差拟合得到的曲线;所述历史理论坐标值是根据所述待检测目标的理论三维坐标值计算得到的所述待检测目标在各个所述历史时刻的历史观测值的理论二维坐标值;所述理论三维坐标值为当待检测目标在拍摄图像的中心位置时,根据此时待检测目标的观测值和摄像机的转角参数计算得到的;
第一计算模块,用于将所述第一转角参数和所述第一时刻理论坐标值输入至预设计算公式中,得到所述待检测目标的实际三维坐标值;所述预设计算公式中包括所述实际三维坐标值与所述第一时刻理论坐标值和所述第一转角参数之间的映射关系。
8.根据权利要求7所述的基于摄像机所在的三维坐标系检测定位的装置,其特征在于,还包括:
第二获取模块,用于获取所述摄像机的第二转角参数;所述第二转角参数为所述摄像机在第二时刻拍摄所述待检测目标时的旋转角度;
第二计算模块,用于将所述实际三维坐标值和所述第二转角参数输入至所述预设计算公式中得到所述待检测目标在第二时刻的第二时刻理论坐标值;
第三计算模块,用于将所述第二时刻理论坐标值输入至所述预设残差回归方程中得到第二时刻残差值,将所述第二时刻理论坐标值和所述第二时刻残差值之和作为校正之后的第二时刻校正观测值。
9.根据权利要求7所述的基于摄像机所在的三维坐标系检测定位的装置,其特征在于,还包括:
第三获取单元,用于获取所述待检测目标的历史位置数据;所述历史位置数据包括所述待检测目标在各个历史时刻的历史观测值、各个历史时刻的历史理论坐标值以及各个时刻的历史观测值和历史理论坐标值的残差值;
第四计算单元,用于根据所述历史位置数据和预设算法求解得到所述预设残差回归方程。
10.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1-6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211480258.7A CN115546304B (zh) | 2022-11-24 | 2022-11-24 | 一种基于摄像机所在的三维坐标系检测定位的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211480258.7A CN115546304B (zh) | 2022-11-24 | 2022-11-24 | 一种基于摄像机所在的三维坐标系检测定位的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115546304A CN115546304A (zh) | 2022-12-30 |
CN115546304B true CN115546304B (zh) | 2023-04-11 |
Family
ID=84720925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211480258.7A Active CN115546304B (zh) | 2022-11-24 | 2022-11-24 | 一种基于摄像机所在的三维坐标系检测定位的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115546304B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107274453A (zh) * | 2017-06-12 | 2017-10-20 | 哈尔滨理工大学 | 一种结合标定与校正的摄像机三维测量装置、系统及方法 |
CN109377529A (zh) * | 2018-11-16 | 2019-02-22 | 厦门博聪信息技术有限公司 | 一种地面坐标与ptz摄像机的画面坐标转换方法、系统以及装置 |
CN112116529A (zh) * | 2020-09-23 | 2020-12-22 | 浙江浩腾电子科技股份有限公司 | 一种基于ptz相机的gps坐标与像素坐标的转换方法 |
CN112731343A (zh) * | 2020-12-18 | 2021-04-30 | 福建汇川物联网技术科技股份有限公司 | 一种测量摄像机的目标测量方法及装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7190331B2 (en) * | 2002-06-06 | 2007-03-13 | Siemens Corporate Research, Inc. | System and method for measuring the registration accuracy of an augmented reality system |
CN103854283B (zh) * | 2014-02-21 | 2017-04-05 | 北京理工大学 | 一种基于在线学习的移动增强现实跟踪注册方法 |
CN111126304B (zh) * | 2019-12-25 | 2023-07-07 | 鲁东大学 | 一种基于室内自然场景图像深度学习的增强现实导航方法 |
CN114489314B (zh) * | 2020-10-27 | 2024-05-28 | Oppo广东移动通信有限公司 | 增强现实影像显示方法及相关装置 |
CN112288814A (zh) * | 2020-11-04 | 2021-01-29 | 江南大学 | 一种面向增强现实的三维跟踪注册方法 |
CN114004865A (zh) * | 2021-11-08 | 2022-02-01 | 兰州交通大学 | 结合dsst尺度估计的孪生网络增强现实目标跟踪注册方法 |
CN115147344A (zh) * | 2022-04-13 | 2022-10-04 | 东南大学 | 一种增强现实辅助汽车维修中的零件三维检测与跟踪方法 |
-
2022
- 2022-11-24 CN CN202211480258.7A patent/CN115546304B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107274453A (zh) * | 2017-06-12 | 2017-10-20 | 哈尔滨理工大学 | 一种结合标定与校正的摄像机三维测量装置、系统及方法 |
CN109377529A (zh) * | 2018-11-16 | 2019-02-22 | 厦门博聪信息技术有限公司 | 一种地面坐标与ptz摄像机的画面坐标转换方法、系统以及装置 |
CN112116529A (zh) * | 2020-09-23 | 2020-12-22 | 浙江浩腾电子科技股份有限公司 | 一种基于ptz相机的gps坐标与像素坐标的转换方法 |
CN112731343A (zh) * | 2020-12-18 | 2021-04-30 | 福建汇川物联网技术科技股份有限公司 | 一种测量摄像机的目标测量方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115546304A (zh) | 2022-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107633536B (zh) | 一种基于二维平面模板的相机标定方法及系统 | |
CN110689581B (zh) | 结构光模组标定方法、电子设备、计算机可读存储介质 | |
TWI555379B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
CN105096329B (zh) | 一种精确校正超广角摄像头图像畸变的方法 | |
Collins et al. | Calibration of an outdoor active camera system | |
WO2021031781A1 (zh) | 投影图像校准方法、装置及投影设备 | |
CN110880189A (zh) | 联合标定方法及其联合标定装置和电子设备 | |
JP2009017480A (ja) | カメラキャリブレーション装置およびそのプログラム | |
JP4960941B2 (ja) | 放送用バーチャルスタジオのズームレンズ搭載カメラのカメラキャリブレーション装置、その方法およびそのプログラム | |
CN113920206B (zh) | 透视移轴相机的标定方法 | |
CN113487683B (zh) | 一种基于三目视觉的目标跟踪系统 | |
CN112985360B (zh) | 基于车道线的双目测距校正方法、装置、设备和存储介质 | |
CN109931906B (zh) | 摄像机测距方法、装置以及电子设备 | |
WO2022141324A1 (zh) | 摄像头的硬件在环标定、靶点设置方法、系统及相关设备 | |
CN111627073B (zh) | 一种基于人机交互的标定方法、标定装置和存储介质 | |
CN112470192A (zh) | 双摄像头标定方法、电子设备、计算机可读存储介质 | |
CN116433737A (zh) | 一种激光雷达点云与图像配准的方法、装置及智能终端 | |
CN111445537A (zh) | 一种摄像机的标定方法及系统 | |
CN111340737A (zh) | 图像矫正方法、装置和电子系统 | |
CN114926316A (zh) | 距离测量方法、装置、电子设备及存储介质 | |
CN115546304B (zh) | 一种基于摄像机所在的三维坐标系检测定位的方法及装置 | |
CN113658279A (zh) | 相机内参和外参估算方法、装置、计算机设备及存储介质 | |
CN111432117A (zh) | 图像矫正方法、装置和电子系统 | |
CN112116665A (zh) | 一种结构光传感器标定方法 | |
CN114018212B (zh) | 面向球型摄像机单目测距的俯仰角校正方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |