CN111145268A - 一种视频注册方法及装置 - Google Patents
一种视频注册方法及装置 Download PDFInfo
- Publication number
- CN111145268A CN111145268A CN201911367584.5A CN201911367584A CN111145268A CN 111145268 A CN111145268 A CN 111145268A CN 201911367584 A CN201911367584 A CN 201911367584A CN 111145268 A CN111145268 A CN 111145268A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- orientation element
- camera
- control point
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000005457 optimization Methods 0.000 claims abstract description 36
- 239000011159 matrix material Substances 0.000 claims description 82
- 238000000354 decomposition reaction Methods 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 abstract description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种视频注册方法及装置,基于线性模型对相机进行标定,求解相机的内方位元素估计值和外方位元素估计值;基于非线性模型对内方位元素估计值和外方位元素估计值进行迭代优化,获取用于进行视频注册的内方位元素参数和外方位元素参数。本申请提供的视频注册方法及装置,基于线性模型对相机进行标定,结合非线性模型对相机标定得到的相机参数进行迭代优化,在进行视频注册时采用迭代优化后的内方位元素参数和外方位元素参数,可以减小由于光学畸变造成的相机标定误差,从而可以提升相机标定以及视频注册的精度。
Description
技术领域
本申请涉及视频注册技术领域,特别涉及一种视频注册方法及装置。
背景技术
将真实相机拍摄的视频影像注册到虚拟三维场景中以增强虚拟三维场景的真实感,被称为视频注册。视频注册时,要在虚拟三维场景中添加一个与真实相机相对应的虚拟相机,需要获得该真实相机的内方位元素和外方位元素等相机参数,求解这些用于进行视频注册的相机参数的过程,在计算机视觉和摄影测量学领域被称为相机标定。
在计算机视觉和摄影测量学领域,进行相机标定时,理论上通常用到的相机的线性模型是针孔模型,它是一种理想的成像模型,它遵循的是小孔成像原理,即假设物体表面的反射光都经过一个针孔投射到相机平面上。在线性模型下,相机参数可以通过求解线性方程的方式得到,因此,基于线性模型的相机标定方法具有计算简单、实时性强的优点。
但是,由于透镜加工和安装等多方面因素的影响,空间物点在相机成像平面上实际所成的像点与理想成像之间存在有透镜畸变等非线性的光学畸变,实际的光学系统并不能精确的遵循理想化的小孔成像原理,因此相机的线性模型并不能准确地描述相机的成像几何关系,导致基于线性模型的相机标定的精度比较低,进而导致视频注册的精度也比较低。
发明内容
针对上述问题,本发明提供一种视频注册方法及装置,以提升相机标定的精度,进而提升视频注册的精度。
基于上述目的,本申请提供的技术方案如下:
一种视频注册方法,包括:
基于线性模型对相机进行标定,求解相机的内方位元素估计值和外方位元素估计值;
基于非线性模型对所述内方位元素估计值和所述外方位元素估计值进行迭代优化,获取用于进行视频注册的内方位元素参数和外方位元素参数。
优选地,所述基于线性模型对相机进行标定,求解相机的内方位元素估计值和外方位元素估计值,包括:
确定相机的二维视频图像中的二维控制点集合,并确定三维虚拟场景中的三维控制点集合;所述二维控制点集合中包括多个二维特征点,所述三维控制点集合中包括每个所述二维特征点在所述三维虚拟场景中的投影点;
根据所述二维控制点集合和所述三维控制点集合,线性求解所述相机的透视投影矩阵;
对所述透视投影矩阵进行QR分解,获取所述内方位元素估计值和所述外方位元素估计值。
优选地,所述根据所述二维控制点集合和所述三维控制点集合,线性求解所述相机的透视投影矩阵,包括:
确定每个所述二维特征点在所述二维视频图像中的二维坐标,并确定每个所述投影点在所述三维虚拟场景中的三维坐标;
根据每个所述二维特征点的所述二维坐标构建二维控制点矩阵,并根据每个所述投影点的所述三维坐标构建三维控制点矩阵;
利用所述二维控制点矩阵、所述三维控制点矩阵以及所述二维控制点集合和三维控制点集合之间的透视投影关系,线性求解所述相机的所述透视投影矩阵。
优选地,所述基于非线性模型对所述内方位元素估计值和所述外方位元素估计值进行迭代优化,获取用于进行视频注册的内方位元素参数和外方位元素参数,包括:
根据所述透视投影矩阵,将每个所述投影点重投影到所述二维视频图像上,得到重投影二维特征点,并确定所述重投影二维特征点的二维坐标;
将与每个所述投影点对应的所述重投影二维特征点的二维坐标和二维特征点的二维坐标进行比较,计算重投影误差;
根据非线性模型的最小化目标函数对所述重投影误差进行迭代优化,获取用于进行视频注册的所述内方位元素参数和所述外方位元素参数。
优选地,还包括:
根据获取的所述内方位元素参数和所述外方位元素参数,计算所述相机在所述三维虚拟场景中的透视投影矩阵和观察矩阵,并将所述相机注册到所述三维虚拟场景中。
一种视频注册装置,包括:
标定模块,用于基于线性模型对相机进行标定,求解相机的内方位元素估计值和外方位元素估计值;
优化模块,用于基于非线性模型对所述内方位元素估计值和所述外方位元素估计值进行迭代优化,获取用于进行视频注册的内方位元素参数和外方位元素参数。
优选地,所述标定模块,包括:
确定单元,用于确定相机的二维视频图像中的二维控制点集合,并确定三维虚拟场景中的三维控制点集合;所述二维控制点集合中包括多个二维特征点,所述三维控制点集合中包括每个所述二维特征点在所述三维虚拟场景中的投影点;
求解单元,用于根据所述二维控制点集合和所述三维控制点集合,线性求解所述相机的透视投影矩阵;
分解单元,用于对所述透视投影矩阵进行QR分解,获取所述内方位元素估计值和所述外方位元素估计值。
优选地,所述求解单元,包括:
坐标确定子单元,用于确定每个所述二维特征点在所述二维视频图像中的二维坐标,并确定每个所述投影点在所述三维虚拟场景中的三维坐标;
矩阵构建子单元,用于根据每个所述二维特征点的所述二维坐标构建二维控制点矩阵,并根据每个所述投影点的所述三维坐标构建三维控制点矩阵;
线性求解子单元,用于利用所述二维控制点矩阵、所述三维控制点矩阵以及所述二维控制点集合和三维控制点集合之间的透视投影关系,线性求解所述相机的所述透视投影矩阵。
优选地,所述优化模块,包括:
重投影单元,用于根据所述透视投影矩阵,将每个所述投影点重投影到所述二维视频图像上,得到重投影二维特征点,并确定所述重投影二维特征点的二维坐标;
比较单元,用于将与每个所述投影点对应的所述重投影二维特征点的二维坐标和二维特征点的二维坐标进行比较,计算重投影误差;
优化单元,用于根据非线性模型的最小化目标函数对所述重投影误差进行迭代优化,获取用于进行视频注册的所述内方位元素参数和所述外方位元素参数。
优选地,还包括:
注册模块,用于根据获取的所述内方位元素参数和所述外方位元素参数,计算所述相机在所述三维虚拟场景中的透视投影矩阵和观察矩阵,并将所述相机注册到所述三维虚拟场景中。
应用上述技术方案,本申请提供的一种视频注册方法及装置,基于线性模型对相机进行标定,求解相机的内方位元素估计值和外方位元素估计值;基于非线性模型对内方位元素估计值和外方位元素估计值进行迭代优化,获取用于进行视频注册的内方位元素参数和外方位元素参数。本申请提供的视频注册方法及装置,基于线性模型对相机进行标定,结合非线性模型对相机标定得到的相机参数进行迭代优化,在进行视频注册时采用迭代优化后的内方位元素参数和外方位元素参数,可以减小由于光学畸变造成的相机标定误差,从而可以提升相机标定以及视频注册的精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的一种视频注册方法的流程示意图;
图2为本申请提供的另一种视频注册方法的流程示意图;
图3为本申请提供的又一种视频注册方法的流程示意图;
图4为本申请提供的一种视频注册装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面,将通过具体实施例对本申请的方案做具体阐述:
图1为本申请提供的一种视频注册方法的流程示意图。
请参照图1所示,本申请实施例提供的一种视频注册方法,包括:
S100:基于线性模型对相机进行标定,求解相机的内方位元素估计值和外方位元素估计值;
参照说明书附图2所示,在本申请实施例中,基于线性模型对相机进行标定,求解相机的内方位元素估计值和外方位元素估计值的方法,可以包括:
S101:确定相机的二维视频图像中的二维控制点集合,并确定三维虚拟场景中的三维控制点集合;二维控制点集合中包括多个二维特征点,三维控制点集合中包括每个二维特征点在三维虚拟场景中的投影点;
在本申请实施例中,二维特征点可以通过接收二维视频图像中的点选操作来确定,二维特征点在三维虚拟场景中的投影点也可以被称为三维特征点。
具体的,二维特征点和相应的投影点都可以设置为多个,优选设置为6个或6个以上,相应的投影点也优选设置为6个或6个以上。
S102:根据二维控制点集合和三维控制点集合,线性求解相机的透视投影矩阵;
在根据二维控制点集合和三维控制点集合,线性求解相机的透视投影矩阵时,首先确定每个二维特征点在二维视频图像中的二维坐标,并确定每个投影点在三维虚拟场景中的三维坐标;
具体的,在相机的二维视频图像上选取二维控制点集合A,根据鼠标在屏幕上的位置,利用OpenCV计算函数库计算鼠标点对应在二维视频上的坐标,并依次得到二维控制点集合。
然后,根据鼠标在三维虚拟场景中的位置坐标,利用屏幕交互和osgEarth碰撞检测函数选取与各个二维特征点相对应的投影点及其坐标,作为对应的三维控制点集合B。
在基于碰撞检测函数计算投影点的三维坐标时,可以在osgEarth中通过选取一个二维特征点s(x,y),分别设置其深度z为近平面深度z1和远平面深度z2,得到带有深度信息的点a(x,y,z1)、b(x,y,z2),利用投影矩阵坐标转换得到对应三维坐标A(X1,Y1,Z1)和B(X2,Y2,Z2),判断线段AB与三维场景的第一个交点S为屏幕点s对应的投影点的三维坐标。
根据每个二维特征点的二维坐标构建二维控制点矩阵,并根据每个投影点的三维坐标构建三维控制点矩阵;
利用二维控制点矩阵、三维控制点矩阵以及二维控制点集合和三维控制点集合之间的透视投影关系,线性求解相机的透视投影矩阵。
具体的,根据相机的线性模型,求解相机的透视投影矩阵,是根据获得的二、三维控制点集合,利用相机矩阵P=MC(P为二维控制点矩阵,M为透视投影矩阵,C为三维控制点矩阵),在给定6对以上投影点的三维坐标及其对应的二维特征点的二维坐标的对应后,便可以线性求解相机的透视投影矩阵M。
S103:对透视投影矩阵进行QR分解,获取内方位元素估计值和外方位元素估计值。
具体的,在线性代数理论中,一个非奇异矩阵A能够表示为正交矩阵Q与上三角矩阵R的积,即称A=QR是A的QR分解。令相机参数矩阵为K,外参数矩阵为(R,t),由于此时相机矩阵M是欧氏的,所以可写成下述形式:
M=αK(R,t);
将M表示成M=(H,p4),则有H=αKR,ρ4=αt;
对H做QR分解:H=K′R′,其中K′是对角元均为正数的上三角矩阵,R′为正交矩阵,这种分解是唯一的。上三角矩阵K′与相机参数矩阵K相差一个正常数倍。对于平移参数t,可通过下式来确定:
这样就分解出了相机的内外参数矩阵,进一步分解得到相机内方位元素估计值fx、fy、u0、v0和外方位元素估计值t、α、β、γ。
S200:基于非线性模型对内方位元素估计值和外方位元素估计值进行迭代优化,获取用于进行视频注册的内方位元素参数和外方位元素参数。
参照说明书附图3,在本申请实施例中,基于非线性模型对内方位元素估计值和外方位元素估计值进行迭代优化,获取用于进行视频注册的内方位元素参数和外方位元素参数,包括:
S201:根据透视投影矩阵,将每个投影点重投影到二维视频图像上,得到重投影二维特征点,并确定重投影二维特征点的二维坐标;
在本申请实施例中,除重投影到二维视频图像上,得到重投影二维特征点之外,还可以对每个投影点的三维坐标进行透视投影坐标变换,得到与每个投影点的三维坐标相对应的图像点像素坐标;
S202:将与每个投影点对应的重投影二维特征点的二维坐标和二维特征点的二维坐标进行比较,计算重投影误差;
如果是对每个投影点的三维坐标进行透视投影坐标变换,得到与每个投影点的三维坐标相对应的图像点像素坐标之后,可以将每个投影点在二维视频图像中对应的二维特征点的二维坐标与每个投影点相对应的图像点像素坐标相比较,计算重投影误差;
S203:根据非线性模型的最小化目标函数对重投影误差进行迭代优化,获取用于进行视频注册的内方位元素参数和外方位元素参数。
具体的,由于要求精度不需要达到测量任务级别,一阶径向畸变参数k1足够模拟非线性畸变,加上相机内参数fx、fy、u0、v0和外参数t、α、β、γ为优化参数变量,最小化目标函数可以表示为:
其中,udi、vdi表示第i个点对的三维坐标重投影二维特征点的二维坐标,ui、vi表示第i个点对的实际的二维特征点的二维坐标。上式的精确求解可通过Levenberg-Marquardt算法(LM算法)迭代优化得到。
进一步的,在迭代优化得到用于进行视频注册的内方位元素参数和外方位元素参数之后,本申请实施例就可以根据获取的内方位元素参数和外方位元素参数,计算相机在三维虚拟场景中的透视投影矩阵和观察矩阵,并将相机注册到三维虚拟场景中。
综上,本申请可以在无需额外人工标志物的情况下,利用三维场景的碰撞检测获取屏幕鼠标选点的三维坐标,然后利用相机线性模型标定方法得到相机内、外方位元素的估计值,再结合相机非线性模型标定方法,通过最小化特征点的预测图像位置与实际图像位置的重投影误差,得到精度比较高的相机内、外方位元素参数。
本申请实施例提供的一种视频注册方法,基于线性模型对相机进行标定,求解相机的内方位元素估计值和外方位元素估计值;基于非线性模型对内方位元素估计值和外方位元素估计值进行迭代优化,获取用于进行视频注册的内方位元素参数和外方位元素参数。本申请提供的视频注册方法及装置,基于线性模型对相机进行标定,结合非线性模型对相机标定得到的相机参数进行迭代优化,在进行视频注册时采用迭代优化后的内方位元素参数和外方位元素参数,可以减小由于光学畸变造成的相机标定误差,从而可以提升相机标定以及视频注册的精度。
图4为本申请提供的一种视频注册装置的结构示意图。
请参照图4所示,本申请实施例提供的一种视频注册装置,包括:
标定模块1,用于基于线性模型对相机进行标定,求解相机的内方位元素估计值和外方位元素估计值;
其中,标定模块1,可以包括:
确定单元,用于确定相机的二维视频图像中的二维控制点集合,并确定三维虚拟场景中的三维控制点集合;二维控制点集合中包括多个二维特征点,三维控制点集合中包括每个二维特征点在三维虚拟场景中的投影点;
求解单元,用于根据二维控制点集合和三维控制点集合,线性求解相机的透视投影矩阵;
优选地,求解单元,可以包括:
坐标确定子单元,用于确定每个二维特征点在二维视频图像中的二维坐标,并确定每个投影点在三维虚拟场景中的三维坐标;
矩阵构建子单元,用于根据每个二维特征点的二维坐标构建二维控制点矩阵,并根据每个投影点的三维坐标构建三维控制点矩阵;
线性求解子单元,用于利用二维控制点矩阵、三维控制点矩阵以及二维控制点集合和三维控制点集合之间的透视投影关系,线性求解相机的透视投影矩阵。
分解单元,用于对透视投影矩阵进行QR分解,获取内方位元素估计值和外方位元素估计值。
优化模块2,用于基于非线性模型对内方位元素估计值和外方位元素估计值进行迭代优化,获取用于进行视频注册的内方位元素参数和外方位元素参数。
其中,优化模块,可以包括:
重投影单元,用于根据透视投影矩阵,将每个投影点重投影到二维视频图像上,得到重投影二维特征点,并确定重投影二维特征点的二维坐标;
比较单元,用于将与每个投影点对应的重投影二维特征点的二维坐标和二维特征点的二维坐标进行比较,计算重投影误差;
优化单元,用于根据非线性模型的最小化目标函数对重投影误差进行迭代优化,获取用于进行视频注册的内方位元素参数和外方位元素参数。
进一步的,视频注册装置还可以包括:
注册模块,用于根据获取的内方位元素参数和外方位元素参数,计算相机在三维虚拟场景中的透视投影矩阵和观察矩阵,并将相机注册到三维虚拟场景中。
综上,本申请可以在无需额外人工标志物的情况下,利用三维场景的碰撞检测获取屏幕鼠标选点的三维坐标,然后利用相机线性模型标定方法得到相机内、外方位元素的估计值,再结合相机非线性模型标定方法,通过最小化特征点的预测图像位置与实际图像位置的重投影误差,得到精度比较高的相机内、外方位元素参数。
本申请实施例提供的一种视频注册装置,基于线性模型对相机进行标定,求解相机的内方位元素估计值和外方位元素估计值;基于非线性模型对内方位元素估计值和外方位元素估计值进行迭代优化,获取用于进行视频注册的内方位元素参数和外方位元素参数。本申请提供的视频注册方法及装置,基于线性模型对相机进行标定,结合非线性模型对相机标定得到的相机参数进行迭代优化,在进行视频注册时采用迭代优化后的内方位元素参数和外方位元素参数,可以减小由于光学畸变造成的相机标定误差,从而可以提升相机标定以及视频注册的精度。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种视频注册方法及装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种视频注册方法,其特征在于,包括:
基于线性模型对相机进行标定,求解相机的内方位元素估计值和外方位元素估计值;
基于非线性模型对所述内方位元素估计值和所述外方位元素估计值进行迭代优化,获取用于进行视频注册的内方位元素参数和外方位元素参数。
2.根据权利要求1所述的视频注册方法,其特征在于,所述基于线性模型对相机进行标定,求解相机的内方位元素估计值和外方位元素估计值,包括:
确定相机的二维视频图像中的二维控制点集合,并确定三维虚拟场景中的三维控制点集合;所述二维控制点集合中包括多个二维特征点,所述三维控制点集合中包括每个所述二维特征点在所述三维虚拟场景中的投影点;
根据所述二维控制点集合和所述三维控制点集合,线性求解所述相机的透视投影矩阵;
对所述透视投影矩阵进行QR分解,获取所述内方位元素估计值和所述外方位元素估计值。
3.根据权利要求2所述的视频注册方法,其特征在于,所述根据所述二维控制点集合和所述三维控制点集合,线性求解所述相机的透视投影矩阵,包括:
确定每个所述二维特征点在所述二维视频图像中的二维坐标,并确定每个所述投影点在所述三维虚拟场景中的三维坐标;
根据每个所述二维特征点的所述二维坐标构建二维控制点矩阵,并根据每个所述投影点的所述三维坐标构建三维控制点矩阵;
利用所述二维控制点矩阵、所述三维控制点矩阵以及所述二维控制点集合和三维控制点集合之间的透视投影关系,线性求解所述相机的所述透视投影矩阵。
4.根据权利要求3所述的视频注册方法,其特征在于,所述基于非线性模型对所述内方位元素估计值和所述外方位元素估计值进行迭代优化,获取用于进行视频注册的内方位元素参数和外方位元素参数,包括:
根据所述透视投影矩阵,将每个所述投影点重投影到所述二维视频图像上,得到重投影二维特征点,并确定所述重投影二维特征点的二维坐标;
将与每个所述投影点对应的所述重投影二维特征点的二维坐标和二维特征点的二维坐标进行比较,计算重投影误差;
根据非线性模型的最小化目标函数对所述重投影误差进行迭代优化,获取用于进行视频注册的所述内方位元素参数和所述外方位元素参数。
5.根据权利要求4所述的视频注册方法,其特征在于,还包括:
根据获取的所述内方位元素参数和所述外方位元素参数,计算所述相机在所述三维虚拟场景中的透视投影矩阵和观察矩阵,并将所述相机注册到所述三维虚拟场景中。
6.一种视频注册装置,其特征在于,包括:
标定模块,用于基于线性模型对相机进行标定,求解相机的内方位元素估计值和外方位元素估计值;
优化模块,用于基于非线性模型对所述内方位元素估计值和所述外方位元素估计值进行迭代优化,获取用于进行视频注册的内方位元素参数和外方位元素参数。
7.根据权利要求6所述的视频注册装置,其特征在于,所述标定模块,包括:
确定单元,用于确定相机的二维视频图像中的二维控制点集合,并确定三维虚拟场景中的三维控制点集合;所述二维控制点集合中包括多个二维特征点,所述三维控制点集合中包括每个所述二维特征点在所述三维虚拟场景中的投影点;
求解单元,用于根据所述二维控制点集合和所述三维控制点集合,线性求解所述相机的透视投影矩阵;
分解单元,用于对所述透视投影矩阵进行QR分解,获取所述内方位元素估计值和所述外方位元素估计值。
8.根据权利要求7所述的视频注册装置,其特征在于,所述求解单元,包括:
坐标确定子单元,用于确定每个所述二维特征点在所述二维视频图像中的二维坐标,并确定每个所述投影点在所述三维虚拟场景中的三维坐标;
矩阵构建子单元,用于根据每个所述二维特征点的所述二维坐标构建二维控制点矩阵,并根据每个所述投影点的所述三维坐标构建三维控制点矩阵;
线性求解子单元,用于利用所述二维控制点矩阵、所述三维控制点矩阵以及所述二维控制点集合和三维控制点集合之间的透视投影关系,线性求解所述相机的所述透视投影矩阵。
9.根据权利要求8所述的视频注册装置,其特征在于,所述优化模块,包括:
重投影单元,用于根据所述透视投影矩阵,将每个所述投影点重投影到所述二维视频图像上,得到重投影二维特征点,并确定所述重投影二维特征点的二维坐标;
比较单元,用于将与每个所述投影点对应的所述重投影二维特征点的二维坐标和二维特征点的二维坐标进行比较,计算重投影误差;
优化单元,用于根据非线性模型的最小化目标函数对所述重投影误差进行迭代优化,获取用于进行视频注册的所述内方位元素参数和所述外方位元素参数。
10.根据权利要求9所述的视频注册装置,其特征在于,还包括:
注册模块,用于根据获取的所述内方位元素参数和所述外方位元素参数,计算所述相机在所述三维虚拟场景中的透视投影矩阵和观察矩阵,并将所述相机注册到所述三维虚拟场景中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911367584.5A CN111145268B (zh) | 2019-12-26 | 2019-12-26 | 一种视频注册方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911367584.5A CN111145268B (zh) | 2019-12-26 | 2019-12-26 | 一种视频注册方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111145268A true CN111145268A (zh) | 2020-05-12 |
CN111145268B CN111145268B (zh) | 2023-10-31 |
Family
ID=70520675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911367584.5A Active CN111145268B (zh) | 2019-12-26 | 2019-12-26 | 一种视频注册方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111145268B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112529769A (zh) * | 2020-12-04 | 2021-03-19 | 威创集团股份有限公司 | 二维图像适应屏幕的方法及系统、计算机设备和存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101013505A (zh) * | 2007-02-05 | 2007-08-08 | 武汉大学 | 相机标定方法及所用标定装置 |
CN103679711A (zh) * | 2013-11-29 | 2014-03-26 | 航天恒星科技有限公司 | 一种遥感卫星线阵推扫光学相机在轨外方位参数标定方法 |
US9372070B1 (en) * | 2012-07-17 | 2016-06-21 | L-3 Communications Corporation | Target locating device and methods |
CN106125907A (zh) * | 2016-06-13 | 2016-11-16 | 西安电子科技大学 | 一种基于线框模型的三维目标注册定位方法 |
US20170287166A1 (en) * | 2016-03-29 | 2017-10-05 | Institut National D'optique | Camera calibration method using a calibration target |
CN108154536A (zh) * | 2017-12-13 | 2018-06-12 | 南京航空航天大学 | 二维平面迭代的相机标定法 |
CN108235778A (zh) * | 2018-01-09 | 2018-06-29 | 深圳前海达闼云端智能科技有限公司 | 基于云端计算的标定方法、装置、电子设备和计算机程序产品 |
US20190180476A1 (en) * | 2016-08-12 | 2019-06-13 | Olympus Corporation | Calibration device, calibration method, optical device, image-acquisition device, and projection device |
CN109960402A (zh) * | 2018-12-18 | 2019-07-02 | 重庆邮电大学 | 一种基于点云和视觉特征融合的虚实注册方法 |
CN110209997A (zh) * | 2019-06-10 | 2019-09-06 | 成都理工大学 | 基于三维特征点的深度相机自动标定算法 |
CN110322514A (zh) * | 2019-06-24 | 2019-10-11 | 西北工业大学 | 一种基于多中心投影模型的光场相机参数估计方法 |
-
2019
- 2019-12-26 CN CN201911367584.5A patent/CN111145268B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101013505A (zh) * | 2007-02-05 | 2007-08-08 | 武汉大学 | 相机标定方法及所用标定装置 |
US9372070B1 (en) * | 2012-07-17 | 2016-06-21 | L-3 Communications Corporation | Target locating device and methods |
CN103679711A (zh) * | 2013-11-29 | 2014-03-26 | 航天恒星科技有限公司 | 一种遥感卫星线阵推扫光学相机在轨外方位参数标定方法 |
US20170287166A1 (en) * | 2016-03-29 | 2017-10-05 | Institut National D'optique | Camera calibration method using a calibration target |
CN106125907A (zh) * | 2016-06-13 | 2016-11-16 | 西安电子科技大学 | 一种基于线框模型的三维目标注册定位方法 |
US20190180476A1 (en) * | 2016-08-12 | 2019-06-13 | Olympus Corporation | Calibration device, calibration method, optical device, image-acquisition device, and projection device |
CN108154536A (zh) * | 2017-12-13 | 2018-06-12 | 南京航空航天大学 | 二维平面迭代的相机标定法 |
CN108235778A (zh) * | 2018-01-09 | 2018-06-29 | 深圳前海达闼云端智能科技有限公司 | 基于云端计算的标定方法、装置、电子设备和计算机程序产品 |
CN109960402A (zh) * | 2018-12-18 | 2019-07-02 | 重庆邮电大学 | 一种基于点云和视觉特征融合的虚实注册方法 |
CN110209997A (zh) * | 2019-06-10 | 2019-09-06 | 成都理工大学 | 基于三维特征点的深度相机自动标定算法 |
CN110322514A (zh) * | 2019-06-24 | 2019-10-11 | 西北工业大学 | 一种基于多中心投影模型的光场相机参数估计方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112529769A (zh) * | 2020-12-04 | 2021-03-19 | 威创集团股份有限公司 | 二维图像适应屏幕的方法及系统、计算机设备和存储介质 |
CN112529769B (zh) * | 2020-12-04 | 2023-08-18 | 威创集团股份有限公司 | 二维图像适应屏幕的方法及系统、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111145268B (zh) | 2023-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111127422B (zh) | 图像标注方法、装置、系统及主机 | |
Ricolfe-Viala et al. | Robust metric calibration of non-linear camera lens distortion | |
CN105096329B (zh) | 一种精确校正超广角摄像头图像畸变的方法 | |
KR101690965B1 (ko) | 부정확한 캘리브레이션 타겟을 사용하는 머신 비전 시스템 캘리브레이션 | |
JP6079333B2 (ja) | 校正装置、方法及びプログラム | |
US20150279016A1 (en) | Image processing method and apparatus for calibrating depth of depth sensor | |
Dufour et al. | Integrated digital image correlation for the evaluation and correction of optical distortions | |
CN111062966B (zh) | 基于l-m算法和多项式插值对相机跟踪进行优化的方法 | |
CN106570907B (zh) | 一种相机标定方法及装置 | |
CN113920205B (zh) | 一种非同轴相机的标定方法 | |
KR20150120866A (ko) | Iid에서 디스플레이 오차를 보정하는 장치 및 방법 | |
CN114792345B (zh) | 一种基于单目结构光系统的标定方法 | |
CN114387347A (zh) | 确定外参标定的方法、装置、电子设备及介质 | |
CN115830135A (zh) | 一种图像处理方法、装置及电子设备 | |
JP2011155412A (ja) | 投影システムおよび投影システムにおける歪み修正方法 | |
CN113658279A (zh) | 相机内参和外参估算方法、装置、计算机设备及存储介质 | |
CN111145268A (zh) | 一种视频注册方法及装置 | |
KR100933304B1 (ko) | 단일 카메라를 이용한 객체 정보 추정기, 그 방법, 상기 추정기를 포함하는 멀티미디어 기기 및 컴퓨터 기기, 및 상기 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체 | |
KR101222009B1 (ko) | 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 렌즈 왜곡 보정 시스템과 그 방법 | |
Ai et al. | A method for correcting non-linear geometric distortion in ultra-wide-angle imaging system | |
CN116188599A (zh) | 标定板生成方法、相机标定方法、装置、设备及标定板 | |
Hannemose et al. | Superaccurate camera calibration via inverse rendering | |
CN115239816A (zh) | 一种相机标定方法、系统、电子设备及存储介质 | |
CN112669388B (zh) | 激光雷达与摄像装置的标定方法及装置、可读存储介质 | |
CN110232715B (zh) | 一种多深度相机自校准的方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |