CN101661625A - 基于一幅标准图像生成各视角下样本图像的方法 - Google Patents

基于一幅标准图像生成各视角下样本图像的方法 Download PDF

Info

Publication number
CN101661625A
CN101661625A CN200910093834A CN200910093834A CN101661625A CN 101661625 A CN101661625 A CN 101661625A CN 200910093834 A CN200910093834 A CN 200910093834A CN 200910093834 A CN200910093834 A CN 200910093834A CN 101661625 A CN101661625 A CN 101661625A
Authority
CN
China
Prior art keywords
rightarrow
coordinate system
centerdot
standard picture
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910093834A
Other languages
English (en)
Other versions
CN101661625B (zh
Inventor
郭俊伟
陈靖
王涌天
刘越
刘伟
林精敦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN2009100938340A priority Critical patent/CN101661625B/zh
Publication of CN101661625A publication Critical patent/CN101661625A/zh
Application granted granted Critical
Publication of CN101661625B publication Critical patent/CN101661625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及模式识别技术领域,特别是涉及一种基于一幅标准图像生成各视角下样本图像的方法。本发明首先采用几个参数来确定摄像机在对目标进行拍摄时所处的空间三维位置,这些参数的所有取值组合能够覆盖摄像机可能在三维空间中所处的所有位置,并且每一组取值都与空间的某一个位置唯一对应;接着用对应于两个不同的摄像机空间位置的两组不同参数来表示摄像机在这两个位置下所拍摄的真实图像之间的变换关系;然后将这一变换关系作用于在第一个摄像机位置所拍摄得到的真实图像,就可以生成一幅样本图像。本发明所使用的图像变换关系使得生成的样本图像可以完全模拟从对应视角拍摄得到的真实图像,并且可以通过控制参数的取值,来生成所需的特定视角下的图像。

Description

基于一幅标准图像生成各视角下样本图像的方法
技术领域
本发明涉及模式识别技术领域,特别是涉及一种基于一幅标准图像生成各视角下样本图像的方法。
背景技术
样本图像生成是一种图像变换方法,它是模式识别、机器学习领域中的有监督学习方法的重要组成部分。样本图像生成的目的是对一幅或几幅在真实情况下对目标物体拍摄得到的标准图像(通常是从目标物体的正面拍摄的图像)进行一系列的图像变换,进而生成各种不同的样本图像,这些样本图像与摄像机在各种不同视角下针对目标物体进行拍摄所得到的真实图像具有一定的相似度,因此可以用它们来模拟这些拍摄的真实图像。有效的样本图像生成方法可以生成与真实图像相似度很高的样本图像,基于此进行的有监督学习过程可以为模式识别、机器学习提供更准确的与目标物体相关的先验知识储备,最终获得更高的物体识别成功率。例如,在空间战场中,为了实现通过卫星对地面的某一目标物体进行识别,首先需要获取大量的与该目标物体相关的图像数据,以此作为基础来形成与该目标物体相关的先验知识数据库,进而基于这一数据库来实现卫星对该目标物体的识别。然而,卫星较快的运动速度以及有限的视野造成了在一个运动周期内通常只能对目标拍摄有限的几幅甚至一幅图像,并且卫星运动的长周期性导致了需要经过非常漫长的时间才能采集到足够多的图像数据。由此延长了从准备先验知识数据库到最终实现对目标物体的成功识别的时间,失去了快速识别目标物体的先机。为了在短时间内获得关于目标物体的大量的图像数据,因此需要在仅有的一幅或几幅图像的基础上利用样本图像生成方法来生成各种视角下的关于目标物体的图像,由此仅经过几个甚至一个运动周期后便可以形成充分的先验知识数据库,实现了在短时间内完成数据储备并成功识别目标物体目的。
由于样本图像生成的重要性,人们已经开始对其展开研究,并提出了一些方法(具体样本图像生成方法参见:Lepetit,V.,Lagger,P.,Fua,P.:Randomizedtrees for real-time keypoint recognition.In:Proc.of the IEEE Conf.on ComputerVision and Pattern Recognition,Vol.2.IEEE Computer Society Washington,DC,USA(2005)775-781)。
已有的样本图像生成方法主要通过以下方式实现:
设A表示一个3×3的矩阵,并且该矩阵是以下四个参数的函数:(θ,
Figure G2009100938340D00021
λ1,λ2)。A的具体表示形式如下:
Figure G2009100938340D00022
对于一幅大小为N×M的标准图像,利用它生成样本图像所需的图像变换可以用矩阵A来表示。在A中,θ和
Figure G2009100938340D00024
是两个角度变量,其取值范围是(-180°,180°);λ1和λ2是两个实数变量,取值范围通常是(0.2,1.8)。Rθ
Figure G2009100938340D00025
称为旋转矩阵,用来表示在样本生成过程中对标准图像所做的各个方向上的旋转变换,S称为图像大小缩放矩阵,用来表示在样本生成过程中对标准图像所做的缩放变换。
将以上由矩阵A的一个具体值表示的图像变换作用于标准图像,便可以得到一幅新生成的样本图像。这样一幅样本图像是在对标准图像进行了某些方向上的旋转以及大小缩放之后得到的,这其中由标准图像变换到样本图像的旋转方向、旋转角度大小、缩放程度大小均由矩阵A中的四个参数(θ,
Figure G2009100938340D00026
λ1,λ2)的取值来决定。这四个参数的不同取值,决定了在生成样本图像过程中使用不同的旋转方向、不同的旋转角度以及不同的大小缩放程度,进而决定了将会生成不同的样本图像。
当两个旋转角度参数(θ,
Figure G2009100938340D00027
)的取值的绝对值较小的时候,通过以上变换方式生成的样本图像与摄像机在对应角度拍摄得到的真实图像具有较高的相似度,因此这些样本图像可以较好的模拟真实图像。但是随着这两个参数的取值的绝对值的逐渐增大,所生成的样本图像与摄像机在对应角度拍摄得到的真实图像的相似程度却大为下降,以至于无法很好的模拟真实图像。造成以上问题的主要原因是:虽然从不同视角拍摄的两幅图像之间的变换关系确实可以通过一个3×3的矩阵来表示,但是这一矩阵是一个普通矩阵,它具有一个最一般的表示形式,其中的9个元素的取值是随机的,并无一定的规律。而如公式(1)所示的矩阵A中的一些元素的取值是存在规律的,即无论四个参数(θ,
Figure G2009100938340D00031
λ1,λ2)的取值如何变化,矩阵A的第三行始终是(0,0,1)。这一特点导致了矩阵A与标准图像和从一定视角拍摄的另外一幅真实图像之间的变换关系不完全等价,也就使得基于这一变换所生成的样本图像无法完全模拟从对应视角拍摄得到的真实图像。
从以下角度也可以对已有方法在生成图像样本方面的缺陷:由于人眼成像和摄像机成像都符合透视投影关系,因此对于两条平行的直线,当从一个较偏的视角对其进行拍摄时,这两条直线在所拍摄得到的真实图像上的像已经不再平行,而是存在一个交点。然而,采用已有方法处理两条平行直线的标准图像时,二者在所生成的样本图像上的像仍然是平行的。以上现象也说明了已有方法所生成的图像样本无法完全模拟真实图像的缺陷。
发明内容
有鉴于此,本发明的主要目的在于为模式识别、机器学习领域中的有监督学习过程提供一种样本图像生成方法,采用此方法生成的样本图像能够完全模拟从相应视角拍摄的真实图像,可以为模式识别、机器学习提供更准确的先验知识储备,进而获得更高的物体识别成功率,由此可以解决诸如在战场中短时间内实现从目标物体先验知识储备到成功识别目标物体的问题,从而提供一种基于一幅标准图像生成各视角下样本图像的方法,这一方法克服了已有方法在生成样本图像的过程中所用的变换矩阵不能完全表示两幅图像之间变换关系的缺陷,提高了所生成的样本图像与真实图像的相似程度。
本发明的技术方案是:
通过分析在两个不同视角下所拍摄得到的两幅真实图像之间的变换与一些参数的关系,进而用这些参数来表示这两幅真实图像之间的变换关系,由此便可以通过将由这些参数表示的变换关系作用于第一幅图像的方式,来生成一幅样本图像,而这幅样本图像就可以被用来完全模拟在第二个视角下拍摄的真实图像。具体由以下几部分组成:
第一步,采用四个参数(θ,Φ,Ψ,r)来表征摄像机在对目标物体进行拍摄时所处的空间三维位置,四个参数的所有取值组合能够覆盖摄像机在三维空间中所处的所有位置,并且每一组取值都与空间的某一个位置唯一对应。
第二步,在步骤一的基础上,假设针对目标物体拍摄一幅标准图像时摄像机的空间位置(记为位置0)所对应的四个参数的一组取值为(θ0,Φ0,Ψ0,r0),则目标物体所在的空间坐标系与标准图像坐标系之间的变换关系可以由(θ0,Φ0,Ψ0,r0)来表示。同理,设摄像机在另外的某一个视角进行拍摄时的空间位置(记为位置t)所对应的四个参数的一组取值为(θt,Φt,Ψt,rt),则目标物体所在的空间坐标系与在该视角下拍摄的图像坐标系之间的变换关系可以由(θt,Φt,Ψt,rt)来表示。由于两幅图像是针对同一空间下的同一目标物体进行拍摄,因此以上两个由目标物体空间坐标系到图像坐标系的变换关系中的物体空间坐标系为同一个,因此,由标准图像坐标系到另外一幅图像的坐标系之间的变换关系就可以由(θ0,Φ0,Ψ0,r0)和(θt,Φt,Ψt,rt)两组参数值来表示。
第三步,在已知一幅标准图像和一组参数值(θ0,Φ0,Ψ0,r0)的情况下,给四个参数(θ,Φ,Ψ,r)赋予不同于(θ0,Φ0,Ψ0,r0)的另外的一组值,例如(θt,Φt,Ψt,rt),则根据第二步就可以由(θ0,Φ0,Ψ0,r0)和(θt,Φt,Ψt,rt)计算出一个由标准图像到另外一幅图像的变换关系。将这一变换关系作用到标准图像上之后,可以生成一幅样本图像。该样本图像就可以被用来完全模拟摄像机在位置t时对目标物体所拍摄得到的真实图像。
第四步,给四个参数(θ,Φ,Ψ,r)赋予任意组不同的值,记为(θi,Φi,Ψi,ri),可以得到各种由(θ0,Φ0,Ψ0,r0)和(θi,Φi,Ψi,ri)表示的由标准图像到多个样本图像的变换关系,将这些变换作用到标准图像上,就可以生成各种不同的样本图像,这些样本图像可以被用来模拟摄像机在与不同的参数值(θi,Φi,Ψi,ri)所对应的各个空间位置拍摄的真实图像。
本发明的基于一幅标准图像生成各视角下样本图像的方法具有以下优点:
(1)在本发明的技术方案中,由于是首先通过反向推导的方法即分析两幅从不同视角拍摄得到的真实图像之间的变换关系以及如何利用参数来表示这一变换关系,并将这一变换关系应用到标准图像来生成样本图像,因此采用本发明所述方法生成的样本图像与标准图像的相似程度远高于采用已有方法生成的样本图像与标准图像的相似程度,具体对比结果可以参见附图6、附图7和附图8的对比结果以及附图9中的对比结果。因此,可以为模式识别、机器学习提供更准确的先验知识储备,进而获得更高的物体识别成功率。
(2)如技术方案中的第一步所述,四个参数的所有取值能够覆盖摄像机可能在三维空间中所处的所有位置,并且每一组取值都与空间的某一个位置唯一对应,即每一组值对应一幅从特定视角拍摄的图像。因此,生成某种视角下的样本图像是可控的,即可以通过控制四个参数(θ,Φ,Ψ,r)的取值来生成所需的特定视角下的图像。例如,根据要求生成从左侧某一角度下观察目标时候的图像,或者从某一特定距离下观察目标时候的图像。
附图说明
图1为本发明中的三维空间坐标系、摄像机在这一坐标系下的位置以及用来表示这一位置的四个参数(θ,Φ,Ψ,r)之间的关系示意图。
图2为本发明中摄像机在两个不同的空间位置对目标进行拍摄时摄像机坐标系、世界坐标系之间的空间位置关系示意图。
图3-a为一幅从物体正面拍摄的真实图像,即标准图像。图3-b为针对同一物体在另外一个视角下拍摄的真实图像。
图4为基于图3-a这幅标准图像并采用已有的方法所生成的样本图像。
图5为基于图3-a这幅标准图像并采用本发明所述的方法所生成的样本图像。
图6-a为采用两对直线(直线L1和L2,直线L3和L4)标识出标准图像中的矩形“福字画”的两对平行边的示意图。图6-b为采用两对直线(直线L1和L2,直线L3和L4)标识出图3-b所示图像中的矩形“福字画”的两对边的示意图。
图7为采用两对直线(直线L1和L2,直线L3和L4)标识出如图4所示图像中的矩形“福字画”的两对边的示意图。
图8为采用两对直线(直线L1和L2,直线L3和L4)标识出如图5所示图像中的矩形“福字画”的两对边的示意图。
图9-a为采用SIFT特征点的匹配数量来衡量通过已有方法所生成的样本图像与从相应视角拍摄的真实图像的相似程度的示意图。图9-b为采用SIFT特征点的匹配数量来衡量通过本发明所述方法所生成的样本图像与从相应视角拍摄的真实图像的相似程度的示意图。
具体实施方式
下面结合附图和实施例对本发明做详细说明。
这里以一个平面物体作为目标物体进行优选方案的实施。并作以下假设:物体平面与世界坐标系的XOY平面重合,并且为了确保在生成样本图像时原标准图像的最大部分可以被包括进视野中,目标物体平面的中心与视野的中心重合。
下面参照附图对本发明作进一步详细的说明。
图1为本发明中的三维空间坐标系、摄像机在这一坐标系下的位置以及用来表示这一位置的四个参数(θ,Φ,Ψ,r)之间的关系示意图。图中各符号具体含义如下:
Ow为世界坐标系的原点。
Xw,Yw和Zw分别是世界坐标系的三个坐标轴。
A点表示摄像机在对目标进行拍摄时所处的某一空间位置。
Zct为摄像机坐标系的Z轴(即摄像机的光轴)。
θ,Φ,Ψ,r是如本发明技术方案中所述的用来确定摄像机在三维空间中位置的四个参数,其中:
θ为包含Zw轴和Zct轴的平面与ZwOwXw平面的夹角;
Φ为Zct轴与XwOwYw平面的夹角;
Ψ为摄像机绕Zct轴做旋转运动时的角度;
r为A点与Ow点之间的距离。
如图1所示,四个参数(θ,Φ,Ψ,r)的不同取值决定了摄像机在空间中的不同位置,且取值与空间位置一一对应。
图2为本发明中摄像机在两个不同的空间位置对目标进行拍摄时摄像机坐标系、世界坐标系之间的空间位置关系示意图。图中各符号具体含义如下:
Mc0表示在拍摄标准图像时的摄像机坐标系。
0c0,Xc0,Yc0和Zc0分别是Mc0坐标系的原点和三个坐标轴。
Mct表示在另外的某一个视角进行拍摄时的摄像机坐标系。
0ct,Xct,Yct和Zct分别是Mct坐标系的原点和三个坐标轴。
Mw表示世界坐标系。
0w,Xw,Yw和Zw分别是Mw坐标系的原点和三个坐标轴。
右上角带有一个圆点的方框表示的是在拍摄时的图像平面。
H表示标准图像与另外一幅图像之间的变换关系矩阵。
U表示目标物体的平面,且该平面与Xw0wYw平面重合。
假设对应于目标物体上的一个三维点坐标(记为P),它在标准图像上所成的像点坐标为p0,设矩阵K是表示摄像机自身内部参数(包括焦距,成像的CCD参数等)的矩阵,K矩阵的取值固定,不随摄像机的空间位置改变而变化。矩阵R0,T0表示拍摄标准图像时摄像机坐标系Mc0与世界坐标系Mw之间的变换关系,λ0为一个实数,表示比例关系,根据投影几何关系,有如下式子成立:
λ0p0=K[R0 T0]P    (2)
同理,设三维点P在另外一幅图像上的像点坐标为pt,矩阵Rt,Tt表示拍摄第二幅图像时摄像机坐标系Mct与世界坐标系Mw之间的变换关系,λt为一个实数,表示比例关系,根据投影几何关系,有如下式子成立:
λtpt=K[Rt Tt]P    (3)
则合并公式(2)和(3),即可得出标准图像上的像点p0和另外一幅图像上的像点pt之间的变换关系,表示如下:
Figure G2009100938340D00071
其中,(K[R0 T0])-1表示对括号中的矩阵取逆运算。
公式(4)表示的是当摄像机从标准位置和另外一个视角对同一个目标物体进行拍摄时,目标上的一个三维点在标准图像上的像点与它在另外一幅图像上的像点之间的变换关系,把公式(4)表示的关系从一个像点推广到整幅图像,就可以得到从标准图像变换到另外一幅图像的变换关系。
下面将推导如何用四参数(θ,Φ,Ψ,r)来表示公式(4)中的R,T矩阵。
如图(1)所示,A点在世界坐标系下的坐标可以用四参数(θ,Φ,Ψ,r)来表示如下:
A=(rcosφcosθ,rcosφsinθ,rsinφ)T    (5)
其中,Φ∈(0,90°),θ,ψ∈(0,360°),r>0。
设摄像机坐标系Mct的三个坐标轴Xct,Yct和Zct的单位向量分别表示为
Figure G2009100938340D00081
Figure G2009100938340D00082
Figure G2009100938340D00083
世界坐标系Mw的三个坐标轴Xw,Yw和Zw的单位向量分别表示为
Figure G2009100938340D00084
Figure G2009100938340D00086
则有:
k ct → = O w A → | O w A | = O w A → r - - - ( 6 )
j ct → = AB → | AB | , AB → = ( - r cos φ cos θ , - r cos φ sin θ , r sin φ - r sin φ ) T - - - ( 7 )
i ct → = j ct → × k ct → - - - ( 8 )
其中,B点是由A点向Zw轴作垂线时,该垂线与Zw轴的交点,且B点坐标为:
B = ( 0,0 , r sin φ ) T - - - ( 9 )
由此,根据两坐标系之间的变换与二者的各坐标轴单位向量之间的关系并结合公式(6)-(8),可以将摄像机坐标系Mct与世界坐标系Mw之间的变换关系表示如下:
R t = R ψ i 0 → · i ct → i 0 → · j ct → i 0 → · k ct → j 0 → · i ct → j 0 → · j ct → j 0 → · k ct → k 0 → · i ct → k 0 → · j ct → k 0 → · k ct → - - - ( 10 )
Tt=(0  0  -r)T
其中,“·”表示点积,RΨ是一个3×3的矩阵,是用来表示摄像机绕摄像机坐标系的Z轴进行旋转的旋转矩阵,并且具有以下形式:
R ψ = cos ψ sin ψ 0 - sin ψ cos ψ 0 0 0 1 - - - ( 11 )
由此,结合公式(4)-(10),即可以得到用四个参数(θ,Φ,Ψ,r)来表示的从标准图像到另外一幅图像的变换关系:
λt0pt=Hp0    (12)
其中,λt0=λt0,如图2中所示,H为两幅图像之间的变换关系矩阵,且有:
H=K[Rt Tt]·(K[R0 T0])-1    (13)
其中,
R t T t = R ψ t i 0 → · i ct → i 0 → · j ct → i 0 → · k ct → j 0 → · i ct → j 0 → · j ct → j 0 → · k ct → k 0 → · i ct → k 0 → · j ct → k 0 → · k ct → 0 0 - r t - - - ( 14 )
R 0 T 0 = R ψ 0 i 0 → · i c 0 → i 0 → · j c 0 → i 0 → · k c 0 → j 0 → · i c 0 → j 0 → · j c 0 → j 0 → · k c 0 → k 0 → · i c 0 → k 0 → · j c 0 → k 0 → · k c 0 → 0 0 - r 0 - - - ( 15 )
Figure G2009100938340D00093
分别是在拍摄标准图像时对应的摄像机坐标系Mc0的三个坐标轴Xc0,Yc0和Zc0的单位向量,这三个单位向量可以通过参数值(Φ0=90°,θ0=0°,Ψ0=0°,r=r0)来唯一表示;r0表示的是拍摄标准图像时摄像机距离目标物体平面的距离,该距离需要预先进行测量并记录。根据图1所示,对应于拍摄标准图像时摄像机的空间位置的四个参数的值分别为Φ=Φ0=90°,θ=θ0=0°,Ψ=Ψ0=0°,r=r0
对四个参数(θ,Φ,Ψ,r)赋予不同的数值,则对应于摄像机从不同的空间位置对目标物体进行拍摄,则公式(12)中的矩阵H的取值就会不同,将这些不同的变换矩阵H作用于标准图像后可以生成各种不同的样本图像,所生成的这些样本图像就可以被用来完全模拟在相应的视角下拍摄的真实图像。
下面,以图3-a所示的图像作为标准图像来实施本发明所述的样本图像生成方法,并对其与已有方法生成的样本图像的对比结果进行说明。
对四个参数(θ,Φ,Ψ,r)赋予一组数值,并根据公式(13)计算出相应的变换矩阵H,将变换矩阵H作用于图3-a所示的标准图像,可以生成一幅如图5所示的样本图像。
图3-b为针对与图3-a中的同一物体在另外一个视角下拍摄的真实图像。为了说明所生成的样本图像与图3-b所示的真实图像具有更高的相似程度,下面分别采用两种方法进行说明。
方法一:图6-a为采用两对直线(直线L1和L2,直线L3和L4)标识出标准图像中的矩形“福字画”的两对平行边的示意图,如图6-a所示,直线L1与L2平行,直线L3与L4平行。图6-b为采用两对直线(直线L1和L2,直线L3和L4)标识出图3-b所示图像中的矩形“福字画”的两对边的示意图,由于图3-b是从另外一个角度对物体进行拍摄并且符合透视投影原理,因此如图6-b所示,直线L1与L2不平行,直线L3与L4不平行。
图7为采用两对直线(直线L1和L2,直线L3和L4)标识出如图4所示的采用已有方法生成的样本图像中的矩形“福字画”的两对边的示意图。如图7所示,直线L1与L2平行,直线L3与L4平行。由此说明采用已有方法所生成的样本图像不符合透视投影原理。
图8为采用两对直线(直线L1和L2,直线L3和L4)标识出如图5所示的采用本发明所述方法生成的样本图像中的矩形“福字画”的两对边的示意图。如图8所示,直线L1与L2不平行,直线L3与L4不平行,这一现象与图6-b中真实图像中的现象一致。由此说明采用本发明所述方法所生成的样本图像符合透视投影原理的性质,与图6-b所示的从一定视角拍摄的真实图像具有很高的相似度。
方法二:SIFT特征点提取方法可以从图像中提取出最能够表征图像信息的有代表性的像素点,在两幅图像中提取出SIFT特征点,并把同时出现在两幅图像中的同一个特征点用红色线相连接,连接正确的红色线越多说明了两幅图像的相似程度越高。如图9-a所示,连接正确的红色线的数量为32条,即上下两幅图像中相同的SIFT特征点有32个;如图9-b所示,连接正确的红色线的数量为268条,即上下两幅图像中相同的SIFT特征点有268个,达到了图9-a中相应数量的8倍多。以上对比结果说明采用本发明所述方法生成的样本图像与标准图像的相似程度远高于采用已有方法生成的样本图像与标准图像的相似程度。
以上对本发明所提供的基于一幅标准图像生成各视角下样本图像的方法进行了详细介绍,文中对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种基于一幅标准图像生成各视角下样本图像的方法,其特征在于,包括以下步骤:
第一步,采用四个参数(θ,Φ,Ψ,r)来表征摄像机在对目标物体进行拍摄时所处的空间三维位置,四个参数的所有取值组合能够覆盖摄像机在三维空间中所处的所有位置,并且每一组取值都与空间的某一个位置唯一对应;
第二步,在步骤一的基础上,假设针对目标物体拍摄一幅标准图像时摄像机的空间位置所对应的四个参数的一组取值为(θ0,Φ0,Ψ0,r0),该空间位置记为位置0,则目标物体所在的空间坐标系与标准图像坐标系之间的变换关系可以由(θ0,Φ0,Ψ0,r0)来表示;同理,设摄像机在另外的某一个视角进行拍摄时的空间位置所对应的四个参数的一组取值为(θt,Φt,Ψt,rt),该空间位置记为位置t,则目标物体所在的空间坐标系与在该视角下拍摄的图像坐标系之间的变换关系可以由(θt,Φt,Ψt,rt)来表示;由于两幅图像是针对同一空间下的同一目标物体进行拍摄,因此以上两个由目标物体空间坐标系到图像坐标系的变换关系中的物体空间坐标系为同一个,因此,由标准图像坐标系到另外一幅图像的坐标系之间的变换关系就可以由(θ0,Φ0,Ψ0,r0)和(θt,Φt,Ψt,rt)这两组参数值来表示;
第三步,在已知一幅标准图像和一组参数值(θ0,Φ0,Ψ0,r0)的情况下,给四个参数(θ,Φ,Ψ,r)赋予不同于(θ0,Φ0,Ψ0,r0)的另外的一组值,例如(θt,Φt,Ψt,rt),则根据第二步就可以由(θ0,Φ0,Ψ0,r0)和(θt,Φt,Ψt,rt)计算出一个由标准图像到另外一幅图像的变换关系;将这一变换关系作用到标准图像上之后,可以生成一幅样本图像;该样本图像就可以被用来完全模拟摄像机在位置t时对目标物体所拍摄的真实图像;
第四步,给四个参数(θ,Φ,Ψ,r)赋予任意组不同的值,记为(θi,Φi,Ψi,ri),可以得到各种由(θ0,Φ0,Ψ0,r0)和(θi,Φi,Ψi,ri)表示的由标准图像到多个样本图像的变换关系,将这些变换作用到标准图像上,就可以生成各种不同的样本图像,这些样本图像可以被用来模拟摄像机在与不同的参数值(θi,Φi,Ψi,ri)所对应的各个空间位置拍摄的真实图像。
2.如权利要求1所述的基于一幅标准图像生成各视角下样本图像的方法,其特征在于:在步骤一中,使用的四个用来完全确定摄像机在对目标物体进行拍摄时所处的空间三维位置的参数分别具有以下含义:
θ为包含世界坐标系的Z轴以及摄像机坐标系的Z轴的平面与世界坐标系的ZOX平面的夹角;
Φ为摄像机坐标系的Z轴与世界坐标系的XOY平面的夹角;
Ψ为摄像机绕摄像机坐标系的Z轴做旋转运动时的角度;
r为摄像机与世界坐标系的原点之间的距离。
3.如权利要求1所述的基于一幅标准图像生成各视角下样本图像的方法,其特征在于:在步骤一中,使用的四个用来完全确定摄像机在对目标物体进行拍摄时所处的空间三维位置的参数的取值范围分别如下:Φ∈(0,90°),θ,Ψ∈(0,360°),r>0。
4.如权利要求1所述的基于一幅标准图像生成各视角下样本图像的方法,其特征在于:在步骤二中,由标准图像坐标系到另外一幅图像的坐标系之间的变换关系可以通过以下公式表示:
H=K[RtTt]□(K[R0T0])-1                (1)
其中K是表示摄像机自身内部参数的矩阵,K矩阵的取值固定,不随摄像机的空间位置改变而变化;Rt,Tt表示拍摄第二幅图像时摄像机坐标系与世界坐标系的变换关系;R0,T0分别表示拍摄标准图像时摄像机坐标系与世界坐标系的变换关系,并且满足:
R t T t R ψ t i 0 → · i ct → i 0 → · j ct → i 0 → · k ct → j 0 → · i ct → j 0 → · j ct → j 0 → · k ct → k 0 → · i ct → k 0 → · j ct → k 0 → · k ct → 0 0 - r t - - - ( 2 )
R 0 T 0 = R ψ 0 i 0 → · i c 0 → i 0 → · j c 0 → i 0 → · k c 0 → j 0 → · i c 0 → j 0 → · j c 0 → j 0 → · k c 0 → k 0 → · i c 0 → k 0 → · j c 0 → k 0 → · k c 0 → 0 0 - r 0 - - - ( 3 )
Figure A2009100938340003C3
Figure A2009100938340003C4
Figure A2009100938340003C5
分别表示在拍摄标准图像时对应的摄像机坐标系的X轴,Y轴和Z轴的单位向量,这三个单位向量可以通过参数值(Φ0=90°,θ0=0°,Ψ0=0°,r=r0)来唯一表示;r0表示的是拍摄标准图像时摄像机距离目标物体平面的距离,该距离需要预先进行测量并记录;
Figure A2009100938340003C6
Figure A2009100938340003C7
分别表示在拍摄第二幅图像时对应的摄像机坐标系的X轴,Y轴和Z轴的单位向量;
Figure A2009100938340003C9
Figure A2009100938340003C10
Figure A2009100938340003C11
分别表示世界坐标系的X轴,Y轴和Z轴的单位向量。
CN2009100938340A 2009-09-22 2009-09-22 基于一幅标准图像生成各视角下样本图像的方法 Active CN101661625B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009100938340A CN101661625B (zh) 2009-09-22 2009-09-22 基于一幅标准图像生成各视角下样本图像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009100938340A CN101661625B (zh) 2009-09-22 2009-09-22 基于一幅标准图像生成各视角下样本图像的方法

Publications (2)

Publication Number Publication Date
CN101661625A true CN101661625A (zh) 2010-03-03
CN101661625B CN101661625B (zh) 2012-07-18

Family

ID=41789628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100938340A Active CN101661625B (zh) 2009-09-22 2009-09-22 基于一幅标准图像生成各视角下样本图像的方法

Country Status (1)

Country Link
CN (1) CN101661625B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102792334A (zh) * 2010-04-12 2012-11-21 住友重机械工业株式会社 图像生成装置及操作支持系统
CN106603901A (zh) * 2015-10-14 2017-04-26 诺基亚技术有限公司 用于场景匹配的方法和装置
CN110555892A (zh) * 2019-08-09 2019-12-10 北京字节跳动网络技术有限公司 多角度图像生成方法、装置及电子设备
CN112101257A (zh) * 2020-09-21 2020-12-18 北京字节跳动网络技术有限公司 训练样本生成方法、图像处理方法、装置、设备和介质
CN114184581A (zh) * 2021-10-25 2022-03-15 北京理工大学 基于oct系统的图像优化方法、装置、电子设备及存储介质
CN114713518A (zh) * 2022-03-15 2022-07-08 江苏纳唯信息技术有限公司 一种基于图像分析的工业管件内壁智能探伤方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102792334A (zh) * 2010-04-12 2012-11-21 住友重机械工业株式会社 图像生成装置及操作支持系统
CN106603901A (zh) * 2015-10-14 2017-04-26 诺基亚技术有限公司 用于场景匹配的方法和装置
CN110555892A (zh) * 2019-08-09 2019-12-10 北京字节跳动网络技术有限公司 多角度图像生成方法、装置及电子设备
CN110555892B (zh) * 2019-08-09 2023-04-25 北京字节跳动网络技术有限公司 多角度图像生成方法、装置及电子设备
CN112101257A (zh) * 2020-09-21 2020-12-18 北京字节跳动网络技术有限公司 训练样本生成方法、图像处理方法、装置、设备和介质
CN112101257B (zh) * 2020-09-21 2022-05-31 北京字节跳动网络技术有限公司 训练样本生成方法、图像处理方法、装置、设备和介质
CN114184581A (zh) * 2021-10-25 2022-03-15 北京理工大学 基于oct系统的图像优化方法、装置、电子设备及存储介质
CN114184581B (zh) * 2021-10-25 2024-05-07 北京理工大学 基于oct系统的图像优化方法、装置、电子设备及存储介质
CN114713518A (zh) * 2022-03-15 2022-07-08 江苏纳唯信息技术有限公司 一种基于图像分析的工业管件内壁智能探伤方法
CN114713518B (zh) * 2022-03-15 2024-05-14 江苏纳唯信息技术有限公司 一种基于图像分析的工业管件内壁智能探伤方法

Also Published As

Publication number Publication date
CN101661625B (zh) 2012-07-18

Similar Documents

Publication Publication Date Title
CN114004941B (zh) 一种基于神经辐射场的室内场景三维重建系统及方法
Pumarola et al. D-nerf: Neural radiance fields for dynamic scenes
CN100485720C (zh) 一种基于序列静态图像的360°环视全景生成方法
CN108898676B (zh) 一种虚实物体之间碰撞及遮挡检测方法及系统
CN101661625B (zh) 基于一幅标准图像生成各视角下样本图像的方法
CN101394573B (zh) 一种基于特征匹配的全景图生成方法及系统
CN108288292A (zh) 一种三维重建方法、装置及设备
EP3516624A1 (en) A method and system for creating a virtual 3d model
CN102750704B (zh) 一种摄像机分步自标定方法
CN111079565B (zh) 视图二维姿态模板的构建方法及识别方法、定位抓取系统
Chen et al. PCT: Large-scale 3D point cloud representations via graph inception networks with applications to autonomous driving
CN108648194A (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
Stamos et al. Interactive sensor planning
Jayaraman et al. Shapecodes: self-supervised feature learning by lifting views to viewgrids
KR102361133B1 (ko) 이동체의 전방향에 위치한 적어도 하나의 물체에 대한 거리를 획득하는 방법 및 이를 이용한 비전 장치
CN112509129B (zh) 一种基于改进gan网络的空间视场图像生成方法
Yin et al. Novel view synthesis for large-scale scene using adversarial loss
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
Nanya et al. Reconstruction of complete 3D models by voxel integration
Wang et al. Automatic measurement based on stereo vision system using a single PTZ camera
Chen et al. Large-scale 3d point cloud representations via graph inception networks with applications to autonomous driving
Kang et al. 3D urban reconstruction from wide area aerial surveillance video
JP3548652B2 (ja) 物体形状復元装置及びその方法
Chon et al. Three-dimensional image mosaicking using multiple projection planes for 3-D visualization of roadside standing buildings
Brito et al. Using geometric interval algebra modeling for improved three-dimensional camera calibration

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant