CN105635551A - 一种球型摄像机生成全景图像的方法及球型摄像机 - Google Patents

一种球型摄像机生成全景图像的方法及球型摄像机 Download PDF

Info

Publication number
CN105635551A
CN105635551A CN201410594316.8A CN201410594316A CN105635551A CN 105635551 A CN105635551 A CN 105635551A CN 201410594316 A CN201410594316 A CN 201410594316A CN 105635551 A CN105635551 A CN 105635551A
Authority
CN
China
Prior art keywords
coordinate system
ball
shaped camera
plane
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410594316.8A
Other languages
English (en)
Other versions
CN105635551B (zh
Inventor
周璐
张兴明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201410594316.8A priority Critical patent/CN105635551B/zh
Publication of CN105635551A publication Critical patent/CN105635551A/zh
Application granted granted Critical
Publication of CN105635551B publication Critical patent/CN105635551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种球型摄像机生成全景图像的方法及球型摄像机,该方法包括:按照设定规则进行多次转动,每完成一次转动,采集当前位置的图像;根据图像坐标系与世界坐标系之间的映射关系,得到该图像在世界坐标系中的曲面图像;根据世界坐标系与球型摄像机坐标系之间的映射关系,得到该图像在球型摄像机坐标系中的曲面图像;根据球型摄像机坐标系与全景图像坐标系之间的映射关系,得到该图像在全景图像坐标系中的平面图像;根据当前位置的图像在全景图像坐标系中的平面图像,进行全景图像的拼接。本发明能够通过各个坐标系之间一一对应的坐标关系,可将球型摄像机获取的多图图像拼接为一幅全景图像,该全景图像可以为360全景图像。

Description

一种球型摄像机生成全景图像的方法及球型摄像机
技术领域
本发明涉及视频图像处理技术领域,尤其涉及一种球型摄像机生成全景图像的方法及球型摄像机。
背景技术
全景图像拼接是指将一组有重叠部分的图像序列经过空间配准、图像融合后形成一幅包含每个图像序列的全景图像。在进行全景图像拼接时包括:图像与处理、图像配准、图像融合三个关键步骤,其中图像配准是全景图像拼接的核心部分,其目的在于找到一个空间变换,使得数字图像序列之间相互重叠的部分的坐标点能够对准。在图像配准之后,为了保证不同图像之间所存在的亮度和色度的平衡,对图像配准之后得到的图像进行图像融合的处理。
现有的全景图像拼接的方案主要为基于特征点的拼接方案,在具体实施时,需要计算图像之间的变换矩阵,利用变换矩阵对采集到的多幅图像进行拼接,从而得到全景图像,主要步骤包括:提取特征点;特征点匹配;变换参数估计;图像融合,从而得到全景图像。
基于特征点的拼接方案精度较高,但该方法要求被拼接的图像之间相互重叠,且重叠的部分必须存在较多的特征点,并且,要求场景的景深基本一致。在利用这种方法拼接全景图像时,对图像内容要求较高,若图像内容比较单一(比如只有墙壁),则无法提取明显的特征点,此时对图像进行拼接时会出现较大误差。而且,这种方法无法拼接成360全景图像。
发明内容
本发明提供了一种球型摄像机生成全景图像的方法及球型摄像机,用于解决现有技术中在进行图像拼接时,对图像要求太高且无法拼接成360全景图像的问题。
本发明提供了一种球型摄像机生成全景图像的方法,包括:
球型摄像机按照设定规则进行多次转动,每完成一次转动,采集当前位置的图像,其中,所述球型摄像机按照设定规则进行多次转动为:球型摄像机在两个垂直平面内以设定转动方向和设定转动步长,在设定的角度范围内进行多次转动;
根据图像坐标系与预先建立的世界坐标系之间的映射关系,将当前位置的图像上每个像素点映射到预先建立的世界坐标系中,得到该图像在世界坐标系中的曲面图像;
根据预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系,将当前位置的图像上每个像素点映射到球型摄像机坐标系中,得到该图像在球型摄像机坐标系中的曲面图像,其中,预先建立的球型摄像机坐标系的坐标原点为球型摄像机转动的中心,该坐标系的x轴和y轴分别在所述两个垂直平面内,z轴与所述x轴和y轴垂直,该坐标系中任一点的x轴坐标为该点与球心的连线投影到x轴所在的平面后,与该平面内的参考线的夹角,y轴坐标为该点与球心的连线投影到y轴所在的平面后,与该平面内的参考线的夹角,z轴坐标为设定半径;
根据预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系,将当前位置的图像上每个像素点映射到全景图像坐标系中,得到该图像在全景图像坐标系中的平面图像;
根据当前位置的图像在全景图像坐标系中的平面图像,进行全景图像的拼接。
所述方法中,所述按照设定规则进行多次转动,具体包括:
球型摄像机在设定的坐标原点,从设定初始位置开始,在第一平面内以设定第一步长和设定第一方向转动;
当完成在第一平面内的设定角度范围的转动时,球型摄像机在第二平面内以设定第二步长和设定第二方向转动,其中,在第二平面内每转动一次后,球型摄像机重新在第一平面内以设定第一步长和设定第一方向转动,当完成在第一平面内的设定角度范围的转动时,球型摄像机继续在第二平面内以设定第二步长和设定第二方向转动,直到球型摄像机完成在第二平面内的设定角度范围的转动,所述第一平面与所述第二平面相互垂直。
采用这种转动规则,球型摄像机可采集到其可能的视角范围内的多张图片,利用这些图片可拼接处360的全景图像。
所述方法,在全景图像拼接完成之后,还包括:
在全景图像上设置特征点,根据预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系,将所述特征点在预先建立的全景图像坐标系中的坐标转换为预先建立的球型摄像机坐标系中的坐标;
确定所述特征点被选择时,球型摄像机根据所述特征点在球型摄像机坐标系中的坐标,转动到所述特征点所在位置。
通过设置特征点,以及预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系,可控制球型摄像机转动到特定位置。
所述方法中,所述图像坐标系与预先建立的世界坐标系之间的映射关系采用如下方式确定:
以当前位置的图像中心为坐标原点,建立图像坐标系;
根据当前位置的球型摄像机转动的角度信息、设定的第一投影半径参数,确定图像坐标系与预先建立的世界坐标系之间的映射关系;
所述预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系采用如下方式确定:
所述世界坐标系与所述球型摄像机坐标系不重合时,将世界坐标系的坐标原点转换到球型摄像机坐标系原点所在的位置,并且各个坐标轴的方向重合;
根据当前图像在转换后的世界坐标系中的曲面图像中每个像素点与预先建立的球型摄像机坐标系原点的连线投影到x轴所在的平面后,与该平面内的参考线的夹角以及投影到y轴所在的平面后,与该平面内的参考线的夹角,确定预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系;
所述世界坐标系与所述球型摄像机坐标系重合时,根据当前图像在世界坐标系中的曲面图像中每个像素点与预先建立的球型摄像机坐标系原点的连线投影到x轴所在的平面后,与该平面内的参考线的夹角以及投影到y轴所在的平面后,与该平面内的参考线的夹角,确定预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系;
所述预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系采用如下方式确定:
在预设的全景图像模板上,以全景图像模板的中心为坐标原点建立全景图像坐标系;
根据预设的第二投影半径参数、预先建立的全景图像坐标系的坐标原点,得到预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系。
本发明实施例中,可通过建立的各个坐标系之间的映射关系,最终得到球型摄像机采集到的图像在全景图像坐标系中的显示位置。
所述方法中,将当前位置的图像上任一像素点在图像坐标中的坐标映射为该像素点在世界坐标系中的坐标,计算方式如下:
x=pb*sin(th)*cos(fi)+ix*sin(fi)-iy*cos(th)*cos(fi)
y=pb*sin(th)*sin(fi)-ix*cos(fi)-iy*cos(th)*sin(fi)
z=pb*cos(th)+iy*sin(th)
其中,pb表示设定的第一投影半径参数,ix表示当前位置的图像中任一像素点在图像坐标系中的横坐标,iy表示当前位置的图像中任一像素点在图像坐标系中的纵坐标,th,fi分别表示球型摄像机在当前位置的转动角度对应的弧度,x、y、z分别表示当前位置的图像中任一像素点在世界坐标系中的坐标;
所述世界坐标系与所述球型摄像机坐标系重合时,将当前位置的图像上任一像素点在世界坐标系中的坐标映射为该像素点在球型摄像机坐标系中的坐标,计算方式如下:
alpha = arctan ( x 2 + y 2 z )
lam = arctan ( y x )
其中,alpha表示当前位置的曲面图像中任一像素点与球型摄像机坐标系的坐标原点的连线投影到球型摄像机坐标系的x轴所在的平面后,与该平面内的参考线的夹角,lam表示当前位置的曲面图像中任一像素点与球型摄像机坐标系的坐标原点的连线投影到球型摄像机坐标系的y轴所在的平面后,与该平面内的参考线的夹角;
将当前位置的图像上任一像素点在球型摄像机坐标系中的坐标映射为该像素点在全景图像坐标系中的坐标,计算方式如下:
r=pk*alpha
ox=r*cos(lam)+cx
oy=r*sin(lam)+cy
其中,ox、oy分别表示当前位置的图像中的任一像素点在全景图像坐标系中的横纵坐标,cx、cy分别表示全景图像坐标系中坐标原点的横纵坐标,pk表示设定的第二投影半径参数。
利用本发明实施例,可以得到图像坐标系与世界坐标系的坐标点之间一一对应的关系、世界坐标系与球型摄像机坐标系的坐标点之间一一对应的关系、球型摄像机坐标系与全景图像坐标系的坐标点之间一一对应的关系,从而使得拼接的全进图像更加准确。
所述方法中,所述球型摄像机在转动过程中采用设定的曝光参数和设定的白平衡参数。
采用设定的曝光参数和白平衡参数可以使摄像机采集到的图像更加稳定。
所述方法中,所述球型摄像机按照设定规则进行多次转动之前,确定设定的曝光参数和设定的白平衡参数,具体包括:
球型摄像机按照设定规则连续转动,所述球型摄像在连续转动过程中自动调整曝光参数和白平衡参数;
获取球型摄像机在连续转动过程中采用的所有曝光参数和白平衡参数并保存;
确定获取的所有自动曝光参数的中间值为设定的曝光参数,确定获取的所有白平衡参数的中间值为设定的白平衡参数。
这种确定设定曝光参数和白平衡参数的方法可以得到一个相对问题的曝光参数和白平衡参数,作为设定的曝光参数和白平衡参数。
本发明实施例还提供了一种球型摄像机,包括:
采集单元,用于按照设定规则进行多次转动,每完成一次转动,采集当前位置的图像,其中,所述球型摄像机按照设定规则进行多次转动为:球型摄像机在两个垂直平面内以设定转动方向和设定转动步长,在设定的角度范围内进行多次转动;
第一转换单元,用于根据图像坐标系与预先建立的世界坐标系之间的映射关系,将当前位置的图像上每个像素点映射到预先建立的世界坐标系中,得到该图像在世界坐标系中的曲面图像;
第二转换单元,用于根据预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系,将当前位置的图像上每个像素点映射到球型摄像机坐标系中,得到该图像在球型摄像机坐标系中的曲面图像,其中,预先建立的球型摄像机坐标系的坐标原点为球型摄像机转动的中心,该坐标系的x轴和y轴分别在所述两个垂直平面内,z轴与所述x轴和y轴垂直,该坐标系中任一点的x轴坐标为该点与球心的连线投影到x轴所在的平面后,与该平面内的参考线的夹角,y轴坐标为该点与球心的连线投影到y轴所在的平面后,与该平面内的参考线的夹角,z轴坐标为设定半径;
第三转换单元,用于根据预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系,将当前位置的图像上每个像素点映射到全景图像坐标系中,得到该图像在全景图像坐标系中的平面图像;
拼接单元,用于根据当前位置的图像在全景图像坐标系中的平面图像,进行全景图像的拼接。
所述球型摄像机中,所述采集单元具体用于:
球型摄像机在设定的坐标原点,从设定初始位置开始,在第一平面内以设定第一步长和设定第一方向转动;
当完成在第一平面内的设定角度范围的转动时,球型摄像机在第二平面内以设定第二步长和设定第二方向转动,其中,在第二平面内每转动一次后,球型摄像机重新在第一平面内以设定第一步长和设定第一方向转动,当完成在第一平面内的设定角度范围的转动时,球型摄像机继续在第二平面内以设定第二步长和设定第二方向转动,直到球型摄像机完成在第二平面内的设定角度范围的转动,所述第一平面与所述第二平面相互垂直。
所述球型摄像机,还包括:
设置单元,用于全景图像拼接完成之后,在全景图像上设置特征点,根据预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系,将所述特征点在预先建立的全景图像坐标系中的坐标转换为预先建立的球型摄像机坐标系中的坐标;
确定单元,用于确定所述特征点被选择时,球型摄像机根据所述特征点在球型摄像机坐标系中的坐标,转动到所述特征点所在位置。
所述球型摄像机中,所述第一转换单元在图像坐标系与预先建立的世界坐标系之间的映射关系时,具体用于:
以当前位置的图像中心为坐标原点,建立图像坐标系;
根据当前位置的球型摄像机转动的角度信息、设定的第一投影半径参数,确定图像坐标系与预先建立的世界坐标系之间的映射关系;
所述第二转换单元在确定预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系时,具体用于:
所述世界坐标系与所述球型摄像机坐标系不重合时,将世界坐标系的坐标原点转换到球型摄像机坐标系原点所在的位置,并且各个坐标轴的方向重合;
根据当前图像在转换后的世界坐标系中的曲面图像中每个像素点与预先建立的球型摄像机坐标系原点的连线投影到x轴所在的平面后,与该平面内的参考线的夹角以及投影到y轴所在的平面后,与该平面内的参考线的夹角,确定预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系;
所述世界坐标系与所述球型摄像机坐标系重合时,根据当前图像在世界坐标系中的曲面图像中每个像素点与预先建立的球型摄像机坐标系原点的连线投影到x轴所在的平面后,与该平面内的参考线的夹角以及投影到y轴所在的平面后,与该平面内的参考线的夹角,确定预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系
所述第三转换单元在确定预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射时,具体用于:
在预设的全景图像模板上,以全景图像模板的中心为坐标原点建立全景图像坐标系;
根据预设的第二投影半径参数、预先建立的全景图像坐标系的坐标原点,得到预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系。
所述球型摄像机中,所述第一转换单元具体用于:将当前位置的图像上任一像素点在图像坐标中的坐标映射为该像素点在世界坐标系中的坐标,计算方式如下:
x=pb*sin(th)*cos(fi)+ix*sin(fi)-iy*cos(th)*cos(fi)
y=pb*sin(th)*sin(fi)-ix*cos(fi)-iy*cos(th)*sin(fi)
z=pb*cos(th)+iy*sin(th)
其中,pb表示设定的第一投影半径参数,ix表示当前位置的图像中任一像素点在图像坐标系中的横坐标,iy表示当前位置的图像中任一像素点在图像坐标系中的纵坐标,th,fi分别表示球型摄像机在当前位置的转动角度对应的弧度,x、y、z分别表示当前位置的图像中任一像素点在世界坐标系中的坐标;
所述第二转换单元具体用于:所述世界坐标系与所述球型摄像机坐标系重合时,将当前位置的图像上任一像素点在世界坐标系中的坐标映射为该像素点在球型摄像机坐标系中的坐标,计算方式如下:
alpha = arctan ( x 2 + y 2 z )
lam = arctan ( y x )
其中,alpha表示当前位置的曲面图像中任一像素点与球型摄像机坐标系的坐标原点的连线投影到球型摄像机坐标系的x轴所在的平面后,与该平面内的参考线的夹角,lam表示当前位置的曲面图像中任一像素点与球型摄像机坐标系的坐标原点的连线投影到球型摄像机坐标系的y轴所在的平面后,与该平面内的参考线的夹角;
所述第三转换单元具体用于:将当前位置的图像上任一像素点在球型摄像机坐标系中的坐标映射为该像素点在全景图像坐标系中的坐标,计算方式如下:
r=pk*alpha
ox=r*cos(lam)+cx
oy=r*sin(lam)+cy
其中,ox、oy分别表示当前位置的图像中的任一像素点在全景图像坐标系中的横纵坐标,cx、cy分别表示全景图像坐标系中坐标原点的横纵坐标,pk表示设定的第二投影半径参数。
所述球型摄像机在转动过程中采用设定的曝光参数和设定的白平衡参数。
所述球型摄像机,还包括:
参数确定单元:用于球型摄像机按照设定规则进行多次转动之前,确定设定的曝光参数和设定的白平衡参数,所述参数确定单元具体用于:
球型摄像机按照设定规则连续转动,所述球型摄像在连续转动过程中自动调整曝光参数和白平衡参数;
获取球型摄像机在连续转动过程中采用的所有曝光参数和白平衡参数并保存;
确定获取的所有自动曝光参数的中间值为设定的曝光参数,确定获取的所有白平衡参数的中间值为设定的白平衡参数。
利用本发明提供的球型摄像机生成全景图像的方法及球型摄像机,具有以下有益效果:通过各个坐标系之间一一对应的坐标关系,可将球型摄像机获取的多图图像拼接为一幅全景图像,该全景图像可以为360全景图像,并且根据各个坐标系的坐标点之间具有一一对应的关系,能够控制球型摄像机转动,从而达到自动获取特定位置图像的目的。
附图说明
图1为本发明实施例提供的球型摄像机生成全景图像的方法流程图;
图2为本发明实施例提供的球型摄像机按照设定规则转动的流程图;
图3为本发明实施例提供的控制球型摄像机转动的方法示意图;
图4为本发明实施例提供的确定图像坐标系与预先建立的世界坐标系之间的映射关系的方式流程图;
图5为本发明实施例提供的确定预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系的方式流程图;
图6为本发明实施例提供的确定设定的曝光参数和设定的白平衡参数的方式流程图;
图7为本发明实施例提供的确定设定的曝光参数和设定的白平衡参数的优选实施过程;
图8为本发明实施例提供的球型摄像机采集到的图像;
图9为本发明实施例提供的拼接完成的全景图像;
图10为本发明实施例提供的球型摄像机示意图。
具体实施方式
下面结合附图和实施例对本发明提出的球型摄像机生成全景图像的方法进行更详细的说明。
本发明提供的一种球型摄像机生成全景图像的方法,如图1所示,包括:
步骤101,球型摄像机按照设定规则进行多次转动,每完成一次转动,采集当前位置的图像,其中,所述球型摄像机按照设定规则进行多次转动为:球型摄像机在两个垂直平面内以设定转动方向和设定转动步长,在设定的角度范围内进行多次转动。
具体的,球型摄像机每转动一次就暂停设定时间,并采集其转动到当前位置的图像,这样可以保证采集到清晰的图像。
步骤102,根据图像坐标系与预先建立的世界坐标系之间的映射关系,将当前位置的图像上每个像素点映射到预先建立的世界坐标系中,得到该图像在世界坐标系中的曲面图像;
具体的,每采集一幅图像,就以当前图像上的设定点为坐标原点,以当前图像所在平面的水平方向和垂直方向分别作为图像坐标系的横轴和纵轴,建立图像坐标系(该坐标系为二维平面坐标系),这样图像上每个像素点在图像坐标系中的位置就能确定。优选地,以当前位置采集到的图像的中心点为图像坐标系的坐标原点。
世界坐标系在本发明实施例中是预先建立,具体的,可以在真实空间中选择任一点作为世界坐标系的坐标原点,建立立体空间坐标系,即世界坐标系。
根据图像坐标系与预先建立的世界坐标系之间的映射关系,将当前位置采集到的图像上每个像素点在图像坐标系中的坐标转换为该图像上每个像素点在世界坐标系中的坐标,即,将当前位置的图像上每个像素点映射到预先建立的世界坐标系中,从而得到该图像在世界坐标系中的曲面图像。该曲面图像为平面图像在世界坐标系中的立体曲面图像。
步骤103,根据预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系,将当前位置的图像上每个像素点映射到球型摄像机坐标系中,得到该图像在球型摄像机坐标系中的曲面图像,其中,预先建立的球型摄像机坐标系的坐标原点为球型摄像机转动的中心,该坐标系的x轴和y轴分别在所述两个垂直平面内,z轴与所述x轴和y轴垂直,该坐标系中任一点的x轴坐标为该点与球心的连线投影到x轴所在的平面后,与该平面内的参考线的夹角,y轴坐标为该点与球心的连线投影到y轴所在的平面后,与该平面内的参考线的夹角,z轴坐标为设定半径。
本发明实施例中根据球型摄像机可以转动的特点将球型摄像机坐标系定义为:以球型摄像机转动的中心点为坐标原点,该坐标系的x轴和y轴分别在所述两个垂直平面内,z轴与所述x轴和y轴垂直,该坐标系中任一点的x轴坐标为该点与球心的连线投影到x轴所在的平面后,与该平面内的参考线的夹角,y轴坐标为该点与球心的连线投影到y轴所在的平面后,与该平面内的参考线的夹角,z轴坐标为设定半径。
本发明实施例将当前位置的图像中每个像素点在世界坐标系中的坐标转换为每个像素点在球型摄像机坐标系中的坐标,从而得到该图像在球型摄像机坐标系中的曲面图像。具体的,根据预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系,将当前位置采集到的图像上每个像素点在预先建立的世界坐标系中的坐标转换为该图像上每个像素点在预先建立的球型摄像机坐标系中的坐标,即,将当前位置的图像上每个像素点映射到预先建立的球型摄像机坐标系中,从而得到该图像在预先建立的球型摄像机坐标系中的曲面图像。
步骤104,根据预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系,将当前位置的图像上每个像素点映射到全景图像坐标系中,得到该图像在全景图像坐标系中的平面图像。
具体的,预先设定一个全景图像模板,以全景图像模板的中心点为坐标原点,以全景图像模板所在平面的水平方向和垂直方向分别作为预先建立的全景图像坐标系的横轴和纵轴,建立全景图像坐标系。
根据预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系,将当前位置的图像上每个像素点在球型摄像机坐标系中的坐标转换为每个像素点在预先建立的全景图像坐标系中的坐标,即,将当前位置的图像上每个像素点映射到全景图像坐标系中,从而得到该图像在全景图像坐标系中的平面图像。
步骤105,根据当前位置的图像在全景图像坐标系中的平面图像,进行全景图像的拼接。
具体的,将球型摄像机每转动一次,根据当前采集的图像进行全景图像的拼接,直到摄像机按照设定规则完成转动,完成对全景图像坐标系中,从而得到最终的全景图像。优选地,每根据一幅图像进行全进图像拼接之后,将该幅图像删除,这样可以在一定程度上提高处理速率并节省空间
利用本发明实施例可以得到拼接的全景图像,其拼接的精度依赖与球型摄像机本身的精度,为了进一步提高拼接精度,优选地,完成全景图像的拼接之后,采用基于特征点的配准方案对本发明实施例拼接的全景图像进行微拼接调节。进行微拼接调节的过程为:提取已拼接的全景图像的特征点;提取当前当前投影图像的特征点;采用此案有的配准方法进行图像配准。具体调节的实施方式为现有技术,这里不再赘述。
基于上述实施例,具体的,按照设定规则进行多次转动的优选实施方式,如图2所示,包括:
步骤201,球型摄像机在设定的坐标原点,从设定初始位置开始,在第一平面内以设定第一步长和设定第一方向转动。
步骤202,完成在第一平面内的设定角度范围的转动时,球型摄像机在第二平面内以设定第二步长和设定第二方向转动,其中,在第二平面内每转动一次后,球型摄像机重新在第一平面内以设定第一步长和设定第一方向转动,当完成在第一平面内的设定角度范围的转动时,球型摄像机继续在第二平面内以设定第二步长和设定第二方向转动,以此类推,直到球型摄像机完成在第二平面内的设定角度范围的转动,所述第一平面与所述第二平面相互垂直。
球型摄像机在拍摄当前位置的图像时,摄像机的光轴与图像所在的平面垂直,光轴与图像平面的交点为图像的中心点。此时图像中心点与球型摄像机坐标系原点的连线分别投影到球型摄像机坐标系的不同平面(即第一平面和第二平面)后,与设定的参考线的夹角为球型摄像机在当前位置相对于初始位置在不同平面的转动的角度(即球型摄像机的光轴相对于设定初始位置的在不同平面的转动角度)。
具体的,球型摄像机每在一个平面内按照设定步长转动一次,就采集球型摄像机转动到对应位置的图像,即,采集球型摄像机在当前位置的图像。
在该优选的实施方式中,设定的坐标原点优选为实际应用中固定球型摄像机的点,即,球型摄像机转动时的中心点;第一平面优选为水平面,第二平面与第一平面垂直;设定的初始位置优选为球型摄像机的光轴垂直水平面的位置;其中,设定第一步长与设定第二步长可以相同也可以不同。优选地,设定第一步长和设定第二步长相同,可以但不限定于20度。
当然,球型摄像机在第一平面或者第二平面没转动一次也可采用不同的转动步长,比如球型摄像机在第一平面第一次转动的步长采用10度,在第一平面第二次的转动步长采用20度。
第一平面内的设定角度范围和第二平面内的设定角度范围可以相同,也可以设置为不同的值。优选地,球型摄像机在第一平面内的设定角度范围为360度,在第二平面内的设定角度范围为180度(当设定的初始位置为球型摄像机的光轴垂直水平面的位置时,球型摄像机在第二平面内的设定角度范围为-90度-90度)。
利用上述实施例,可以对任何场景进行图像的拼接,并且可以得到360的全景图像。并且,本发明实施例可以得到全景图像坐标与球型摄像机坐标之间的转换关系,利用该关系,在全景图像拼接完成之后,如图3所示,还包括:
步骤301,在全景图像上设置特征点,根据预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系,将所述特征点在预先建立的全景图像坐标系中的坐标转换为预先建立的球型摄像机坐标系中的坐标。
步骤302,确定所述特征点被选择时,球型摄像机根据所述特征点在球型摄像机坐标系中的坐标,转动到所述特征点所在位置。
具体的,在拼接好的全景图像的特定位置上设置特征点,当该特征点被选择时,球型摄像机自动转动到该特征点在球型摄像机坐标系中对应的球型摄像机在不同平面内的转动角度,转动后,球型摄像机采集到的图像中包括该特征点对应的特定位置的图像。
本发明实施例利用全景图像与球型摄像机中的曲面图像之间的坐标关联关系,通过在全景图像上设置特征点来控制球型摄像机转动到指定位置。
基于上述各实施例,采用如图4所示的方式确定图像坐标系与预先建立的世界坐标系之间的映射关系:
步骤401,以当前位置的图像中心为坐标原点,建立图像坐标系。
具体的,以当前位置的图像中心为坐标原点,以该图像所在的平面上的水平方向和垂直方向作为图像坐标系的横轴和纵轴,建立图像坐标系。
步骤402,根据当前位置的球型摄像机转动的角度信息、设定的第一投影半径参数,确定图像坐标系与预先建立的世界坐标系之间的映射关系。
具体的,球型摄像机按照设定规则转动时,每转动一次,球型摄像机在当前位置相对于初始位置在第一平面内的夹角和在第二平面内的夹角即球型摄像机转动的角度信息,设定的第一投影半径参数体现的是将当前位置的图像从图像坐标系中映射到世界坐标系后,该图像在世界坐标系统的曲面图像是否清晰,这个参数关系到最后拼接的全景图像的清晰度,该第一投影半径参数的具体取值由仿真实验得出,这里不做限定。
优选地,将当前位置的图像上任一像素点在图像坐标中的坐标映射为该像素点在世界坐标系中的坐标,计算方式如下:
x=pb*sin(th)*cos(fi)+ix*sin(fi)-iy*cos(th)*cos(fi)
y=pb*sin(th)*sin(fi)-ix*cos(fi)-iy*cos(th)*sin(fi)
z=pb*cos(th)+iy*sin(th)
其中,pb表示设定的第一投影半径参数,ix表示当前位置的图像中任一像素点在图像坐标系中的横坐标,iy表示当前位置的图像中任一像素点在图像坐标系中的纵坐标,th,fi分别表示球型摄像机在当前位置相对于初始位置在第二平面和第一平面内转动的角度对应的弧度,x、y、z分别表示当前位置的图像中任一像素点在世界坐标系中的坐标。
其中,计算x、y、z的方式由图像坐标系与预先建立的世界坐标系之间的映射关系得到,该映射关系对应的公式是有由现有公式推导得出的,根据现有公式还可能会推导出其它映射关系,本发明实施例只是提供了一种优选地实施方式。
采用如下方式确定预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系:
所述世界坐标系与所述球型摄像机坐标系不重合时,将世界坐标系的坐标原点转换到球型摄像机坐标系原点所在的位置,并且各个坐标轴的方向重合;根据当前图像在转换后的世界坐标系中的曲面图像中每个像素点与预先建立的球型摄像机坐标系原点的连线投影到x轴所在的平面后,与该平面内的参考线的夹角以及投影到y轴所在的平面后,与该平面内的参考线的夹角,确定预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系。
其中,将世界坐标系的坐标原点转换到球型摄像机坐标系原点所在的位置所利用的转换方式为现有的方式这里不再赘述。
世界坐标系与球型摄像机坐标系重合时,当前图像在世界坐标系中的曲面图像中每个像素点与预先建立的球型摄像机坐标系原点的连线投影到x轴所在的平面后,与该平面内的参考线的夹角以及投影到y轴所在的平面后,与该平面内的参考线的夹角,确定预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系。
世界坐标系与所述球型摄像机坐标系重合时,将当前位置的图像上任一像素点在世界坐标系中的坐标映射为该像素点在球型摄像机坐标系中的坐标,计算方式如下:
alpha = arctan ( x 2 + y 2 z )
lam = arctan ( y x )
alpha表示表示当前位置的曲面图像中任一像素点与球型摄像机坐标系的坐标原点的连线投影到球型摄像机坐标系的x轴所在的平面后,与该平面内的参考线的夹角;lam表示当前位置的曲面图像中任一像素点与球型摄像机坐标系的坐标原点的连线投影到球型摄像机坐标系的y轴所在的平面后,与该平面内的参考线的夹角。如果世界坐标系与球型摄像机坐标系不重合时,该计算方式中的x、y、z为将世界坐标系的坐标原点转换到球型摄像机坐标系的坐标原点所在的位置之后的坐标。
该计算方式为预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系,本发明实施例中利用摄像机在不同平面的转动角度描述图像中每个像素点在球型摄像机坐标系中的具体位置。
在世界坐标系与所述球型摄像机坐标系重合时,采用如图5所示的方式确定预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系:
步骤501,在预设的全景图像模板上,以全景图像模板的中心为坐标原点建立全景图像坐标系。
具体的,以全景图像模板的中心为坐标原点,以该图像所在的平面上的水平方向和垂直方向作为全景图像坐标系的横轴和纵轴,建立全景图像坐标系。
步骤502,根据预设的第二投影半径参数、预先建立的全景图像坐标系的坐标原点,得到预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系。
其中,第二投影半径参数反映了球型摄像机坐标系中的曲面图像映射到全景图像坐标系之后,该图像放大的倍数。
将当前位置的图像上任一像素点在球型摄像机坐标系中的坐标映射为该像素点在全景图像坐标系中的坐标,计算方式如下:
r=pk*alpha
ox=r*cos(lam)+cx
oy=r*sin(lam)+cy
其中,ox、oy分别表示当前位置的图像中的任一像素点在全景图像坐标系中的横、纵坐标,cx、cy分别表示全景图像坐标系中坐标原点的横纵坐标,pk表示设定的第二投影半径参数。
其中,r表示当前位置的图像中的任一像素点映射到全景图像坐标系中时,对应的映射半径的大小,r的最大值就是最后拼接成的全景图像对应的最大半径值。
基于图3提供的实施例,在世界坐标系与所述球型摄像机坐标系重合时,将平面图像坐标系中特征点对应的每个像素点在全景图像坐标系中的坐标映射为其在球型摄像机坐标系的坐标,具体计算方式如下:
ax = arctan ( y - cy x - cx )
ay = ( x - cx ) 2 + ( y - cy ) 2 r max * 90
其中,ax、ay分别表示特征点对应球型摄像机在第一平面内的转动角度和第二平面内的转动角度;rmax表示拼接后的全景图像对应的半径。
基于上述实施例,在进行球面全景图像的拼接之前,为了保证球型摄像机采集到的图像足够清晰、稳定,球型摄像机在转动过程中采用设定的曝光参数和设定的白平衡参数。具体的,球型摄像机按照设定规则进行多次转动之前,确定设定的曝光参数和设定的白平衡参数,如图6所示,具体包括:
步骤601,球型摄像机按照设定规则连续转动,球型摄像在连续转动过程中自动调整曝光参数和白平衡参数。
具体的,在确定曝光参数和白平衡参数时,球型摄像机不需要在转动过程中暂停转动,而是连续转动获取自动白平衡参数和曝光参数,当然,如果球型摄像机转动一次暂停设定时间也是可行的。
步骤602,获取球型摄像机在连续转动过程中采用的所有曝光参数和白平衡参数并保存。
球型摄像机在转动过程中,会获取多个自动曝光参数和自动白平衡参数,获取这些参数之后并保存。
步骤603,确定获取的所有自动曝光参数的中间值为设定的曝光参数,确定获取的所有白平衡参数的中间值为设定的白平衡参数。
当然,也可将上述自动曝光参数的平均值和自动白平衡参数的平均值,分别作为球型摄像机所采用的设定的曝光参数和设定的白平衡参数。也可采用给其它方式确定球型摄像机所采用的设定的曝光参数和设定的白平衡参数。这里不做限定。
下面举例说明本发明实施例提供的球型摄像机生成全景图像的方法的具体实施过程,其中,世界坐标系与球型摄像机坐标系重合,如图7所示:
步骤701,球型摄像机采用设定的曝光参数和白平衡参数按照设定进行多次转动,完成一次转动后采集当前位置的平面图像。
具体的,球型摄像机转动一次采集到的平面图像如图8所示。图8中只给出了用于进行全景图像拼接的其中一幅平面图像,实际应用中不止应用一幅图像进行全景图像的拼接。
步骤702,以当前位置的平面图像的中心为坐标原点,以当前图像所在平面的水平方向和垂直方向分别作为图像坐标系的横轴和纵轴,建立图像坐标系,,并记录当前位置球型摄像机在第一平面和第二平面内相对于设定的参考线转动的总角度,分别记为ax、ay。
步骤703,将ax、ay对应的角度转换为弧度,分别记为fi、th。
其中,角度转换为弧度的计算公式为现有公式,这里不再赘述。
步骤704,根据图像坐标系到预先建立的世界坐标系的转换公式,得到当前位置采集到的图像在世界坐标系中的曲面图像。
步骤705,根据预先建立的世界坐标系到预先建立的球型摄像机坐标系的转换公式,得到当前位置采集到的图像在球型摄像机坐标系中的曲面图像。
其中,球型摄像机坐标系中的坐标点是由球型摄像机在第一平面和第二平面内的转动角度组成的,具体的,如果球型摄像机的光轴在当前位置与初始位置的夹角在第一平面内为ax,在第二平面内为ay,则,(ax,ay)为球型摄像机坐标系中的一个坐标点。
步骤706,根据预先建立的球型摄像机坐标系到预先建立的全景图像坐标系的转换公式,得到当前位置采集到的图像在全景图像坐标系中的平面图像。
步骤707,当前位置采集到的图像在全景图像坐标系中的平面图像,进行球面全景图像的拼接。
具体的,球型摄像机按照设定规则转动完成之后,得到的全景图像如图9所示。
本发明实施例还提供了一种球型摄像机,如图10所示,包括:
采集单元1001,用于按照设定规则进行多次转动,每完成一次转动,采集当前位置的图像,其中,所述球型摄像机按照设定规则进行多次转动为:球型摄像机在两个垂直平面内以设定转动方向和设定转动步长,在设定的角度范围内进行多次转动;
第一转换单元1002,用于根据图像坐标系与预先建立的世界坐标系之间的映射关系,将当前位置的图像上每个像素点映射到预先建立的世界坐标系中,得到该图像在世界坐标系中的曲面图像;
第二转换单元1003,用于根据预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系,将当前位置的图像上每个像素点映射到球型摄像机坐标系中,得到该图像在球型摄像机坐标系中的曲面图像,其中,预先建立的球型摄像机坐标系的坐标原点为球型摄像机转动的中心,该坐标系的x轴和y轴分别在所述两个垂直平面内,z轴与所述x轴和y轴垂直,该坐标系中任一点的x轴坐标为该点与球心的连线投影到x轴所在的平面后,与该平面内的参考线的夹角,y轴坐标为该点与球心的连线投影到y轴所在的平面后,与该平面内的参考线的夹角,z轴坐标为设定半径;
第三转换单元1004,用于根据预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系,将当前位置的图像上每个像素点映射到全景图像坐标系中,得到该图像在全景图像坐标系中的平面图像;
拼接单元1005,用于根据当前位置的图像在全景图像坐标系中的平面图像,进行全景图像的拼接。
所述球型摄像机中,所述采集单元具体用于:
球型摄像机在设定的坐标原点,从设定初始位置开始,在第一平面内以设定第一步长和设定第一方向转动;
当完成在第一平面内的设定角度范围的转动时,球型摄像机在第二平面内以设定第二步长和设定第二方向转动,其中,在第二平面内每转动一次后,球型摄像机重新在第一平面内以设定第一步长和设定第一方向转动,当完成在第一平面内的设定角度范围的转动时,球型摄像机继续在第二平面内以设定第二步长和设定第二方向转动,直到球型摄像机完成在第二平面内的设定角度范围的转动,所述第一平面与所述第二平面相互垂直。
所述球型摄像机,还包括:
设置单元1006,用于全景图像拼接完成之后,在全景图像上设置特征点,根据预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系,将所述特征点在预先建立的全景图像坐标系中的坐标转换为预先建立的球型摄像机坐标系中的坐标;
确定单元1007,用于确定所述特征点被选择时,球型摄像机根据所述特征点在球型摄像机坐标系中的坐标,转动到所述特征点所在位置。
所述球型摄像机中,所述第一转换单元在图像坐标系与预先建立的世界坐标系之间的映射关系时,具体用于:
以当前位置的图像中心为坐标原点,建立图像坐标系;
根据当前位置的球型摄像机转动的角度信息、设定的第一投影半径参数,确定图像坐标系与预先建立的世界坐标系之间的映射关系;
所述第二转换单元在确定预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系时,具体用于:
所述世界坐标系与所述球型摄像机坐标系不重合时,将世界坐标系的坐标原点转换到球型摄像机坐标系原点所在的位置,并且各个坐标轴的方向重合;
根据当前图像在转换后的世界坐标系中的曲面图像中每个像素点与预先建立的球型摄像机坐标系原点的连线投影到x轴所在的平面后,与该平面内的参考线的夹角以及投影到y轴所在的平面后,与该平面内的参考线的夹角,确定预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系;
所述世界坐标系与所述球型摄像机坐标系重合时,根据当前图像在世界坐标系中的曲面图像中每个像素点与预先建立的球型摄像机坐标系原点的连线投影到x轴所在的平面后,与该平面内的参考线的夹角以及投影到y轴所在的平面后,与该平面内的参考线的夹角,确定预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系;
所述第三转换单元在确定预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射时,具体用于:
在预设的全景图像模板上,以全景图像模板的中心为坐标原点建立全景图像坐标系;
根据预设的第二投影半径参数、预先建立的全景图像坐标系的坐标原点,得到预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系。
所述球型摄像机中,所述第一转换单元具体用于:将当前位置的图像上任一像素点在图像坐标中的坐标映射为该像素点在世界坐标系中的坐标,计算方式如下:
x=pb*sin(th)*cos(fi)+ix*sin(fi)-iy*cos(th)*cos(fi)
y=pb*sin(th)*sin(fi)-ix*cos(fi)-iy*cos(th)*sin(fi)
z=pb*cos(th)+iy*sin(th)
其中,pb表示设定的第一投影半径参数,ix表示当前位置的图像中任一像素点在图像坐标系中的横坐标,iy表示当前位置的图像中任一像素点在图像坐标系中的纵坐标,th,fi分别表示球型摄像机在当前位置的转动角度对应的弧度,x、y、z分别表示当前位置的图像中任一像素点在世界坐标系中的坐标;
所述第二转换单元具体用于:所述世界坐标系与所述球型摄像机坐标系重合时,将当前位置的图像上任一像素点在世界坐标系中的坐标映射为该像素点在球型摄像机坐标系中的坐标,计算方式如下:
alpha = arctan ( x 2 + y 2 z )
lam = arctan ( y x )
其中,alpha表示当前位置的曲面图像中任一像素点与球型摄像机坐标系的坐标原点的连线投影到球型摄像机坐标系的x轴所在的平面后,与该平面内的参考线的夹角,lam表示当前位置的曲面图像中任一像素点与球型摄像机坐标系原点的连线投影到球型摄像机坐标系的y轴所在的平面后,与该平面内的参考线的夹角;
所述第三转换单元具体用于:将当前位置的图像上任一像素点在球型摄像机坐标系中的坐标映射为该像素点在全景图像坐标系中的坐标,计算方式如下:
r=pk*alpha
ox=r*cos(lam)+cx
oy=r*sin(lam)+cy
其中,ox、oy分别表示当前位置的图像中的任一像素点在全景图像坐标系中的横纵坐标,cx、cy分别表示全景图像坐标系中坐标原点的横纵坐标,pk表示设定的第二投影半径参数。
所述球型摄像机在转动过程中采用设定的曝光参数和设定的白平衡参数。
所述球型摄像机,还包括:
参数确定单元1008:用于球型摄像机按照设定规则进行多次转动之前,确定设定的曝光参数和设定的白平衡参数,所述参数确定单元具体用于:
球型摄像机按照设定规则连续转动,所述球型摄像在连续转动过程中自动调整曝光参数和白平衡参数;
获取球型摄像机在连续转动过程中采用的所有曝光参数和白平衡参数并保存;
确定获取的所有自动曝光参数的中间值为设定的曝光参数,确定获取的所有白平衡参数的中间值为设定的白平衡参数。
利用本发明提供的球型摄像机生成全景图像的方法级球型摄像机,具有以下有益效果:通过各个坐标系之间一一对应的坐标关系,可将球型摄像机获取的多图图像拼接为一幅全景图像,该全景图像可以为360全景图像,并且根据各个坐标系的坐标点之间具有一一对应的关系,能够控制球型摄像机转动,从而达到自动获取特定位置图像的目的。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种球型摄像机生成全景图像的方法,其特征在于,包括:
球型摄像机按照设定规则进行多次转动,每完成一次转动,采集当前位置的图像,其中,所述球型摄像机按照设定规则进行多次转动为:球型摄像机在两个垂直平面内以设定转动方向和设定转动步长,在设定的角度范围内进行多次转动;
根据图像坐标系与预先建立的世界坐标系之间的映射关系,将当前位置的图像上每个像素点映射到预先建立的世界坐标系中,得到该图像在世界坐标系中的曲面图像;
根据预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系,将当前位置的图像上每个像素点映射到球型摄像机坐标系中,得到该图像在球型摄像机坐标系中的曲面图像,其中,预先建立的球型摄像机坐标系的坐标原点为球型摄像机转动的中心,该坐标系的x轴和y轴分别在所述两个垂直平面内,z轴与所述x轴和y轴垂直,该坐标系中任一点的x轴坐标为该点与球心的连线投影到x轴所在的平面后,与该平面内的参考线的夹角,y轴坐标为该点与球心的连线投影到y轴所在的平面后,与该平面内的参考线的夹角,z轴坐标为设定半径;
根据预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系,将当前位置的图像上每个像素点映射到全景图像坐标系中,得到该图像在全景图像坐标系中的平面图像;
根据当前位置的图像在全景图像坐标系中的平面图像,进行全景图像的拼接。
2.如权利要求1所述的方法,其特征在于,按照设定规则进行多次转动,具体包括:
球型摄像机在设定的坐标原点,从设定初始位置开始,在第一平面内以设定第一步长和设定第一方向转动;
当完成在第一平面内的设定角度范围的转动时,球型摄像机在第二平面内以设定第二步长和设定第二方向转动,其中,在第二平面内每转动一次后,球型摄像机重新在第一平面内以设定第一步长和设定第一方向转动,当完成在第一平面内的设定角度范围的转动时,球型摄像机继续在第二平面内以设定第二步长和设定第二方向转动,直到球型摄像机完成在第二平面内的设定角度范围的转动,所述第一平面与所述第二平面相互垂直。
3.如权利要求1所述的方法,其特征在于,全景图像拼接完成之后,还包括:
在全景图像上设置特征点,根据预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系,将所述特征点在预先建立的全景图像坐标系中的坐标转换为预先建立的球型摄像机坐标系中的坐标;
确定所述特征点被选择时,球型摄像机根据所述特征点在球型摄像机坐标系中的坐标,转动到所述特征点所在位置。
4.如权利要求1-3任一所述的方法,其特征在于,所述图像坐标系与预先建立的世界坐标系之间的映射关系采用如下方式确定:
以当前位置的图像中心为坐标原点,建立图像坐标系;
根据当前位置的球型摄像机转动的角度信息、设定的第一投影半径参数,确定图像坐标系与预先建立的世界坐标系之间的映射关系;
所述预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系采用如下方式确定:
所述世界坐标系与所述球型摄像机坐标系不重合时,将世界坐标系的坐标原点转换到球型摄像机坐标系原点所在的位置,并且各个坐标轴的方向重合;
根据当前图像在转换后的世界坐标系中的曲面图像中每个像素点与预先建立的球型摄像机坐标系原点的连线投影到x轴所在的平面后,与该平面内的参考线的夹角以及投影到y轴所在的平面后,与该平面内的参考线的夹角,确定预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系;
所述世界坐标系与所述球型摄像机坐标系重合时,根据当前图像在世界坐标系中的曲面图像中每个像素点与预先建立的球型摄像机坐标系原点的连线投影到x轴所在的平面后,与该平面内的参考线的夹角以及投影到y轴所在的平面后,与该平面内的参考线的夹角,确定预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系;
所述预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系采用如下方式确定:
在预设的全景图像模板上,以全景图像模板的中心为坐标原点建立全景图像坐标系;
根据预设的第二投影半径参数、预先建立的全景图像坐标系的坐标原点,得到预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系。
5.如权利要求4所述的方法,其特征在于,将当前位置的图像上任一像素点在图像坐标中的坐标映射为该像素点在世界坐标系中的坐标,计算方式如下:
x=pb*sin(th)*cos(fi)+ix*sin(fi)-iy*cos(th)*cos(fi)
y=pb*sin(th)*sin(fi)-ix*cos(fi)-iy*cos(th)*sin(fi)
z=pb*cos(th)+iy*sin(th)
其中,pb表示设定的第一投影半径参数,ix表示当前位置的图像中任一像素点在图像坐标系中的横坐标,iy表示当前位置的图像中任一像素点在图像坐标系中的纵坐标,th,fi分别表示球型摄像机在当前位置的转动角度对应的弧度,x、y、z分别表示当前位置的图像中任一像素点在世界坐标系中的坐标;
所述世界坐标系与所述球型摄像机坐标系重合时,将当前位置的图像上任一像素点在世界坐标系中的坐标映射为该像素点在球型摄像机坐标系中的坐标,计算方式如下:
alpha = arc tan ( x 2 + y 2 z )
lam = arc tan ( y x )
其中,alpha表示当前位置的曲面图像中任一像素点与球型摄像机坐标系的坐标原点的连线投影到球型摄像机坐标系的x轴所在的平面后,与该平面内的参考线的夹角,lam表示当前位置的曲面图像中任一像素点与球型摄像机坐标系的坐标原点的连线投影到球型摄像机坐标系的y轴所在的平面后,与该平面内的参考线的夹角;
将当前位置的图像上任一像素点在球型摄像机坐标系中的坐标映射为该像素点在全景图像坐标系中的坐标,计算方式如下:
r=pk*alpha
ox=r*cos(lam)+cx
oy=r*sin(lam)+cy
其中,ox、oy分别表示当前位置的图像中的任一像素点在全景图像坐标系中的横纵坐标,cx、cy分别表示全景图像坐标系中坐标原点的横纵坐标,pk表示设定的第二投影半径参数。
6.如权利要求1所述的方法,其特征在于,所述球型摄像机在转动过程中采用设定的曝光参数和设定的白平衡参数。
7.如权利要求6所述的方法,其特征在于,球型摄像机按照设定规则进行多次转动之前,确定设定的曝光参数和设定的白平衡参数,具体包括:
球型摄像机按照设定规则连续转动,所述球型摄像在连续转动过程中自动调整曝光参数和白平衡参数;
获取球型摄像机在连续转动过程中采用的所有曝光参数和白平衡参数并保存;
确定获取的所有自动曝光参数的中间值为设定的曝光参数,确定获取的所有白平衡参数的中间值为设定的白平衡参数。
8.一种球型摄像机,其特征在于,包括:
采集单元,用于按照设定规则进行多次转动,每完成一次转动,采集当前位置的图像,其中,所述球型摄像机按照设定规则进行多次转动为:球型摄像机在两个垂直平面内以设定转动方向和设定转动步长,在设定的角度范围内进行多次转动;
第一转换单元,用于根据图像坐标系与预先建立的世界坐标系之间的映射关系,将当前位置的图像上每个像素点映射到预先建立的世界坐标系中,得到该图像在世界坐标系中的曲面图像;
第二转换单元,用于根据预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系,将当前位置的图像上每个像素点映射到球型摄像机坐标系中,得到该图像在球型摄像机坐标系中的曲面图像,其中,预先建立的球型摄像机坐标系的坐标原点为球型摄像机转动的中心,该坐标系的x轴和y轴分别在所述两个垂直平面内,z轴与所述x轴和y轴垂直,该坐标系中任一点的x轴坐标为该点与球心的连线投影到x轴所在的平面后,与该平面内的参考线的夹角,y轴坐标为该点与球心的连线投影到y轴所在的平面后,与该平面内的参考线的夹角,z轴坐标为设定半径;
第三转换单元,用于根据预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系,将当前位置的图像上每个像素点映射到全景图像坐标系中,得到该图像在全景图像坐标系中的平面图像;
拼接单元,用于根据当前位置的图像在全景图像坐标系中的平面图像,进行全景图像的拼接。
9.如权利要求8所述的摄像机,其特征在于,所述采集单元具体用于:
球型摄像机在设定的坐标原点,从设定初始位置开始,在第一平面内以设定第一步长和设定第一方向转动;
当完成在第一平面内的设定角度范围的转动时,球型摄像机在第二平面内以设定第二步长和设定第二方向转动,其中,在第二平面内每转动一次后,球型摄像机重新在第一平面内以设定第一步长和设定第一方向转动,当完成在第一平面内的设定角度范围的转动时,球型摄像机继续在第二平面内以设定第二步长和设定第二方向转动,直到球型摄像机完成在第二平面内的设定角度范围的转动,所述第一平面与所述第二平面相互垂直。
10.如权利要求8所述的摄像机,其特征在于,还包括:
设置单元,用于全景图像拼接完成之后,在全景图像上设置特征点,根据预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系,将所述特征点在预先建立的全景图像坐标系中的坐标转换为预先建立的球型摄像机坐标系中的坐标;
确定单元,用于确定所述特征点被选择时,球型摄像机根据所述特征点在球型摄像机坐标系中的坐标,转动到所述特征点所在位置。
11.如权利要求8-10任一所述的摄像机,其特征在于,所述第一转换单元在图像坐标系与预先建立的世界坐标系之间的映射关系时,具体用于:
以当前位置的图像中心为坐标原点,建立图像坐标系;
根据当前位置的球型摄像机转动的角度信息、设定的第一投影半径参数,确定图像坐标系与预先建立的世界坐标系之间的映射关系;
所述第二转换单元在确定预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系时,具体用于:
所述世界坐标系与所述球型摄像机坐标系不重合时,将世界坐标系的坐标原点转换到球型摄像机坐标系原点所在的位置,并且各个坐标轴的方向重合;
根据当前图像在转换后的世界坐标系中的曲面图像中每个像素点与预先建立的球型摄像机坐标系原点的连线投影到x轴所在的平面后,与该平面内的参考线的夹角以及投影到y轴所在的平面后,与该平面内的参考线的夹角,确定预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系;
所述世界坐标系与所述球型摄像机坐标系重合时,根据当前图像在世界坐标系中的曲面图像中每个像素点与预先建立的球型摄像机坐标系原点的连线投影到x轴所在的平面后,与该平面内的参考线的夹角以及投影到y轴所在的平面后,与该平面内的参考线的夹角,确定预先建立的世界坐标系与预先建立的球型摄像机坐标系之间的映射关系;
所述第三转换单元在确定预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射时,具体用于:
在预设的全景图像模板上,以全景图像模板的中心为坐标原点建立全景图像坐标系;
根据预设的第二投影半径参数、预先建立的全景图像坐标系的坐标原点,得到预先建立的球型摄像机坐标系与预先建立的全景图像坐标系之间的映射关系。
12.如权利要求11所述的摄像机,其特征在于,所述第一转换单元具体用于:将当前位置的图像上任一像素点在图像坐标中的坐标映射为该像素点在世界坐标系中的坐标,计算方式如下:
x=pb*sin(th)*cos(fi)+ix*sin(fi)-iy*cos(th)*cos(fi)
y=pb*sin(th)*sin(fi)-ix*cos(fi)-iy*cos(th)*sin(fi)
z=pb*cos(th)+iy*sin(th)
其中,pb表示设定的第一投影半径参数,ix表示当前位置的图像中任一像素点在图像坐标系中的横坐标,iy表示当前位置的图像中任一像素点在图像坐标系中的纵坐标,th,fi分别表示球型摄像机在当前位置的转动角度对应的弧度,x、y、z分别表示当前位置的图像中任一像素点在世界坐标系中的坐标;
所述第二转换单元具体用于:所述世界坐标系与所述球型摄像机坐标系重合时,将当前位置的图像上任一像素点在世界坐标系中的坐标映射为该像素点在球型摄像机坐标系中的坐标,计算方式如下:
alpha = arc tan ( x 2 + y 2 z )
lam = arc tan ( y x )
其中,alpha表示当前位置的曲面图像中任一像素点与球型摄像机坐标系的坐标原点的连线投影到球型摄像机坐标系的x轴所在的平面后,与该平面内的参考线的夹角,lam表示当前位置的曲面图像中任一像素点与球型摄像机坐标系原点的连线投影到球型摄像机坐标系的y轴所在的平面后,与该平面内的参考线的夹角;
所述第三转换单元具体用于:将当前位置的图像上任一像素点在球型摄像机坐标系中的坐标映射为该像素点在全景图像坐标系中的坐标,计算方式如下:
r=pk*alpha
ox=r*cos(lam)+cx
oy=r*sin(lam)+cy
其中,ox、oy分别表示当前位置的图像中的任一像素点在全景图像坐标系中的横纵坐标,cx、cy分别表示全景图像坐标系中坐标原点的横纵坐标,pk表示设定的第二投影半径参数。
13.如权利要求8所述的摄像机,其特征在于,所述球型摄像机在转动过程中采用设定的曝光参数和设定的白平衡参数。
14.如权利要求13所述的摄像机,其特征在于,还包括:
参数确定单元:用于球型摄像机按照设定规则进行多次转动之前,确定设定的曝光参数和设定的白平衡参数,所述参数确定单元具体用于:
球型摄像机按照设定规则连续转动,所述球型摄像在连续转动过程中自动调整曝光参数和白平衡参数;
获取球型摄像机在连续转动过程中采用的所有曝光参数和白平衡参数并保存;
确定获取的所有自动曝光参数的中间值为设定的曝光参数,确定获取的所有白平衡参数的中间值为设定的白平衡参数。
CN201410594316.8A 2014-10-29 2014-10-29 一种球型摄像机生成全景图像的方法及球型摄像机 Active CN105635551B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410594316.8A CN105635551B (zh) 2014-10-29 2014-10-29 一种球型摄像机生成全景图像的方法及球型摄像机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410594316.8A CN105635551B (zh) 2014-10-29 2014-10-29 一种球型摄像机生成全景图像的方法及球型摄像机

Publications (2)

Publication Number Publication Date
CN105635551A true CN105635551A (zh) 2016-06-01
CN105635551B CN105635551B (zh) 2019-03-26

Family

ID=56050001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410594316.8A Active CN105635551B (zh) 2014-10-29 2014-10-29 一种球型摄像机生成全景图像的方法及球型摄像机

Country Status (1)

Country Link
CN (1) CN105635551B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303417A (zh) * 2016-08-12 2017-01-04 长沙冰眼电子科技有限公司 用于无人平台的增强全景监控方法
CN106303497A (zh) * 2016-08-12 2017-01-04 南方科技大学 一种虚拟现实内容生成方法和装置
CN106780337A (zh) * 2016-12-23 2017-05-31 淮阴工学院 基于二维图像的无人机着舰视景模拟方法
CN107248193A (zh) * 2017-05-22 2017-10-13 北京红马传媒文化发展有限公司 二维平面与虚拟现实场景进行切换的方法、系统及装置
CN107545537A (zh) * 2017-08-21 2018-01-05 嘀拍信息科技南通有限公司 一种从稠密点云生成3d全景图片的方法
CN107655458A (zh) * 2017-09-15 2018-02-02 福建四创软件有限公司 基于gis的全景图场景自动关联方法
CN109241233A (zh) * 2018-09-14 2019-01-18 东方网力科技股份有限公司 一种坐标匹配方法及装置
CN109934169A (zh) * 2019-03-13 2019-06-25 东软睿驰汽车技术(沈阳)有限公司 一种车道线识别方法及装置
CN110213496A (zh) * 2019-03-21 2019-09-06 南京泓众电子科技有限公司 一种单目旋转式全景相机测光方法、系统、便携式终端
CN110248078A (zh) * 2019-02-14 2019-09-17 南京泓众电子科技有限公司 一种全景图像的曝光参数获取方法
CN110365900A (zh) * 2019-07-16 2019-10-22 中国三峡建设管理有限公司 一种全景摄像系统
CN110400255A (zh) * 2018-04-25 2019-11-01 比亚迪股份有限公司 车辆全景影像的生成方法、系统和车辆
CN111666434A (zh) * 2020-05-26 2020-09-15 武汉大学 基于深度全局特征的街景图片检索方法
CN111723830A (zh) * 2019-03-20 2020-09-29 杭州海康威视数字技术股份有限公司 一种图像映射方法、装置及设备、存储介质
CN111731190A (zh) * 2020-07-24 2020-10-02 展讯通信(天津)有限公司 车载avm的显示方法、系统、电子设备及存储介质
CN111833241A (zh) * 2020-07-14 2020-10-27 深圳移动互联研究院有限公司 一种基于全景图像生成平面示意图的方法
CN113850905A (zh) * 2021-09-29 2021-12-28 中国科学院长春光学精密机械与物理研究所 一种用于周扫型光电预警系统的全景图像实时拼接方法
CN114677280A (zh) * 2022-04-11 2022-06-28 贝壳技术有限公司 生成全景图像的方法、装置、设备和程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060268159A1 (en) * 1998-06-05 2006-11-30 Masaaki Orimoto Image-capturing apparatus having multiple image capturing units
CN202203616U (zh) * 2011-08-31 2012-04-25 中国航天科工集团第三研究院第八三五八研究所 一种基于180度视角全景摄像机的转动云台
CN103136720A (zh) * 2013-03-12 2013-06-05 中科院微电子研究所昆山分所 车载360度全景拼接方法
CN103873758A (zh) * 2012-12-17 2014-06-18 北京三星通信技术研究有限公司 全景图实时生成的方法、装置及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060268159A1 (en) * 1998-06-05 2006-11-30 Masaaki Orimoto Image-capturing apparatus having multiple image capturing units
CN202203616U (zh) * 2011-08-31 2012-04-25 中国航天科工集团第三研究院第八三五八研究所 一种基于180度视角全景摄像机的转动云台
CN103873758A (zh) * 2012-12-17 2014-06-18 北京三星通信技术研究有限公司 全景图实时生成的方法、装置及设备
CN103136720A (zh) * 2013-03-12 2013-06-05 中科院微电子研究所昆山分所 车载360度全景拼接方法

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303497A (zh) * 2016-08-12 2017-01-04 南方科技大学 一种虚拟现实内容生成方法和装置
CN106303417A (zh) * 2016-08-12 2017-01-04 长沙冰眼电子科技有限公司 用于无人平台的增强全景监控方法
CN106303417B (zh) * 2016-08-12 2020-03-27 长沙冰眼电子科技有限公司 用于无人平台的增强全景监控方法
CN106780337A (zh) * 2016-12-23 2017-05-31 淮阴工学院 基于二维图像的无人机着舰视景模拟方法
CN106780337B (zh) * 2016-12-23 2020-04-24 淮阴工学院 基于二维图像的无人机着舰视景模拟方法
CN107248193A (zh) * 2017-05-22 2017-10-13 北京红马传媒文化发展有限公司 二维平面与虚拟现实场景进行切换的方法、系统及装置
CN107545537A (zh) * 2017-08-21 2018-01-05 嘀拍信息科技南通有限公司 一种从稠密点云生成3d全景图片的方法
CN107655458A (zh) * 2017-09-15 2018-02-02 福建四创软件有限公司 基于gis的全景图场景自动关联方法
CN107655458B (zh) * 2017-09-15 2020-09-11 四创科技有限公司 基于gis的全景图场景自动关联方法
CN110400255A (zh) * 2018-04-25 2019-11-01 比亚迪股份有限公司 车辆全景影像的生成方法、系统和车辆
CN110400255B (zh) * 2018-04-25 2022-03-15 比亚迪股份有限公司 车辆全景影像的生成方法、系统和车辆
CN109241233A (zh) * 2018-09-14 2019-01-18 东方网力科技股份有限公司 一种坐标匹配方法及装置
WO2021012855A1 (zh) * 2019-02-14 2021-01-28 南京泓众电子科技有限公司 一种全景图像生成系统及全景图像生成方法
WO2021012856A1 (zh) * 2019-02-14 2021-01-28 南京泓众电子科技有限公司 一种全景图像的拍摄方法
CN110248079A (zh) * 2019-02-14 2019-09-17 南京泓众电子科技有限公司 一种全景图像生成系统及全景图像生成方法
CN110248078A (zh) * 2019-02-14 2019-09-17 南京泓众电子科技有限公司 一种全景图像的曝光参数获取方法
WO2021012854A1 (zh) * 2019-02-14 2021-01-28 南京泓众电子科技有限公司 一种全景图像的曝光参数获取方法
CN109934169A (zh) * 2019-03-13 2019-06-25 东软睿驰汽车技术(沈阳)有限公司 一种车道线识别方法及装置
CN111723830A (zh) * 2019-03-20 2020-09-29 杭州海康威视数字技术股份有限公司 一种图像映射方法、装置及设备、存储介质
CN111723830B (zh) * 2019-03-20 2023-08-29 杭州海康威视数字技术股份有限公司 一种图像映射方法、装置及设备、存储介质
CN110213496A (zh) * 2019-03-21 2019-09-06 南京泓众电子科技有限公司 一种单目旋转式全景相机测光方法、系统、便携式终端
CN110365900A (zh) * 2019-07-16 2019-10-22 中国三峡建设管理有限公司 一种全景摄像系统
CN111666434B (zh) * 2020-05-26 2021-11-02 武汉大学 基于深度全局特征的街景图片检索方法
CN111666434A (zh) * 2020-05-26 2020-09-15 武汉大学 基于深度全局特征的街景图片检索方法
CN111833241A (zh) * 2020-07-14 2020-10-27 深圳移动互联研究院有限公司 一种基于全景图像生成平面示意图的方法
CN111731190A (zh) * 2020-07-24 2020-10-02 展讯通信(天津)有限公司 车载avm的显示方法、系统、电子设备及存储介质
CN113850905A (zh) * 2021-09-29 2021-12-28 中国科学院长春光学精密机械与物理研究所 一种用于周扫型光电预警系统的全景图像实时拼接方法
CN113850905B (zh) * 2021-09-29 2024-04-12 中国科学院长春光学精密机械与物理研究所 一种用于周扫型光电预警系统的全景图像实时拼接方法
CN114677280A (zh) * 2022-04-11 2022-06-28 贝壳技术有限公司 生成全景图像的方法、装置、设备和程序产品

Also Published As

Publication number Publication date
CN105635551B (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
CN105635551A (zh) 一种球型摄像机生成全景图像的方法及球型摄像机
JP6515985B2 (ja) 三次元画像結合方法及び三次元画像結合装置
WO2018068719A1 (zh) 一种图像拼接方法及装置
JP6443700B2 (ja) アンテナ設定パラメータを取得する方法および装置、ならびにシステム
CN107705252B (zh) 适用于双目鱼眼图像拼接展开校正的方法及系统
CN104778656B (zh) 基于球面透视投影的鱼眼图像校正方法
CN108289208A (zh) 一种投影画面自动校正方法和装置
CN107330978B (zh) 基于位置映射的增强现实建模体验系统及方法
CN202075794U (zh) 一种无人机航摄立体成像处理设备
US9892488B1 (en) Multi-camera frame stitching
CN104330074A (zh) 一种智能测绘平台及其实现方法
CN106534670B (zh) 一种基于固联鱼眼镜头摄像机组的全景视频生成方法
CN111436208A (zh) 一种测绘采样点的规划方法、装置、控制终端及存储介质
CN110191326A (zh) 一种投影系统分辨率扩展方法、装置和投影系统
CN107563959B (zh) 全景图生成方法及装置
CN103247020A (zh) 一种基于径向特征的鱼眼图像展开方法
CN110517209A (zh) 数据处理方法、装置、系统以及计算机可读存储介质
CN106358035A (zh) 一种图像处理方法及装置
CN105374067A (zh) 一种基于pal相机的三维重建方法及其重建系统
CN110275179A (zh) 一种基于激光雷达以及视觉融合的构建地图方法
JP2023546739A (ja) シーンの3次元モデルを生成するための方法、装置、およびシステム
WO2020103023A1 (zh) 一种测绘系统、测绘方法、装置、设备及介质
CN103634527A (zh) 抗相机扰动的多相机实时景象拼接系统
CN110675484A (zh) 一种基于复眼相机的具有时空一致性的动态三维数字场景构建方法
CN111527375B (zh) 一种测绘采样点的规划方法、装置、控制终端及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant