CN117196955A - 一种全景图像拼接方法及终端 - Google Patents
一种全景图像拼接方法及终端 Download PDFInfo
- Publication number
- CN117196955A CN117196955A CN202311314792.5A CN202311314792A CN117196955A CN 117196955 A CN117196955 A CN 117196955A CN 202311314792 A CN202311314792 A CN 202311314792A CN 117196955 A CN117196955 A CN 117196955A
- Authority
- CN
- China
- Prior art keywords
- camera
- adjacent cameras
- depth information
- panoramic image
- focal length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012937 correction Methods 0.000 claims abstract description 24
- 238000013507 mapping Methods 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 abstract description 8
- 239000011159 matrix material Substances 0.000 description 18
- 238000013519 translation Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
本发明公开的一种全景图像拼接方法及终端,通过确定相邻相机之间的位姿关系,并对相邻相机进行立体校正,使得相邻相机之间的坐标系只有直线移动,并基于立体校正得到相邻相机之间的基线长度以及校正后的相机焦距;同时获取用户预设的深度信息,从而根据基线长度和相机焦距实现所述相邻相机拍摄的图像在此深度信息下的全景拼接,得到全景图像。通过此方式无需进行特征点匹配,避免对实际场景的参数依赖,可随意转换相机拍摄场景,提高全景相机拍摄的使用场景,并且无需进行多次复杂计算,降低对芯片性能的要求,提高拼接速度。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种全景图像拼接方法及终端。
背景技术
目前实现全景图像拼接的方法大致包含三种:第一种是基于全局映射的全景图像拼接;第二种是基于局部映射的全景图像拼接;第三种是基于seam(拼缝线)的全景图像拼接。这三种拼接方法均基于真实场景的特征点来实现,即基于某个特定场景完成全景标定后进行图像拼接,那么转换场景之后当前的计算参数将不再适用于其他场景,则需要重新进行参数标定,此时会存在一些弊端,例如,当前场景特征点较少则无法计算出拼接参数,并且若每一帧都需要对当前场景进行一次全景参数标定,这对芯片的性能要求很高,很难达到实时视频的要求。
发明内容
本发明所要解决的技术问题是:提供一种全景图像拼接方法及终端,避免对实际场景的参数依赖,对任意深度的场景实现全景图像拼接。
为了解决上述技术问题,本发明采用的技术方案为:
一种全景图像拼接方法,包括:
确定相邻相机之间的位姿关系;
根据所述位姿关系对所述相邻相机进行立体校正,得到所述相邻相机之间的基线长度以及校正后的相机焦距;
获取预设的深度信息;
根据所述基线长度、相机焦距以及深度信息对所述相邻相机拍摄的图像进行拼接,得到全景图像。
为了解决上述技术问题,本发明采用的另一种技术方案为:
一种全景图像拼接终端,包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
确定相邻相机之间的位姿关系;
根据所述位姿关系对所述相邻相机进行立体校正,得到所述相邻相机之间的基线长度以及校正后的相机焦距;
获取预设的深度信息;
根据所述基线长度、相机焦距以及深度信息对所述相邻相机拍摄的图像进行拼接,得到全景图像。
本发明的有益效果在于:通过确定相邻相机之间的位姿关系,并对相邻相机进行立体校正,使得相邻相机之间的坐标系只有直线移动,并基于立体校正得到相邻相机之间的基线长度以及校正后的相机焦距;同时获取用户预设的深度信息,从而根据基线长度和相机焦距实现所述相邻相机拍摄的图像在此深度信息下的全景拼接,得到全景图像。通过此方式无需进行特征点匹配,避免对实际场景的参数依赖,可随意转换相机拍摄场景,提高全景相机拍摄的使用场景,并且无需进行多次复杂计算,降低对芯片性能的要求,提高拼接速度。
附图说明
图1为本发明实施例提供的一种全景图像拼接方法的步骤流程图;
图2为本发明实施例提供的一种全景图像拼接方法的程序流程图;
图3为本发明实施例提供的另一种全景图像拼接方法的程序流程图;
图4为本发明实施例提供的一种全景图像拼接终端的结构示意图;
标号说明:
301、存储器;302、处理器。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果,以下结合实施方式并配合附图予以说明。
请参照图1,本发明实施例提供了一种全景图像拼接方法,包括:
确定相邻相机之间的位姿关系;
根据所述位姿关系对所述相邻相机进行立体校正,得到所述相邻相机之间的基线长度以及校正后的相机焦距;
获取预设的深度信息;
根据所述基线长度、相机焦距以及深度信息对所述相邻相机拍摄的图像进行拼接,得到全景图像。
从上述描述可知,本发明的有益效果在于:通过确定相邻相机之间的位姿关系,并对相邻相机进行立体校正,使得相邻相机之间的坐标系只有直线移动,并基于立体校正得到相邻相机之间的基线长度以及校正后的相机焦距;同时获取用户预设的深度信息,从而根据基线长度和相机焦距实现所述相邻相机拍摄的图像在此深度信息下的全景拼接,得到全景图像。通过此方式无需进行特征点匹配,避免对实际场景的参数依赖,可随意转换相机拍摄场景,提高全景相机拍摄的使用场景,并且无需进行多次复杂计算,降低对芯片性能的要求,提高拼接速度。
进一步的,所述根据所述基线长度、相机焦距以及深度信息对所述相邻相机拍摄的图像进行拼接,得到全景图像包括:
根据所述基线长度、相机焦距以及深度信息计算所述相邻相机拍摄的图像之间的视差;
根据所述视差对所述相邻相机拍摄的图像进行拼接,得到全景图像。
由上述描述可知,基于相邻相机之间的基线长度和相机焦距,在用户给定深度信息的场景下可直接计算相邻相机之间的视差,相比于目前通过特征点进行全景拼接的方法,本发明可避免通过特征点匹配获取视差,从而避免对实际场景的参数依赖,设备可随意改变拍摄场景,可以对任意深度的场景进行全景拼接。
进一步的,所述根据所述基线长度、相机焦距以及深度信息对所述相邻相机拍摄的图像进行拼接,得到全景图像包括:
选取所述相邻相机中的一个相机作为参考相机,另一个相机作为目标相机;
获取所述参考相机拍摄的参考图像上的采样点;
根据所述基线长度、相机焦距以及深度信息确定所述采样点在所述目标相机拍摄的目标图像上的映射点;
将所述采样点与所述映射点作为所述参考图像与所述目标图像匹配后的特征点,根据所述特征点对所述参考图像和所述目标图像进行拼接,得到全景图像。
由上述描述可知,还可以通过基线长度和相机焦距生成该深度信息下的特征点,由于特征点是通过映射方式直接获取的,故图像之间无需进行特征点的匹配步骤,相比于通过实际特征点的进行匹配方法,本发明通过构建特征点的方式,无需考虑实际场景的参数标定,只需考虑预设深度,能够更好的适应实际应用过程中出现的多变甚至极端的场景,并且无需进行特征点匹配,具有拼接速度更快的优势。
进一步的,所述确定相邻相机之间的位姿关系包括:
对相邻相机分别进行单目标定得到第一相机内参和第二相机内参;
根据所述第一相机内参和所述第二相机内参对所述相邻相机进行立体标定得到所述相邻相机之间的相对位置参数,作为所述相邻相机之间的位姿关系。
由上述描述可知,基于单目标定分别获取相邻相机的第一相机内参和第二相机内参,再通过立体标定确定相邻相机之间的相对位置参数,从而确定相邻相机之间的位姿关系,以便后续进行立体校正获取准确的信息,保证拼接准确性,同时通过单目标定和立体标定的方式获取位姿关系计算方式简单,有效降低对芯片性能的要求,保证实时拍摄的需求。
进一步的,所述获取预设的深度信息包括:
选取所述相邻相机拍摄的图像中的目标区域,获取所述目标区域的实际深度信息作为预设的深度信息。
由上述描述可知,可通过对图像中目标区域的分析以获取实际深度信息,由此避免在全景图像拼接过程中进行特征点匹配的问题,从而避免对实际场景的参数依赖,设备可随意改变拍摄场景,可以对任意深度的场景进行全景拼接。
请参照图4,本发明另一实施例提供了一种全景图像拼接终端,包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
确定相邻相机之间的位姿关系;
根据所述位姿关系对所述相邻相机进行立体校正,得到所述相邻相机之间的基线长度以及校正后的相机焦距;
获取预设的深度信息;
根据所述基线长度、相机焦距以及深度信息对所述相邻相机拍摄的图像进行拼接,得到全景图像。
从上述描述可知,本发明的有益效果在于:通过确定相邻相机之间的位姿关系,并对相邻相机进行立体校正,使得相邻相机之间的坐标系只有直线移动,并基于立体校正得到相邻相机之间的基线长度以及校正后的相机焦距;同时获取用户预设的深度信息,从而根据基线长度和相机焦距实现所述相邻相机拍摄的图像在此深度信息下的全景拼接,得到全景图像。通过此方式无需进行特征点匹配,避免对实际场景的参数依赖,可随意转换相机拍摄场景,提高全景相机拍摄的使用场景,并且无需进行多次复杂计算,降低对芯片性能的要求,提高拼接速度。
进一步的,所述根据所述基线长度、相机焦距以及深度信息对所述相邻相机拍摄的图像进行拼接,得到全景图像包括:
根据所述基线长度、相机焦距以及深度信息计算所述相邻相机拍摄的图像之间的视差;
根据所述视差对所述相邻相机拍摄的图像进行拼接,得到全景图像。
由上述描述可知,基于相邻相机之间的基线长度和相机焦距,在用户给定深度信息的场景下可直接计算相邻相机之间的视差,相比于目前通过特征点进行全景拼接的方法,本发明可避免通过特征点匹配获取视差,从而避免对实际场景的参数依赖,设备可随意改变拍摄场景,可以对任意深度的场景进行全景拼接。
进一步的,所述根据所述基线长度、相机焦距以及深度信息对所述相邻相机拍摄的图像进行拼接,得到全景图像包括:
选取所述相邻相机中的一个相机作为参考相机,另一个相机作为目标相机;
获取所述参考相机拍摄的参考图像上的采样点;
根据所述基线长度、相机焦距以及深度信息确定所述采样点在所述目标相机拍摄的目标图像上的映射点;
将所述采样点与所述映射点作为所述参考图像与所述目标图像匹配后的特征点,根据所述特征点对所述参考图像和所述目标图像进行拼接,得到全景图像。
由上述描述可知,还可以通过基线长度和相机焦距生成该深度信息下的特征点,由于特征点是通过映射方式直接获取的,故图像之间无需进行特征点的匹配步骤,相比于通过实际特征点的进行匹配方法,本发明通过构建特征点的方式,无需考虑实际场景的参数标定,只需考虑预设深度,能够更好的适应实际应用过程中出现的多变甚至极端的场景,并且无需进行特征点匹配,具有拼接速度更快的优势。
进一步的,所述确定相邻相机之间的位姿关系包括:
对相邻相机分别进行单目标定得到第一相机内参和第二相机内参;
根据所述第一相机内参和所述第二相机内参对所述相邻相机进行立体标定得到所述相邻相机之间的相对位置参数,作为所述相邻相机之间的位姿关系。
由上述描述可知,基于单目标定分别获取相邻相机的第一相机内参和第二相机内参,再通过立体标定确定相邻相机之间的相对位置参数,从而确定相邻相机之间的位姿关系,以便后续进行立体校正获取准确的信息,保证拼接准确性,同时通过单目标定和立体标定的方式获取位姿关系计算方式简单,有效降低对芯片性能的要求,保证实时拍摄的需求。
进一步的,所述获取预设的深度信息包括:
选取所述相邻相机拍摄的图像中的目标区域,获取所述目标区域的实际深度信息作为预设的深度信息。
由上述描述可知,可通过对图像中目标区域的分析以获取实际深度信息,由此避免在全景图像拼接过程中进行特征点匹配的问题,从而避免对实际场景的参数依赖,设备可随意改变拍摄场景,可以对任意深度的场景进行全景拼接。
本发明实施例提供了一种全景图像拼接方法及终端,可应用于拍摄全景图像的装置中,避免装置对实际场景的参数依赖,对任意深度的场景实现全景图像拼接,用户设置对应的深度信息后,装置可随意转换拍摄场景,以下通过具体实施例来说明:
请参照图1至图2,本发明的实施例一为:
一种全景图像拼接方法,包括:
S1、确定相邻相机之间的位姿关系。
在一些实施例中,所述相邻相机为水平放置的全景相机组中的两个相邻相机。
具体的,所述S1包括:
S11、对相邻相机分别进行单目标定得到第一相机内参和第二相机内参;
在一些实施例中,对相邻相机分别进行单目标定,得到第一相机P1的第一相机内参为K1,第二相机P2的第二相机内参为K2。
S12、根据所述第一相机内参和所述第二相机内参对所述相邻相机进行立体标定得到所述相邻相机之间的相对位置参数,作为所述相邻相机之间的位姿关系。
需要说明的是,所述相对位置参数包括旋转矩阵R和平移矩阵T。
需要说明的是,根据P=RPw+T,可将世界坐标系中的坐标点转换为相机坐标系的坐标点。根据Px=KP,可将相机坐标系的坐标点组转换为像素坐标系的坐标点。其中,Pw表示世界坐标系中的坐标点,P表示相机坐标系中Pw的映射点,Px表示像素坐标系中P的映射点,K表示相机内参,R表示旋转矩阵,T表示平移矩阵。
在一些实施例中,所述步骤S12具体为:基于Px=KP,并根据第一相机内参K1和第二相机内参K2将像素坐标系的坐标点Px转换为相机坐标系的坐标点P,得到P1和P2。同时基于P=RPw+T,并以第一相机P1为参考系,得到第二相机P2的旋转矩阵R2和平移矩阵T2,并作为所述相邻相机之间的位姿关系。即R2表示第二相机P2到第一相机P1的旋转矩阵。
在一些实施例中,第一相机P1和第二相机P2的位姿关系可由旋转矩阵和平移矩阵表示为(R,T),则第一相机P1的位姿关系为(I,0),其中,I表示旋转矩阵为单位矩阵,0表示平移矩阵为0,即第一相机P1为参考系的坐标原点,则第二相机P2的位姿关系为(R2,T2)。在此基础上,根据所述第一相机P1和所述第二相机P2的位姿关系对所述相邻相机进行立体校正,以得到新相机P1’和P2’。
S2、根据所述位姿关系对所述相邻相机进行立体校正,得到所述相邻相机之间的基线长度以及校正后的相机焦距。
在一些实施例中,根据上述第一相机P1的位姿关系(I,0)和第二相机P2的位姿关系(R2,T2)进行立体校正后,得到R1’和R2’,其中,R1’和R2’表示原相机P1和P2到新相机P1’和P2’的旋转矩阵,即新相机P1’=R1’×P1,新相机P2’=R2’×P2。此时,旋转后得到的新相机P1’和P2’的相机内参相同,且焦距也相同,即校正后的相机焦距均为f。
在一些实施例中,对所述相邻相机进行立体校正后,还得到像素坐标系与世界坐标系相互转换的重投影矩阵Q;
其中,
其中,(u1,v1)为第一相机P1的主点坐标,(u2,v2)为第二相机P2的主点坐标,f为校正后的相机焦距,b为相邻相机之间的基线长度。需要说明的是,主点坐标表示相机坐标系的原点在像素坐标系上的映射点,基线长度表示第一相机P1和第二相机P2光心之间的距离。即根据重投影矩阵Q、第一相机P1的主点坐标、第二相机P2的主点坐标以及校正后的相机焦距f即可得到相邻相机之间的基线长度b。
在一种可选的实施方式中,通过棋盘格样图确定所述相邻相机之间的位姿关系并进行立体校正。
S3、获取预设的深度信息。
具体的,所述S3包括:
S31、选取所述相邻相机拍摄的图像中的目标区域,获取所述目标区域的实际深度信息作为预设的深度信息。
在一种可选的实施方式中,所述S3具体为:根据不同类型的实际场景预设不同的经验深度值,作为预设的深度信息。即在装置的界面上配置多种场景模式供用户选择设置,每一种场景模式对应不同的经验深度值,其中场景模式包括室内场景和室外场景等等。
在一种可选的实施方式中,所述S3具体为:直接获取预设的深度信息。即用户直接输入对应的深度数值。
在一些实施例中,所述预设的深度信息为z。
S4、根据所述基线长度、相机焦距以及深度信息对所述相邻相机拍摄的图像进行拼接,得到全景图像。
具体的,所述S4包括:
S41、根据所述基线长度、相机焦距以及深度信息计算所述相邻相机拍摄的图像之间的视差;
在一些实施例中,所述第一相机P1和第二相机P2为水平设置,则新相机P1’和P2’之间存在水平视差。基于公式z=bf/(x1-x2),其中,x1为点A在新相机P1’的像素坐标系的坐标点,x2为点A新相机P2’的像素坐标系的坐标点。根据深度信息z、基线长度b以及校正后的焦距f可得x1-x2=bf/z,其中,水平视差d=x1-x2。
S42、根据所述视差对所述相邻相机拍摄的图像进行拼接,得到全景图像。
在一些实施例中,视差即为同一个物体在两个不同相机上的成像点之间的距离,所以将图像移动与视差相同数量的像素就可以消除这个视差,实现全景图像拼接的效果。例如,以新相机P1’拍摄的图像的中心为原点,将新相机P2’拍摄的图像的中心移动d个像素后进行拼接,得到全景图像。
请参照图3,本发明的实施例二为:
一种全景图像拼接方法,其与实施例一的不同之处在于:所述步骤S4的实现方式不同。
在本实施例中,所述S4包括:
S41、选取所述相邻相机中的一个相机作为参考相机,另一个相机作为目标相机;
在一些实施例中,所述步骤S41具体为:选取所述相邻相机中的第一相机P1作为参考相机,第二相机P2作为目标相机。
S42、获取所述参考相机拍摄的参考图像上的采样点;
需要说明的是,所述采样点的数量为多个。
S43、根据所述基线长度、相机焦距以及深度信息确定所述采样点在所述目标相机拍摄的目标图像上的映射点;
在一些实施例中,所述步骤S43具体为:先通过第一相机P1到新相机P1’的旋转矩阵R1’将所述采样点C1映射到新相机P1’对应的图像上,即可得到新相机P1’对应的图像的校正映射点C1’坐标x1;再根据公式z=bf/(x1-x2)变换,可得x2=x1-bf/z,即得到新相机P2’对应的图像的校正映射点C2’坐标x2;最后通过第二相机P2到新相机P2’的旋转矩阵R2’将所述校正映射点C2’映射到第二相机P2的目标图像上,即可得到第二相机P2拍摄的目标图像上的映射点C2。
即第一相机P1的参考图像上的采样点C1与第二相机P2的目标图像上的映射点C2为一一对应的同名像素。需要说明的是,同名像素为同一物体在多个相机的成像点。
S44、将所述采样点与所述映射点作为所述参考图像与所述目标图像匹配后的特征点,根据所述特征点对所述参考图像和所述目标图像进行拼接,得到全景图像。
在一些实施例中,可采用当前普遍使用的特征点拼接的方法对所述参考图像和所述目标图像进行拼接,得到全景图像,此处并不作限定。以此方式,使得本发明所述的一种全景图像拼接方法也可基于特征点实现全景图像的拼接。
请参照图4,本发明的实施例三为:
一种全景图像拼接终端,包括存储器301、处理器302及存储在所述存储器301上并在所述处理器302上运行的计算机程序,所述处理器302执行所述计算机程序时实现实施例一或实施例二中所述一种全景图像拼接方法中的各个步骤。
综上所述,本发明提供的一种全景图像拼接方法及终端,通过完全确定相邻相机之间的位姿关系,并对相邻相机进行立体校正,使得相邻相机之间的坐标系只有直线移动,使得全景图像之间的三维立体关系转换为二维平面关系。并基于立体校正得到相邻相机之间的基线长度以及校正后的相机焦距,由此确定了两个相机拍摄图像之间的相对位置关系,同时基于用户预设的深度信息,从而根据基线长度和相机焦距计算相机在此深度信息下的视差,基于计算得到的视差将对应图像移动一定数量的像素后进行全景拼接,通过此方式无需进行特征点匹配去场景深度以及拼接参数,避免对实际场景的依赖。在另一种可选的实施方式中,基于用户预设的深度信息,通过选取采样点和确定映射点的方式主动查找已经匹配好的同名像素作为特征点进行全景拼接,有效避免了特征点匹配方法所造成的拼接效果不稳定的缺陷。并且通过用户预设的深度信息进行全景图像拼接的方式可随意转换相机拍摄场景,拓展了全景相机拍摄的使用场景,并且在拼接过程中无需进行特征点匹配,避免了多次复杂计算,降低对芯片性能的要求,从而提高了拼接速度。在现有技术中设备拍摄的物体深度未知,因此在全景图像拼接时需要计算其深度信息,而在本发明的应用场景下,用户根据设备的实际使用场景已获取到对应的深度信息,故设备可脱离当前实际场景,避免实际使用中出现极端场景导致深度信息检测失败的问题。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等同变换,或直接或间接运用在相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种全景图像拼接方法,其特征在于,包括:
确定相邻相机之间的位姿关系;
根据所述位姿关系对所述相邻相机进行立体校正,得到所述相邻相机之间的基线长度以及校正后的相机焦距;
获取预设的深度信息;
根据所述基线长度、相机焦距以及深度信息对所述相邻相机拍摄的图像进行拼接,得到全景图像。
2.根据权利要求1所述的一种全景图像拼接方法,其特征在于,所述根据所述基线长度、相机焦距以及深度信息对所述相邻相机拍摄的图像进行拼接,得到全景图像包括:
根据所述基线长度、相机焦距以及深度信息计算所述相邻相机拍摄的图像之间的视差;
根据所述视差对所述相邻相机拍摄的图像进行拼接,得到全景图像。
3.根据权利要求1所述的一种全景图像拼接方法,其特征在于,所述根据所述基线长度、相机焦距以及深度信息对所述相邻相机拍摄的图像进行拼接,得到全景图像包括:
选取所述相邻相机中的一个相机作为参考相机,另一个相机作为目标相机;
获取所述参考相机拍摄的参考图像上的采样点;
根据所述基线长度、相机焦距以及深度信息确定所述采样点在所述目标相机拍摄的目标图像上的映射点;
将所述采样点与所述映射点作为所述参考图像与所述目标图像匹配后的特征点,根据所述特征点对所述参考图像和所述目标图像进行拼接,得到全景图像。
4.根据权利要求1所述的一种全景图像拼接方法,其特征在于,所述确定相邻相机之间的位姿关系包括:
对相邻相机分别进行单目标定得到第一相机内参和第二相机内参;
根据所述第一相机内参和所述第二相机内参对所述相邻相机进行立体标定得到所述相邻相机之间的相对位置参数,作为所述相邻相机之间的位姿关系。
5.根据权利要求1所述的一种全景图像拼接方法,其特征在于,所述获取预设的深度信息包括:
选取所述相邻相机拍摄的图像中的目标区域,获取所述目标区域的实际深度信息作为预设的深度信息。
6.一种全景图像拼接终端,包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
确定相邻相机之间的位姿关系;
根据所述位姿关系对所述相邻相机进行立体校正,得到所述相邻相机之间的基线长度以及校正后的相机焦距;
获取预设的深度信息;
根据所述基线长度、相机焦距以及深度信息对所述相邻相机拍摄的图像进行拼接,得到全景图像。
7.根据权利要求6所述的一种全景图像拼接终端,其特征在于,所述根据所述基线长度、相机焦距以及深度信息对所述相邻相机拍摄的图像进行拼接,得到全景图像包括:
根据所述基线长度、相机焦距以及深度信息计算所述相邻相机拍摄的图像之间的视差;
根据所述视差对所述相邻相机拍摄的图像进行拼接,得到全景图像。
8.根据权利要求6所述的一种全景图像拼接终端,其特征在于,所述根据所述基线长度、相机焦距以及深度信息对所述相邻相机拍摄的图像进行拼接,得到全景图像包括:
选取所述相邻相机中的一个相机作为参考相机,另一个相机作为目标相机;
获取所述参考相机拍摄的参考图像上的采样点;
根据所述基线长度、相机焦距以及深度信息确定所述采样点在所述目标相机拍摄的目标图像上的映射点;
将所述采样点与所述映射点作为所述参考图像与所述目标图像匹配后的特征点,根据所述特征点对所述参考图像和所述目标图像进行拼接,得到全景图像。
9.根据权利要求6所述的一种全景图像拼接终端,其特征在于,所述确定相邻相机之间的位姿关系包括:
对相邻相机分别进行单目标定得到第一相机内参和第二相机内参;
根据所述第一相机内参和所述第二相机内参对所述相邻相机进行立体标定得到所述相邻相机之间的相对位置参数,作为所述相邻相机之间的位姿关系。
10.根据权利要求6所述的一种全景图像拼接终端,其特征在于,所述获取预设的深度信息包括:
选取所述相邻相机拍摄的图像中的目标区域,获取所述目标区域的实际深度信息作为预设的深度信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311314792.5A CN117196955A (zh) | 2023-10-11 | 2023-10-11 | 一种全景图像拼接方法及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311314792.5A CN117196955A (zh) | 2023-10-11 | 2023-10-11 | 一种全景图像拼接方法及终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117196955A true CN117196955A (zh) | 2023-12-08 |
Family
ID=88994362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311314792.5A Pending CN117196955A (zh) | 2023-10-11 | 2023-10-11 | 一种全景图像拼接方法及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117196955A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117455767A (zh) * | 2023-12-26 | 2024-01-26 | 深圳金三立视频科技股份有限公司 | 全景图像拼接方法、装置、设备及存储介质 |
-
2023
- 2023-10-11 CN CN202311314792.5A patent/CN117196955A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117455767A (zh) * | 2023-12-26 | 2024-01-26 | 深圳金三立视频科技股份有限公司 | 全景图像拼接方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100793838B1 (ko) | 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법 | |
CN109919911B (zh) | 基于多视角光度立体的移动三维重建方法 | |
CN111028155B (zh) | 一种基于多对双目相机的视差图像拼接方法 | |
CN110070598B (zh) | 用于3d扫描重建的移动终端及其进行3d扫描重建方法 | |
CN106981078B (zh) | 视线校正方法、装置、智能会议终端及存储介质 | |
CN103345736A (zh) | 一种虚拟视点绘制方法 | |
WO2010028559A1 (zh) | 图像拼接方法及装置 | |
CN202075794U (zh) | 一种无人机航摄立体成像处理设备 | |
CN111080776B (zh) | 人体动作三维数据采集和复现的处理方法及系统 | |
CN110827392B (zh) | 单目图像三维重建方法、系统及装置 | |
CN112207821B (zh) | 视觉机器人的目标搜寻方法及机器人 | |
CN117196955A (zh) | 一种全景图像拼接方法及终端 | |
CN109902675B (zh) | 物体的位姿获取方法、场景重构的方法和装置 | |
CN113450416B (zh) | 一种应用于三目相机立体标定的tcsc方法 | |
CN115035235A (zh) | 三维重建方法及装置 | |
TW202103106A (zh) | 一種圖像深度估計方法、電子設備、儲存介質 | |
JP3561446B2 (ja) | 画像生成方法及びその装置 | |
CN109427040B (zh) | 图像处理装置及方法 | |
CN115880344A (zh) | 一种双目立体匹配数据集视差真值获取方法 | |
JP6228239B2 (ja) | プリミティブの組を用いてデータをレジストレーションする方法 | |
JP4886661B2 (ja) | カメラパラメータ推定装置およびカメラパラメータ推定プログラム | |
Kano et al. | Accurate and practical calibration of multiple pan-tilt-zoom cameras for live broadcasts | |
CN112422848B (zh) | 一种基于深度图和彩色图的视频拼接方法 | |
CN114119701A (zh) | 图像处理方法及其装置 | |
JP2019032660A (ja) | 撮像システム、撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |