CN107341834A - 一种保持双目视差的全景立体校正方法及系统 - Google Patents
一种保持双目视差的全景立体校正方法及系统 Download PDFInfo
- Publication number
- CN107341834A CN107341834A CN201710660348.7A CN201710660348A CN107341834A CN 107341834 A CN107341834 A CN 107341834A CN 201710660348 A CN201710660348 A CN 201710660348A CN 107341834 A CN107341834 A CN 107341834A
- Authority
- CN
- China
- Prior art keywords
- same place
- uncalibrated image
- mrow
- panorama sketch
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009466 transformation Effects 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000012937 correction Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000004804 winding Methods 0.000 claims abstract description 11
- 238000005304 joining Methods 0.000 claims abstract description 8
- 238000000844 transformation Methods 0.000 claims abstract description 7
- 238000004590 computer program Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 239000007787 solid Substances 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 2
- 238000005315 distribution function Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种保持双目视差的全景立体校正方法及系统，方法包括：利用每对立体相机对标定板进行标定拍摄，得到多对标定图像；在每对标定图像上查找同名点对，根据第一标定图像同名点确定相应第二标定图像同名点应该调整到的参考位置；制作第一、第二全景图，按照相应图像外参对第二标定图像同名点位置及其应该调整到的参考位置做卷绕处理；对第二全景图进行网络划分，根据网格角点原始位置、周围一定范围内同名点位置及其应该调整到的参考位置计算网格角点新位置，根据网格角点原始位置及新位置确定网格的变换关系，集合所有网格变换关系得到立体校正模板。本申请能正确还原真实立体关系，将左右眼全景图视差统一，达到立体感舒适的目的。
Description
技术领域
本申请属于全景立体相机领域，尤其涉及一种保持双目视差的全景立体校正方法及系统。
背景技术
目前市面上的虚拟现实拍摄设备从支架设计方面大致分为两种：一、“环形放射”方案：相机围绕着一个圆形成“放射状”排列，这类支架的代表有Google jump、Surround360等；二、“环形成对”方案：多对立体相机围绕着一个圆形排列，这类支架的代表有Bullet360、NextVR RedDragon 3D等，配合这两种不同的支架设计方案有相应的立体全景图(视频)制作算法流程。第一种支架一般使用一套相机外参(由图像算法计算得来)去计算左右眼全景图，这样做的缺陷是虽然保证了立体全景图的立体感、但是会加大拼接误差。而第二种支架只能左右眼全景图使用各自的相机外参，这样就会造成左右眼全景图的立体感不舒适的现象。
针对拼接瑕疵的相关研究和解决方案较多，但是针对如何准确还原真实世界的立体感、保证立体感的舒适性的相关研究相对较少。
现有技术中解决立体感不舒适通常采用基于光流的立体全景图生成方法，该方法的流程为：1)计算左右眼立体图像对之间的光流图；2)制作左眼全景图；3)利用左眼的参数和对应的光流图融合出相对应的光流全景图；4)使用光流全景图和右眼原始图像去绘制右眼全景图。但该方法存在如下问题：1)光流算法的计算是逐像素的，计算光流图是一个非常消耗计算资源和时间的操作，并且要使用多组图像去拼接合成一张全景图，因此就需要计算多张光流图，另外除了合成左右眼全景图，还需要合成一张光流全景图，无疑也会消耗大量资源；2)光流的生成是基于图像内容的，对于运动内容而言，如何保证光流的一致性是一个难题，另外，右眼全景图的绘制是完全依赖于光流全景图的，因此右眼全景图在存在运动内容的环境之下时的质量也是难以保证的。显然这种方法仅适用于制作立体全景图，而无法用来制作立体全景视频。
现有技术中还可以通过如下方式来解决立体不舒适感：1)在左右眼全景图中去检测同名点对；2)利用同名点对的信息去局部调整全景图，实现消除垂直视差，同时将水平视差控制在一个合理的范围之内，以达到立体舒适的目的。但该方法存在如下缺陷：1)由于其同名点对的提取算法是基于图像内容的，所以无法保证同名点对在整张全景图分布的均匀性，从而无法保证整张全景图都得到正确的调整；2)由于在全景图的基础之上提取同名点对，因此算法仅能做到将垂直视差消除，并且将水平视差调整到一个合理范围之内，并无法准确的还原原始的立体关系。
发明内容
本申请用于解决现有技术中消除立体全景图立体不舒适感的算法耗费资源、无法准确还原原始立体关系及不适用于制作立体全景视频的问题。
为了解决上述技术问题，本申请的一技术方案为提供一种保持双目视差的全景立体校正方法，适用于基于立体相机对组成的摄像机阵列，包括：
利用每对立体相机对标定板进行标定拍摄，得到多对标定图像，其中，每对标定图像包括第一标定图像及第二标定图像；
在每对标定图像上查找同名点对，根据第一标定图像同名点确定相应第二标定图像同名点应该调整到的参考位置；
根据第一标定图像制作第一全景图，根据第二标定图像制作第二全景图，按照第二标定图像外参对第二标定图像同名点位置做卷绕处理以得到第二全景图同名点位置，按照第一标定图像外参对第二标定图像同名点应该调整到的参考位置做卷绕处理以得到第二全景图同名点应该调整到的参考位置；
对第二全景图进行网络划分，根据网格角点原始位置、网格角点周围一定范围内的同名点位置及其应该调整到的参考位置计算网格角点新位置，根据网格角点原始位置及新位置确定网格的变换关系，集合所有网格变换关系得到立体校正模板。详细的说，网格内所包含的像素点依据该网格的变换关系做变换。
本申请的另一技术方案为提供一种保持双目视差的全景立体校正系统，适用于基于立体相机对组成的摄像机阵列，包括：
标定模块，用于利用每对立体相机对标定板进行标定拍摄，得到多对标定图像，其中，每对标定图像包括第一标定图像及第二标定图像；
同名点对提取及计算模块，用于在每对标定图像上查找同名点对，根据第一标定图像同名点确定相应第二标定图像同名点应该调整到的参考位置；
拼接转换模块，用于根据第一标定图像制作第一全景图，根据第二标定图像制作第二全景图，按照第二标定图像外参对第二标定图像同名点位置做卷绕处理以得到第二全景图同名点位置，按照第一标定图像外参对第二标定图像同名点应该调整到的参考位置做卷绕处理以得到第二全景图同名点应该调整到的参考位置；
校正模块，用于对第二全景图进行网络划分，根据网格角点原始位置、网格角点周围一定范围内的同名点位置及其应该调整到的参考位置计算网格角点新位置，根据网格角点原始位置及新位置确定网格的变换关系，集合所有网格变换关系得到立体校正模板。详细的说，网格内所包含的像素点依据该网格的变换关系做变换。
通过本申请提供的保持双目视差的全景立体校正方法及系统，能正确的还原真实的立体关系，将左右眼全景图视差统一，达到立体感舒适的目的。因立体调整算法与图像内容无关，因此能适用于立体全景视频的制作。具有计算代价小，能快速调整立体关系的特点。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的一种保持双目视差的全景立体校正方法的流程图；
图2A-2B为本申请一具体实施例的第二全景图同名点位置调整前后示意图；
图3为本申请实施例的一种保持双目视差的全景立体校正系统的结构图。
具体实施方式
为了使本申请的技术特点及效果更加明显，下面结合附图对本申请的技术方案做进一步说明，本申请也可有其他不同的具体实例来加以说明或实施，任何本领域技术人员在权利要求范围内做的等同变换均属于本申请的保护范畴。
在本说明书的描述中，参考术语“一实施例”、“一具体实施例”“例如”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
如图1所示，图1为本申请实施例的保持双目视差的全景立体校正方法的流程图。本实施例能正确的还原真实的立体关系，将左右眼全景图视差统一，达到立体感舒适的目的。因立体调整算法与图像内容无关，因此能适用于立体全景视频的制作。具有计算代价小，能快速调整立体关系的特点。具体的，保持双目视差的全景立体校正方法适用于基于立体相机对组成的摄像机阵列，包括：
步骤101：利用每对立体相机对标定板进行标定拍摄，得到多对标定图像，其中，每对标定图像包括第一标定图像及第二标定图像；
步骤102：在每对标定图像上查找同名点对，根据第一标定图像同名点确定相应第二标定图像同名点应该调整到的参考位置；
步骤103：根据所有第一标定图像制作第一全景图，根据所有第二标定图像制作第二全景图，按照第二标定图像外参对第二标定图像同名点位置做卷绕处理以得到第二全景图同名点位置，按照第一标定图像外参对第二标定图像同名点应该调整到的参考位置做卷绕处理以得到第二全景图同名点应该调整到的参考位置；
步骤104：对第二全景图进行网络划分，根据网格角点原始位置、网格角点周围一定范围内的同名点位置及其应该调整到的参考位置计算网格角点新位置，根据网格角点原始位置及新位置确定网格的变换关系，集合网络中所有网格变换关系得到立体校正模板。
详细的说，网格的变换关系也可称之为映射关系，网格内所包含的像素点依据该网格的变换关系做变换，即网格内所包含的像素点的变换关系与该网格的变换关系相同。
本申请所述的第一标定图像及第二标定图像用于区分每对立体相机中左右相机拍摄的标定图像，第一全景图及第二全景图用于区分左右眼全景图。一具体实施例中，得到的第一全景图201及第二全景图202如图2A所示，采用立体校正模板对第二全景图进行校正之后，得到修正后的第二全景图202’如图2B所示。本实施例提供的立体校正模板能正确还原真实立体关系，将左右眼全景图视差统一，以达到立体舒适的目的。
本申请一实施例中，上述步骤101中，利用每对立体相机对标定板进行标定拍摄过程包括：
步骤1011：将标定板摆放在立体相机对前方预定距离处。例如使用6m*6m大小的标定板摆放在支架前方3.5m～4m处，本申请对标定板大小及标定板放置的距离不做限定，保证当前一组立体相机射线垂直于标定板即可。为了便于后续步骤查找同名点对，选用的标定板例如布满各种品牌logo或布满重叠的中文汉字，只要保证标定板中图形不重复即可。
步骤1012：立体相机对中的两个相机同时拍摄标定图像。
全景摄像阵列系统有多少对立体相机就要重复上述步骤1011～1012多少次。
本申请一实施例中，上述步骤102可采用模板匹配算法进行同名点对查找，模板匹配算法配合标定图像可以保证足够充足并且均匀的同名点对。
进一步的，上述步骤102在每对标定图像上查找同名点对之前还包括：对每对标定图像进行双目立体校正，以保证处理后的标定图像都是水平的。
进一步的，上述步骤102根据第一标定图像同名点确定相应第二标定图像同名点应该调整到的参考位置包括：
用第一标定图像同名点的纵坐标更新(赋值)第二标定图像相应同名点的纵坐标；
将第二标定图像更新后的同名点坐标作为同名点应该调整到的参考位置。
本申请一实施例中，上述步骤103中，图像外参记录图像相邻位置关系，第二标定图像外参在第二全景图拼接好后即可得到，同理，第一标定图像外参在第一全景图拼接好后即可得到。
本申请一实施例中，上述步骤104中对第二全景图进行网络划分之前还包括：对第二全景图进行补丁操作，使第二全景图两端部分图像相互补充，即将第二全景图左端部分补充在右端，右端部分补充在左端。从而防止调整第二全景图时出现超出原图像边界的现象。
本申请一实施例中，上述步骤104中可以采用三角片、方片等对第二全景图进行网络划分，本申请对网络划分的形式不做限定，一般进行三角网划分。
进一步的，考虑到网格角点会受到一定范围内同名点变换的加权影响，通过如下公式根据网格角点原始位置、网格角点周围一定范围内的同名点位置及其应该调整到的参考位置计算网格角点新位置：
其中，Lnew(x,y)为网格角点新位置，L(x,y)为网格角点原始位置，ΔPi(x,y)为位置差，Pi(x,y)为第二全景图同名点当前位置，Prefi(x,y)为第二全景图同名点应该调整到的参考位置，f(·)为衰减函数，Di为同名点当前位置与网格角点的距离，i为一定范围内第i个同名点，nr为一定范围内同名点个数。
衰减函数f(·)包括但不限于高斯函数，t分布函数。
进一步的，根据网格角点原始位置及新位置确定网格的变换关系过程包括：记录网格角点从原始位置变换到新位置的变换关系，用一仿射变换来描述一网格所有角点从原始位置到新位置之间的变换，即得到网格的变换关系，网格内所包含的像素点依据该网格的变换关系做变换。
本申请技术方案能够实现如下技术效果：
1)还原拍摄内容的真实视差，经过校正方法的立体视频垂直方向90°，水平方向360°立体舒适。
2)立体全景图的校正是根据变换模板实现的，包含立体相机对之间的关系，因此立体关系的校正与拍摄内容无关，保证了立体全景图及立体全景视频的稳定性。
3)使用立体校正模板对全景序列帧进行立体校正十分节省计算和时间资源。
基于同一发明构思，本申请实施例中还提供了一种保持双目视差的全景立体校正系统，如下面的实施例所述。由于该系统解决问题的原理与方法相似，因此该系统的实施可以参见方法的实施，重复之处不再赘述。
如图3所示，保持双目视差的全景立体校正系统，适用于基于立体相机对组成的摄像机阵列，包括：
标定模块301，用于利用每对立体相机对标定板进行标定拍摄，得到多对标定图像，其中，每对标定图像包括第一标定图像及第二标定图像；
同名点对提取及计算模块302，用于在每对标定图像上查找同名点对，根据第一标定图像同名点确定相应第二标定图像同名点应该调整到的参考位置；
拼接转换模块303，用于根据第一标定图像制作第一全景图，根据第二标定图像制作第二全景图，按照第二标定图像外参对第二标定图像同名点位置做卷绕处理以得到第二全景图同名点位置，按照第一标定图像外参对第二标定图像同名点应该调整到的参考位置做卷绕处理以得到第二全景图同名点应该调整到的参考位置；
校正模块304，用于对第二全景图进行网络划分，根据网格角点原始位置、网格角点周围一定范围内的同名点位置及其应该调整到的参考位置计算网格角点新位置，根据网格角点原始位置及新位置确定网格的变换关系，网格内所包含的像素点依据该网格的变换关系做变换，集合所有网格变换关系得到立体校正模板。
本申请还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一实施例所述保持双目视差的全景立体校正方法。
本申请还提供一种计算机可读存储介质，计算机可读存储介质存储有执行上述任一实施例所述的保持双目视差的全景立体校正方法的计算机程序。
本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅用于说明本申请的技术方案，任何本领域普通技术人员均可在不违背本申请的精神及范畴下，对上述实施例进行修饰与改变。因此，本申请的权利保护范围应视权利要求范围为准。
Claims (11)
1.一种保持双目视差的全景立体校正方法，其特征在于，适用于基于立体相机对组成的摄像机阵列，包括：
利用每对立体相机对标定板进行标定拍摄，得到多对标定图像，其中，每对标定图像包括第一标定图像及第二标定图像；
在每对标定图像上查找同名点对，根据第一标定图像同名点确定相应第二标定图像同名点应该调整到的参考位置；
根据第一标定图像制作第一全景图，根据第二标定图像制作第二全景图，按照第二标定图像外参对第二标定图像同名点位置做卷绕处理以得到第二全景图同名点位置，按照第一标定图像外参对第二标定图像同名点应该调整到的参考位置做卷绕处理以得到第二全景图同名点应该调整到的参考位置；
对第二全景图进行网络划分，根据网格角点原始位置、网格角点周围一定范围内的同名点位置及其应该调整到的参考位置计算网格角点新位置，根据网格角点原始位置及新位置确定网格的变换关系，集合所有网格变换关系得到立体校正模板。
2.如权利要求1所述的方法，其特征在于，利用每对立体相机对标定板进行标定拍摄包括：将标定板摆放在立体相机对前方预定距离处；
立体相机对中的两个相机同时拍摄标定图像。
3.如权利要求1所述的方法，其特征在于，在每对标定图像上查找同名点对之前还包括：对每对标定图像进行双目立体校正。
4.如权利要求1所述的方法，其特征在于，根据第一标定图像同名点确定相应第二标定图像同名点应该调整到的参考位置包括：
用第一标定图像同名点的纵坐标更新第二标定图像相应同名点的纵坐标；
将第二标定图像更新后的同名点坐标作为同名点应该调整到的参考位置。
5.如权利要求1所述的方法，其特征在于，对第二全景图进行网络划分之前还包括：对第二全景图进行补丁操作，使第二全景图两端部分图像相互补充。
6.如权利要求1所述的方法，其特征在于，通过如下公式根据网格角点原始位置、网格角点周围一定范围内的同名点位置及其应该调整到的参考位置计算网格角点新位置：
<mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>w</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mfrac>
<mrow>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mi>r</mi>
</msub>
</munderover>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>(</mo>
<msub>
<mi>D</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
<mo>*</mo>
<msub>
<mi>&Delta;P</mi>
<mi>i</mi>
</msub>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mi>r</mi>
</msub>
</munderover>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>D</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>,</mo>
<msub>
<mi>&Delta;P</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>P</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
<mi>i</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>P</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
其中，Lnew(x,y)为网格角点新位置，L(x,y)为网格角点原始位置，ΔPi(x,y)为位置差，Pi(x,y)为第二全景图同名点当前位置，Prefi(x,y)为第二全景图同名点应该调整到的参考位置，f(·)为衰减函数，Di为同名点当前位置与网格角点的距离，i为一定范围内第i个同名点，nr为一定范围内同名点个数。
7.如权利要求6所述的方法，其特征在于，所述衰减函数包括高斯函数，t分布函数。
8.如权利要求1所述的方法，其特征在于，网格内所包含的像素点依据该网格的变换关系做变换。
9.一种保持双目视差的全景立体校正系统，其特征在于，适用于基于立体相机对组成的摄像机阵列，包括：
标定模块，用于利用每对立体相机对标定板进行标定拍摄，得到多对标定图像，其中，每对标定图像包括第一标定图像及第二标定图像；
同名点对提取及计算模块，用于在每对标定图像上查找同名点对，根据第一标定图像同名点确定相应第二标定图像同名点应该调整到的参考位置；
拼接转换模块，用于根据第一标定图像制作第一全景图，根据第二标定图像制作第二全景图，按照第二标定图像外参对第二标定图像同名点位置做卷绕处理以得到第二全景图同名点位置，按照第一标定图像外参对第二标定图像同名点应该调整到的参考位置做卷绕处理以得到第二全景图同名点应该调整到的参考位置；
校正模块，用于对第二全景图进行网络划分，根据网格角点原始位置、网格角点周围一定范围内的同名点位置及其应该调整到的参考位置计算网格角点新位置，根据网格角点原始位置及新位置确定网格的变换关系，集合所有网格变换关系得到立体校正模板。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8任一所述方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至8任一所述方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710660348.7A CN107341834B (zh) | 2017-08-04 | 2017-08-04 | 一种保持双目视差的全景立体校正方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710660348.7A CN107341834B (zh) | 2017-08-04 | 2017-08-04 | 一种保持双目视差的全景立体校正方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107341834A true CN107341834A (zh) | 2017-11-10 |
| CN107341834B CN107341834B (zh) | 2020-06-05 |
Family
ID=60217714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710660348.7A Active CN107341834B (zh) | 2017-08-04 | 2017-08-04 | 一种保持双目视差的全景立体校正方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107341834B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108337499A (zh) * | 2018-02-05 | 2018-07-27 | 上海溯石文化传播有限公司 | 一种360度环幕影院立体成像视频的制作方法及原理 |
| CN109813335A (zh) * | 2017-11-21 | 2019-05-28 | 武汉四维图新科技有限公司 | 数据采集系统的标定方法、装置、系统及存储介质 |
| CN112465913A (zh) * | 2020-11-18 | 2021-03-09 | 广东博智林机器人有限公司 | 一种基于双目相机的校正方法及装置 |
| CN115423949A (zh) * | 2022-11-07 | 2022-12-02 | 山东捷瑞数字科技股份有限公司 | 基于三维引擎的空间图像转换三维模型的测量方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345755A (zh) * | 2013-07-11 | 2013-10-09 | 北京理工大学 | 一种基于Harris算子的棋盘格角点亚像素提取方法 |
| US20140125768A1 (en) * | 2012-02-24 | 2014-05-08 | Matterport, Inc. | Capturing and aligning three-dimensional scenes |
| WO2016141984A1 (en) * | 2015-03-11 | 2016-09-15 | Huawei Technologies Co., Ltd. | Image processing device and method for geometric calibration of images |
| CN106228603A (zh) * | 2016-07-25 | 2016-12-14 | 武汉中观自动化科技有限公司 | 一种基于欧式距离统计拼接的三维模型重构系统及方法 |
| CN106887023A (zh) * | 2017-02-21 | 2017-06-23 | 成都通甲优博科技有限责任公司 | 用于双目摄像机标定的标定板及其标定方法和标定系统 |
-
2017
- 2017-08-04 CN CN201710660348.7A patent/CN107341834B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140125768A1 (en) * | 2012-02-24 | 2014-05-08 | Matterport, Inc. | Capturing and aligning three-dimensional scenes |
| CN103345755A (zh) * | 2013-07-11 | 2013-10-09 | 北京理工大学 | 一种基于Harris算子的棋盘格角点亚像素提取方法 |
| WO2016141984A1 (en) * | 2015-03-11 | 2016-09-15 | Huawei Technologies Co., Ltd. | Image processing device and method for geometric calibration of images |
| CN106228603A (zh) * | 2016-07-25 | 2016-12-14 | 武汉中观自动化科技有限公司 | 一种基于欧式距离统计拼接的三维模型重构系统及方法 |
| CN106887023A (zh) * | 2017-02-21 | 2017-06-23 | 成都通甲优博科技有限责任公司 | 用于双目摄像机标定的标定板及其标定方法和标定系统 |
Non-Patent Citations (2)
| Title |
|---|
| HE YINAN,G JUAN,QIN JUN,LIU CHEN,Y HUI: "Integration of Forstner and NCC constraint for UAV image registration", 《REMOTE SENSING FOR LAND & RESOURCES》 * |
| 叶东华: "基于全景视觉的图像配准方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109813335A (zh) * | 2017-11-21 | 2019-05-28 | 武汉四维图新科技有限公司 | 数据采集系统的标定方法、装置、系统及存储介质 |
| CN108337499A (zh) * | 2018-02-05 | 2018-07-27 | 上海溯石文化传播有限公司 | 一种360度环幕影院立体成像视频的制作方法及原理 |
| CN112465913A (zh) * | 2020-11-18 | 2021-03-09 | 广东博智林机器人有限公司 | 一种基于双目相机的校正方法及装置 |
| CN115423949A (zh) * | 2022-11-07 | 2022-12-02 | 山东捷瑞数字科技股份有限公司 | 基于三维引擎的空间图像转换三维模型的测量方法及系统 |
| CN115423949B (zh) * | 2022-11-07 | 2023-04-11 | 山东捷瑞数字科技股份有限公司 | 基于三维引擎的空间图像转换三维模型的测量方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107341834B (zh) | 2020-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10460459B2 (en) | Stitching frames into a panoramic frame | |
| CN107431796B (zh) | 全景虚拟现实内容的全方位立体式捕捉和渲染 | |
| CN112585963B (zh) | 用于2d显示器上的内容的3d感知的近眼焦平面覆盖层的方法和系统 | |
| EP3163535B1 (en) | Wide-area image acquisition method and device | |
| CN107341834A (zh) | 一种保持双目视差的全景立体校正方法及系统 | |
| US10176595B2 (en) | Image processing apparatus having automatic compensation function for image obtained from camera, and method thereof | |
| US8711204B2 (en) | Stereoscopic editing for video production, post-production and display adaptation | |
| US20160142615A1 (en) | Robust layered light-field rendering | |
| CN106254854B (zh) | 三维图像的获得方法、装置及系统 | |
| CN111047709B (zh) | 一种双目视觉裸眼3d图像生成方法 | |
| US20130088573A1 (en) | Methods for controlling scene, camera and viewing parameters for altering perception of 3d imagery | |
| US8094148B2 (en) | Texture processing apparatus, method and program | |
| CN103020900B (zh) | 一种图像处理方法及装置 | |
| CN112118435B (zh) | 面向异形金属屏幕的多投影融合方法及系统 | |
| CN106570907A (zh) | 一种相机标定方法及装置 | |
| CN114401391B (zh) | 虚拟视点生成方法及装置 | |
| CN104159099A (zh) | 一种3d立体影视制作中双目立体摄像机的设置方法 | |
| CN104469440B (zh) | 视频播放方法、视频播放器及对应的播放设备 | |
| CN115002345B (zh) | 一种图像校正方法、装置、电子设备及存储介质 | |
| CN115731336B (zh) | 图像渲染方法、图像渲染模型生成方法及相关装置 | |
| KR101634225B1 (ko) | 다시점 입체 영상 보정 장치 및 방법 | |
| CN104243949A (zh) | 3d显示方法及装置 | |
| Gurrieri et al. | Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos | |
| CN106331672B (zh) | 视点图像的获得方法、装置及系统 | |
| CN113724141B (zh) | 一种图像校正方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A panoramic stereo correction method and system for maintaining binocular parallax Granted publication date: 20200605 Pledgee: Zhongguancun Beijing technology financing Company limited by guarantee Pledgor: LIGHT CHASER HUMAN ANIMATION DESIGN (BEIJING) CO.,LTD. Registration number: Y2024990000076 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |