CN116630169A - 极线校正方法、双目相机及智能移动设备 - Google Patents

极线校正方法、双目相机及智能移动设备 Download PDF

Info

Publication number
CN116630169A
CN116630169A CN202210126139.5A CN202210126139A CN116630169A CN 116630169 A CN116630169 A CN 116630169A CN 202210126139 A CN202210126139 A CN 202210126139A CN 116630169 A CN116630169 A CN 116630169A
Authority
CN
China
Prior art keywords
image
camera
target
pixel
cylindrical projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210126139.5A
Other languages
English (en)
Inventor
孟强
谢亮
谭明朗
谢朝毅
朱力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202210126139.5A priority Critical patent/CN116630169A/zh
Publication of CN116630169A publication Critical patent/CN116630169A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例涉及立体视觉技术领域，公开了一种极线校正方法、双目相机及智能移动设备，该方法通过获取包括同一目标的第一图像和第二图像，其中，用于获取第一图像的第一相机和用于获取第二图像的第二相机的相机坐标系中一坐标轴均平行于基线，该基线为第一相机的光心和第二相机的光心之间的连线。然后，根据该第一相机的光心和第二相机的光心建立柱面投影模型，分别将第一图像和第二图像投影于柱面投影模型的预设弧面内并展开，得到校正后的第一柱面投影图像和第二柱面投影图像。在上述方法中，通过将第一图像和第二图像投影于柱面投影模型的预设弧面内，使得第一柱面投影图像和第二柱面投影图像实现行对齐。

Description

极线校正方法、双目相机及智能移动设备
技术领域
本申请实施例涉及立体视觉技术领域，尤其涉及一种极线校正方法、双目相机及智能移动设备。
背景技术
立体匹配是从立体图像对中寻找对应点，为了提高搜索速度，要求立体图像对的外极线位于同一水平线上，使两摄像机校正成理想的平视双目结构。立体视觉的应用研究中，极线校正方法可应用于立体匹配、3D电视的摄像机姿态处理等方面。
现有的极线校正方法，可以分成两类，包括需要摄像机标定的极线校正方法和弱标定的极线校正方法。需要摄像机标定的极线校正方法，利用摄像机标定获取内部参数和外部参数，包括焦距、光心坐标、旋转矩阵、平移矩阵等，利用物理意义明确的方法得到求解的单应性矩阵。弱标定的极线校正方法，只通过两图像的匹配对应点，求解两个合适的单应性矩阵进行投影变换，让对应点不存在竖直方向的视差。
目前，对于大视角相机(例如鱼眼相机和广角相机等)，在进行极线校正时，无法对图像像素边缘进行投影。即对于大视角相机的极线校正还没有较好的解决方案。
发明内容
本申请实施例主要解决的技术问题是提供一种极限校正方法、双目相机及智能移动设备，该方法能够对大视角相机兼顾极线校正和边缘像素投影。
为解决上述技术问题，第一方面，本申请实施例中提供给了一种极线校正方法，包括：
获取包括同一目标的第一图像和第二图像，其中，用于获取第一图像的第一相机和用于获取第二图像的第二相机的相机坐标系中一坐标轴均平行于基线，基线为第一相机的光心和第二相机的光心之间的连线；
根据第一相机的光心和第二相机的光心建立柱面投影模型，分别将第一图像和第二图像投影于柱面投影模型的预设弧面内并展开，得到校正后的第一投影图像和第二投影图像，以实现极线校正。
在一些实施例中，目标图像为第一图像和第二图像中的任意一个，当目标图像为第一图像时目标柱面投影图像为第一柱面投影图像，当目标图像为第二图像时目标柱面投影图像为第二柱面投影图像；
前述根据第一相机的光心和第二相机的光心建立柱面投影模型，分别将第一图像和第二图像投影于柱面投影模型的预设弧面内并展开，得到校正后的第一投影图像和第二投影图像，包括：
根据目标像素点的第一像素坐标，获取目标像素点映射在目标图像中对应的第二像素坐标，其中，目标像素点为目标柱面投影图像中的任意一个像素点，第一像素坐标的坐标系为目标柱面投影图像的图像坐标系，第二像素坐标的坐标系为目标图像的图像坐标系；
根据目标图像和第二像素坐标，获取目标像素点处的像素值。
在一些实施例中，前述根据目标像素点的第一像素坐标，获取目标像素点映射在目标图像中对应的第二像素坐标，包括：
根据目标像素点的第一像素坐标，获取目标像素点在柱面投影模型中的射线，射线的坐标原点为柱面投影模型中目标相机的光心，射线的方向为柱面投影模型中目标相机的光心至目标像素点的方向，其中，目标相机是用于拍摄目标图像的相机；
获取射线与光轴的夹角，其中，光轴为用于获取目标图像的目标相机的光轴；
对夹角进行畸变处理，得到畸变夹角；
根据目标相机的内部参数、畸变夹角和射线的坐标，确定目标像素点映射在目标图像中对应的第二像素坐标。
在一些实施例中，前述根据目标像素点的第一像素坐标，获取目标像素点在柱面投影模型中的射线，包括：
采用以下公式计算射线；
其中，(X,Y,Z)为射线的坐标，(w,h)为第一像素坐标，OW×OH为目标柱面投影图像的分辨率，α为目标相机的视角，β为目标相机有效投影的视角。
在一些实施例中，前述根据目标相机的内部参数、畸变夹角和射线的坐标，确定目标像素点映射在目标图像中对应的第二像素坐标，包括：
采用以下公式计算第二像素坐标；
dθ＝distort(θ)
其中，θ为夹角，dθ为畸变夹角，f为目标相机的焦距，(cx cy)为目标相机的主点坐标。
在一些实施例中，前述根据目标图像和第二像素坐标，获取目标像素点处的像素值，包括：
在目标图像中取第二像素坐标位置周围的四个像素点的像素值，进行双线性插值，以获取目标像素点处像素值。
为解决上述技术问题，第二方面，本申请实施例中提供给了一种极线校正装置，包括：
获取模块，用于获取包括同一目标的第一图像和第二图像，其中，用于获取第一图像的第一相机和用于获取第二图像的第二相机的相机坐标系中一坐标轴均平行于基线，基线为第一相机的光心和第二相机的光心之间的连线；
校正模块，用于根据第一相机的光心和第二相机的光心建立柱面投影模型，分别将第一图像和第二图像投影于柱面投影模型的预设弧面内并展开，得到校正后的第一投影图像和第二投影图像，以实现极线校正。
为解决上述技术问题，第三方面，本申请实施例中提供给了一种双目相机，包括第一相机、第二相机、处理器和存储器；
其中，第一相机和第二相机的相机坐标轴均平行于基线，基线为第一相机的光心和第二相机的光心之间的连线；
处理器分别与第一相机和第二相机通信连接；
存储器与处理器通信连接，存储器存储有可被处理器执行的指令，指令被处理器执行，以使处理器执行第一方面的方法。
在一些实施例中，第一相机和/或第二相机为鱼眼相机。
为解决上述技术问题，第四方面，本申请实施例中提供给了一种智能移动设备，包括第三方面的双目相机。
本申请实施例的有益效果：区别于现有技术的情况，本申请实施例提供的极线校正方法，首先，获取包括同一目标的第一图像和第二图像，其中，用于获取第一图像的第一相机和用于获取第二图像的第二相机的相机坐标系中一坐标轴均平行于基线，该基线为第一相机的光心和第二相机的光心之间的连线，即确保第一相机和第二相机的相机坐标系对齐，且相机坐标系中一个坐标轴平行于基线。然后，根据该第一相机的光心和第二相机的光心建立柱面投影模型，分别将第一图像和第二图像投影于柱面投影模型的预设弧面内并展开，得到校正后的第一柱面投影图像和第二柱面投影图像。在上述方法中，通过将第一图像和第二图像投影于柱面投影模型的预设弧面内，使得第一柱面投影图像和第二柱面投影图像实现行对齐，即在不需要调整相机内部参一致(例如焦距或主点一致)的情况下，就可使得第一相机和第二相机(双目相机)的像素y坐标对齐，简单方便，另外，还能对第一图像和第二图像的边缘像素点进行投影校正，适合大视角的极线校正。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1为本申请一些实施例中智能移动设备100的示意图；
图2为本申请一些实施例中极线校正前的第一图像和第二图像的示意图；
图3为本申请一些实施例中极线校正后的第一图像和第二图像的示意图；
图4为本申请一些实施例中双目相机10的结构示意图；
图5为本申请一些实施例中第一相机和第二相机之间的基线的示意图；
图6为本申请一些实施例中极线校正方法的流程示意图；
图7为本申请一些实施例中柱面投影模型的示意图；
图8为本申请一些实施例中目标像素点的确定示意图；
图9为本申请一些实施例中极线校正装置的结构示意图。
具体实施方式
下面结合具体实施例对本申请进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本申请，但不以任何形式限制本申请。应当指出的是，对本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进。这些都属于本申请的保护范围。
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，如果不冲突，本申请实施例中的各个特征可以相互结合，均在本申请的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。此外，本文所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定，仅是对功能和作用基本相同的相同项或相似项进行区分。
除非另有定义，本说明书所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本说明书中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用于限制本申请。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
此外，下面所描述的本申请各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
智能移动设备是脱离人的直接控制，采用遥控、自主或半自主等方式进行运动的设备，例如，依靠自身的智能系统自主导航，躲避障碍物，独立完成各种任务。
根据应用场景不同，智能移动设备可以为无人机、无人驾驶车或机器人、飞行拍摄设备等。在此，不对智能移动设备进行任何限制，满足自行移动的电子设备即可。
可以理解的是，如图1所示，图1中以智能移动设备100为无人机为例进行示例性说明，智能移动设备100上设置有双目相机10，作为智能移动设备100的视觉系统，该视觉系统能够完成类似人眼的基本功能，为路径的规划提供可靠的视觉信息。障碍物的目标检测和其距离信息的获取是其中的关键部分。基于双目立体视觉的障碍物检测的关键在于：障碍物目标的提取，即识别出障碍物在图像中的位置和大小；以及，障碍物目标区域图像对之间的立体匹配，从而得到障碍物目标的深度信息。
具体地，立体匹配是寻找同一场景的两幅不同图像中对应点(例如障碍物)的过程，即在第一图像、第二图像(第一图像和第二图像分别由双目相机拍摄得到)中发现与同一空间点(例如障碍物)对应的成像点对。然后，可以根据这些对应关系，计算出成像点所代表的物体点(例如障碍物)在空间的位置(相当于进行三维重建)，即在获取到障碍物在空间的位置后，可以确定距离、方位信息，从而，使得智能移动设备能够避开障碍物。
双目相机包括不同位置的两台相机(第一相机和第二相机)，经过移动或旋转拍照同一副场景，获得包括障碍物的第一图像和第二图像。
如图2(a)所示，O1为第一相机的光心，O2为第二相机的光心，O1和O2的连线称为基线，两个相机观察到的任何目标点P和来自光心O1和O2的两条射线定义了一个极面，该极面与第一图像的成像平面相交形成第一极线I1，该极面与第二图像的成像平面相交形成第二极线I2。当目标点P在空间移动时，所有的极线I1穿过极点e1，所有的极线I2穿过极点e2，极点e1是基线与第一图像的成像平面的交点，极点e2是基线与第二图像的成像平面的交点。
可以理解的是，目标点P在第一图像上的成像点P1在第一极线I1上，目标点P在第二图像上的成像点P2在第二极线I2上。
在进行极线校正前，第一极线I1和第二极线I2不平行，导致成像点P1在第一图像上的高度和成像点P2在第二图像上的高度不一致。如图2(b)所示，在第一图像和第二图像中匹配点P时，像点P1和像点P2高度不一致，需要全局寻找，计算量较大。
在进行极线校正后，如图3(a)所示，第一极点e1和第二极点e2在无穷远处，虚拟出第一相机和第二相机的光轴平行，第一极线I1和第二极线I2平行，像点P1和像点P2高度一致，即实现了极线校正的目标。如图3(b)所示，校正后的第一图像和第二图像像素点对齐，即目标点P在第一图像上的成像点P1和目标点P在第二图像上的成像点P2在同一行像素，校正后做后续的立体匹配时，只需在第一图像和第二图像的同一行像素上搜索匹配点即可，能使效率大大提高。
然而，对于大视角相机(例如鱼眼相机和广角相机等)，在进行极线校正时，无法对图像像素边缘进行投影。即对于大视角相机的极线校正还没有较好的解决方案。
有鉴于此，本申请实施例提供了一种极线校正方法，应用于该双目相机，使得双目相机能够自动实现极线校正。
在一些实施例中，请参阅图4，双目相机10包括第一相机11、第二相机12、处理器13和存储器14。
其中，如图5所示，第一相机11和第二相机12的相机坐标轴均平行于基线，基线为第一相机11的光心和第二相机12的光心之间的连线。
在一些实施例中，第一相机或第二相机可以为鱼眼相机，鱼眼相机具有较大的视角，为近距离拍摄大范围景物创造了条件。
处理器分别与第一相机、第二相机和存储器通信连接。图4中以总线连接进行示例性说明。
其中，处理器13用于提供计算和控制能力，以控制双目相机10执行相应任务，例如，控制双目相机10执行下述发明实施例提供的任意一种极线校正方法。
可以理解的是，处理器13可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器14作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本申请实施例中的极线校正方法对应的程序指令/模块。处理器13通过运行存储在存储器14中的非暂态软件程序、指令以及模块，可以实现下述任一方法实施例中的极线校正方法。具体地，存储器14可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器14还可以包括相对于处理器远程设置的存储器，这些远程存储器可以通过通信连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
以下，对本申请实施例中极线校正方法进行详细说明，请参阅图6，该方法包括但不限制于以下步骤：
S10：获取包括同一目标的第一图像和第二图像。
可以理解的是，该同一目标指的是同一场景，例如可以为如上述图2(b)中所示的障碍物等。
第一图像由第一相机拍摄获取，第二图像由第二相机拍摄获取。如上图5所示，基线为第一相机的光心和第二相机的光心之间的连线，第一相机的相机坐标系中一坐标轴(例如x轴)与基线平行，第二相机的相机坐标系中一坐标轴(例如x轴)与基线平行。
通过上述关于第一相机和第二相机的相机坐标系设置，使得第一相机和第二相机的外部参数一致，为后续极限校正的计算提供便利。
S20：根据第一相机的光心和第二相机的光心建立柱面投影模型，分别将第一图像和第二图像投影于柱面投影模型的预设弧面内并展开，得到校正后的第一投影图像和第二投影图像，以实现极线校正。
如图7所示，在柱面投影模型中，点A代表第一相机的光心，点B代表第二相机的光心，AD代表第一相机的光轴，AC代表第二相机的光轴，四边形GHEF代表待投影的目标图像(第一图像或第二图像)，投影之后变成目标柱面投影图像JDILCK。可以理解的是，预设弧面为弧面JILK。
将目标图像投影到柱面投影模型的预设弧面JILK内并展开，得到目标柱面投影图像。这里，目标图像为第一图像和第二图像中的任意一个。可以理解的是，当目标图像为第一图像时，相应地，目标柱面投影图像为第一柱面投影图像。当目标图像为第二图像时，相应地，目标柱面投影图像为第二柱面投影图像。
具体地，将第一图像投影于柱面上预设弧面JILK内，然后将柱面上的投影图像展开，得到第一柱面投影图像。将第二图像投影于柱面上预设弧面JILK内，然后将柱面上的图样图像展开得到第二柱面投影图像。
以第一图像分辨率为x*y进行示例性说明，∠GAH为第一相机在y轴上的视角，即y轴为分辨率x*y中的纵轴y。假设目标图像y轴分辨率为640，则需要将∠GAH等分为640份。在做柱面投影时，目标图像(可以是第一图像或第二图像)的分辨率中x平行圆柱中心轴，分辨率中的y在∠GAH限定的弧线内，所以，∠GAH的一个等分角对应分辨率中的y的一个像素点。
对于三维点M，MA和柱面交点M1，MB和柱面交点M2，平面ABM1与平面ABCD的夹角为λ，平面ABM2与平面ABCD的夹角为其中，λ和/>相等，所以第一柱面投影图像和第二柱面投影图像在y轴上对齐。
通过上述方式，使得校正得到的第一柱面投影图像和第二柱面投影图像实现行对齐，即在不需要调整相机内部参一致(例如焦距或主点一致)的情况下，就可使得第一相机和第二相机(双目相机)的像素y坐标对齐，简单方便。另外，在柱面投影模型中第一图像或第二图像的像素坐标x投影在圆柱的竖直方向，像素坐标y投影在圆柱的圆周向，所以在第一图像或第二图像的视野大的情况下，均能对其进行投影校正，能对第一图像和第二图像的边缘像素点进行投影校正，适合大视角相机的极线校正。
在一些实施例中，上述步骤S20具体包括：
S21：根据目标像素点的第一像素坐标，获取目标像素点映射在目标图像中对应的第二像素坐标。
其中，目标像素点为目标柱面投影图像中的任意一个像素点。这里以目标像素点的投影过程进行示例性说明，可以理解的是，目标柱面投影图像中各像素点均按下述方式进行投影。
例如，目标像素点是目标柱面投影图像上的一像素点，其在目标柱面投影图像上的第一像素坐标为(w,h)。基于，目标图像投影在柱面上后，柱面上的投影图像展开，获得目标柱面投影图像，从而，可以基于上述投影关系，确定目标像素点在目标图像中对应的第二像素坐标(u,v)。
在一些实施中，上述步骤S21具体包括：
S211：根据目标像素点的第一像素坐标，获取目标像素点在柱面投影模型中的射线。
在一些实施例中，可以采用以下公式计算所述射线；
其中，(X,Y,Z)为射线的坐标，(w,h)为第一像素坐标，OW×OH为目标柱面投影图像的分辨率，α为目标相机的视角，β为目标相机有效投影的视角，β≤α。射线的坐标原点为柱面投影模型中目标相机的光心，射线的方向为柱面投影模型中目标相机的光心至目标像素点的方向，其中，目标相机是用于拍摄所述目标图像的相机。
可以理解的是，请再次参阅图7，在柱面投影模型中，点A代表第一相机的光心，点B代表第二相机的光心，AD代表第一相机的光轴，AC代表第二相机的光轴，四边形GHEF代表待投影的目标图像，投影之后变成目标柱面投影图像JDILCK。
目标像素点(w,h)即为目标柱面投影图像JDILCK上的一个像素点。以目标柱面投影图像JDILCK为第一柱面投影图像、目标图像为第一图像、目标相机为第一相机A为例，目标像素点在柱面投影模型中为点M，则射线为AM，由上述公式计算得到的(X,Y,Z)即为射线AM的坐标。
S212：获取射线与光轴的夹角，其中，光轴为用于获取目标图像的目标相机的光轴。
可以理解的是，该夹角可以采用以下公式计算得到。
(X,Y,Z)为射线。
请再次参阅图7，θ即为射线AM和光轴AD之间的夹角。
S213：对上述夹角进行畸变处理，即调整角度大小，得到畸变夹角。即畸变夹角dθ＝distort(θ)。
可以理解的是，由于真实相机拍摄的图像存在畸变，而柱面投影图像对应的虚拟相机是没有畸变的，所以，为了符合真实相机特性，对上述夹角加上畸变。
S214：根据目标相机的内部参数、畸变夹角和射线的坐标，确定目标像素点映射在目标图像中对应的第二像素坐标。
这里，内部参数可以包括焦距和相机主点。例如，可以采用以下公式计算目标像素点映射在目标图像中对应的第二像素坐标(u,v)。
其中，θ为夹角，dθ为畸变夹角，f为目标相机的焦距，(cx cy)为目标相机的主点坐标。
在此实施例中，通过依次计算目标像素点在柱面投影模型中的射线、射线与光轴的夹角，继而通过夹角、相机主点、射线和焦距，计算得到目标像素点映射在目标图像中对应的第二像素坐标，即建立原目标图像的像素点坐标和目标柱面投影图像的像素点坐标对应关系表，以及，通过查表即可得到目标柱面投影图像上一像素点在目标图像上对应的像素点坐标，继而得到柱面投影图像上一像素点的像素值，能够更加快速得到像素对齐后的图像。
S22：根据目标图像和第二像素坐标，获取目标像素点处的像素值。
可以理解的是，如图8所示，基于第二像素坐标是目标像素点(w,h)在目标图像中的像素坐标(u,v)。在已知目标图像中各像素坐标处的像素值后，则可以在目标图像中，查找第二像素坐标(u,v)附近的多个像素值，然后依据目标图像中第二像素坐标(u,v)附近的多个像素值，确定目标柱面投影图像中目标像素点处(w,h)的像素值。
在一些实施例中，步骤S22具体包括：
S221：在目标图像中取第二像素坐标位置周围的四个像素点的像素值，进行双线性插值，以获取目标像素点处像素值。
请再次参阅图8，以目标图像的左下角为图像坐标原点进行示意性说明，其中，第二像素坐标位置为点Q，可以理解的是，由映射得到的点Q坐标可能不是整数，即不是整行或整列，因此，可取点Q附近的四个像素点Q12、Q13、Q22、Q23处的像素，进行双线性插值，计算得到点Q处的像素值。
具体的，由Q12和Q22处的像素值进行x方向的单线性插值，得到R2处的像素值，由Q13和Q23处的像素值进行x方向的单线性插值，得到R3处的像素值，然后由R2和R3处的像素值进行y方向的单线性插值，得到点Q处的像素值。
在此实施例中，考虑到映射得到的第二像素坐标的非整数问题，采用双线性插值，计算目标像素点处像素值，更加准确，使得校正后的目标柱面投影图像不失真。
综上所述，本申请实施例提供的极线校正方法，首先，获取包括同一目标的第一图像和第二图像，其中，用于获取第一图像的第一相机和用于获取第二图像的第二相机的相机坐标系中一坐标轴均平行于基线，该基线为第一相机的光心和第二相机的光心之间的连线，即确保第一相机和第二相机的相机坐标系对齐，且相机坐标系中一个坐标轴平行于基线。然后，采用柱面投影方法，分别对第一图像进行投影校正得到校正后的第一柱面投影图像，对第二图像进行投影校正得到校正后的第二柱面投影图像。在上述方法中，通过柱面投影，使得第一柱面投影图像和第二柱面投影图像实现行对齐，即在不需要调整相机内部参一致(例如焦距或主点一致)的情况下，就可使得第一相机和第二相机(双目相机)的像素y坐标对齐，简单方便，另外，还能对第一图像和第二图像的边缘像素点进行投影校正，使得大视角相机的极线校正。
本申请另一实施例还提供了一种极线校正装置，请参阅图9，该极线校正装置300包括获取模块301和校正模块302。
获取模块301用于获取包括同一目标的第一图像和第二图像，其中，用于获取第一图像的第一相机和用于获取第二图像的第二相机的相机坐标系中一坐标轴均平行于基线，该基线为第一相机的光心和第二相机的光心之间的连线。
校正模块302用于根据第一相机的光心和第二相机的光心建立柱面投影模型，分别将第一图像和第二图像投影于柱面投影模型的预设弧面内并展开，得到校正后的第一投影图像和第二投影图像，以实现极线校正。
上述装置，首先，获取包括同一目标的第一图像和第二图像，其中，用于获取第一图像的第一相机和用于获取第二图像的第二相机的相机坐标系中一坐标轴均平行于基线，该基线为第一相机的光心和第二相机的光心之间的连线，即确保第一相机和第二相机的相机坐标系对齐，且相机坐标系中一个坐标轴平行于基线。然后，采用柱面投影方法，分别对第一图像进行投影校正得到校正后的第一柱面投影图像，对第二图像进行投影校正得到校正后的第二柱面投影图像。在上述方法中，通过柱面投影，使得第一柱面投影图像和第二柱面投影图像实现行对齐，即在不需要调整相机内部参一致(例如焦距或主点一致)的情况下，就可使得第一相机和第二相机(双目相机)的像素y坐标对齐，简单方便，另外，还能对第一图像和第二图像的边缘像素点进行投影校正，使得大视角相机的极线校正。
需要说明的是，图9对应的实施例中未提及的内容可参见上述方法实施例的描述，这里不再赘述。
本申请另一实施例还提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，当该计算机可执行指令被至少一个处理器执行时，使所述至少一个处理器执行如前述实施例中的极线校正方法。
需要说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种极线校正方法，其特征在于，包括：
获取包括同一目标的第一图像和第二图像，其中，用于获取所述第一图像的第一相机和用于获取所述第二图像的第二相机的相机坐标系中一坐标轴均平行于基线，所述基线为所述第一相机的光心和所述第二相机的光心之间的连线；
根据所述第一相机的光心和所述第二相机的光心建立柱面投影模型，分别将所述第一图像和所述第二图像投影于所述柱面投影模型的预设弧面内并展开，得到校正后的第一投影图像和第二投影图像，以实现极线校正。
2.根据权利要求1所述的方法，其特征在于，目标图像为所述第一图像和所述第二图像中的任意一个，当所述目标图像为所述第一图像时目标柱面投影图像为所述第一柱面投影图像，当所述目标图像为所述第二图像时所述目标柱面投影图像为所述第二柱面投影图像；
所述根据所述第一相机的光心和所述第二相机的光心建立柱面投影模型，分别将所述第一图像和所述第二图像投影于所述柱面投影模型的预设弧面内并展开，得到校正后的第一投影图像和第二投影图像，包括：
根据目标像素点的第一像素坐标，获取所述目标像素点映射在所述目标图像中对应的第二像素坐标，其中，所述目标像素点为所述目标柱面投影图像中的任意一个像素点，所述第一像素坐标的坐标系为所述目标柱面投影图像的图像坐标系，所述第二像素坐标的坐标系为所述目标图像的图像坐标系；
根据所述目标图像和所述第二像素坐标，获取所述目标像素点处的像素值。
3.根据权利要求2所述的方法，其特征在于，所述根据目标像素点的第一像素坐标，获取所述目标像素点映射在所述目标图像中对应的第二像素坐标，包括：
根据所述目标像素点的第一像素坐标，获取所述目标像素点在所述柱面投影模型中的射线，所述射线的坐标原点为所述柱面投影模型中目标相机的光心，所述射线的方向为所述柱面投影模型中目标相机的光心至所述目标像素点的方向，其中，所述目标相机是用于拍摄所述目标图像的相机；
获取所述射线与光轴的夹角，其中，所述光轴为用于获取所述目标图像的目标相机的光轴；
对所述夹角进行畸变处理，得到畸变夹角；
根据所述目标相机的内部参数、所述畸变夹角和所述射线的坐标，确定所述目标像素点映射在所述目标图像中对应的第二像素坐标。
4.根据权利要求3所述的方法，其特征在于，所述根据所述目标像素点的第一像素坐标，获取所述目标像素点在所述柱面投影模型中的射线，包括：
采用以下公式计算所述射线；
其中，(X,Y,Z)为所述射线的坐标，(w,h)为所述第一像素坐标，OW×OH为所述目标柱面投影图像的分辨率，α为所述目标相机的视角，β为所述目标相机有效投影的视角。
5.根据权利要求4所述的方法，其特征在于，所述根据所述目标相机的内部参数、所述畸变夹角和所述射线的坐标，确定所述所述目标像素点映射在所述目标图像中对应的第二像素坐标，包括：
采用以下公式计算所述第二像素坐标；
dθ＝distort(θ)
其中，θ为所述夹角，dθ为所述畸变夹角，f为所述目标相机的焦距，(cx cy)为所述目标相机的主点坐标。
6.根据权利要求2所述的方法，其特征在于，所述根据所述目标图像和所述第二像素坐标，获取所述目标像素点处的像素值，包括：
在所述目标图像中取所述第二像素坐标位置周围的四个像素点的像素值，进行双线性插值，以获取所述目标像素点处像素值。
7.一种极线校正装置，其特征在于，包括：
获取模块，用于获取包括同一目标的第一图像和第二图像，其中，用于获取所述第一图像的第一相机和用于获取所述第二图像的第二相机的相机坐标系中一坐标轴均平行于基线，所述基线为所述第一相机的光心和所述第二相机的光心之间的连线；
校正模块，用于根据所述第一相机的光心和所述第二相机的光心建立柱面投影模型，分别将所述第一图像和所述第二图像投影于所述柱面投影模型的预设弧面内并展开，得到校正后的第一投影图像和第二投影图像，以实现极线校正。
8.一种双目相机，其特征在于，包括第一相机、第二相机、处理器和存储器；
其中，所述第一相机和所述第二相机的相机坐标轴均平行于基线，所述基线为所述第一相机的光心和所述第二相机的光心之间的连线；
所述处理器分别与所述第一相机和所述第二相机通信连接；
所述存储器与所述处理器通信连接，所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器执行权利要求1-6任一项所述的方法。
9.根据权利要求8所述的双目相机，其特征在于，所述第一相机和/或所述第二相机为鱼眼相机。
10.一种智能移动设备，其特征在于，包括如权利要求8或9所述的双目相机。
CN202210126139.5A 2022-02-10 2022-02-10 极线校正方法、双目相机及智能移动设备 Pending CN116630169A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210126139.5A CN116630169A (zh) 2022-02-10 2022-02-10 极线校正方法、双目相机及智能移动设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210126139.5A CN116630169A (zh) 2022-02-10 2022-02-10 极线校正方法、双目相机及智能移动设备

Publications (1)

Publication Number Publication Date
CN116630169A true CN116630169A (zh) 2023-08-22

Family

ID=87636980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210126139.5A Pending CN116630169A (zh) 2022-02-10 2022-02-10 极线校正方法、双目相机及智能移动设备

Country Status (1)

Country Link
CN (1) CN116630169A (zh)

Similar Documents

Publication Publication Date Title
US11012620B2 (en) Panoramic image generation method and device
US20170127045A1 (en) Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
US10755381B2 (en) Method and device for image stitching
US20170111582A1 (en) Wide-Area Image Acquiring Method and Apparatus
CN106960454B (zh) 景深避障方法、设备及无人飞行器
CN111028155B (zh) 一种基于多对双目相机的视差图像拼接方法
US20170134713A1 (en) Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
CN108564617A (zh) 多目相机的三维重建方法、装置、vr相机和全景相机
CN108288292A (zh) 一种三维重建方法、装置及设备
CN105005964B (zh) 基于视频序列影像的地理场景全景图快速生成方法
WO2022048541A1 (zh) 基于双目视觉的环境感知方法、装置及无人飞行器
CN107680159A (zh) 一种基于投影矩阵的空间非合作目标三维重建方法
WO2020114433A1 (zh) 一种深度感知方法，装置和深度感知设备
CN112150518B (zh) 一种基于注意力机制的图像立体匹配方法及双目设备
WO2021104308A1 (zh) 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
CN114782636A (zh) 三维重建方法、装置及系统
CN115035235A (zh) 三维重建方法及装置
CN111383264A (zh) 一种定位方法、装置、终端及计算机存储介质
CN115174805A (zh) 全景立体图像的生成方法、装置和电子设备
CN113763480B (zh) 一种多镜头全景摄像机组合标定方法
CN210986289U (zh) 四目鱼眼相机及双目鱼眼相机
CN110750094A (zh) 确定可移动设备的位姿变化信息的方法、装置和系统
CN111915741A (zh) 一种基于三维重建的vr生成器
Lin et al. Real-time low-cost omni-directional stereo vision via bi-polar spherical cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination