CN111540004A - 单相机极线校正方法及装置 - Google Patents

单相机极线校正方法及装置 Download PDF

Info

Publication number
CN111540004A
CN111540004A CN202010298041.9A CN202010298041A CN111540004A CN 111540004 A CN111540004 A CN 111540004A CN 202010298041 A CN202010298041 A CN 202010298041A CN 111540004 A CN111540004 A CN 111540004A
Authority
CN
China
Prior art keywords
image
camera
speckle image
sub
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010298041.9A
Other languages
English (en)
Other versions
CN111540004B (zh
Inventor
周凯
尹首一
唐士斌
欧阳鹏
李秀东
王博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qingwei Intelligent Technology Co ltd
Original Assignee
Beijing Qingwei Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qingwei Intelligent Technology Co ltd filed Critical Beijing Qingwei Intelligent Technology Co ltd
Priority to CN202010298041.9A priority Critical patent/CN111540004B/zh
Publication of CN111540004A publication Critical patent/CN111540004A/zh
Priority to PCT/CN2021/087040 priority patent/WO2021208933A1/zh
Priority to US17/488,502 priority patent/US20220036521A1/en
Application granted granted Critical
Publication of CN111540004B publication Critical patent/CN111540004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Projection Apparatus (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

本发明提供了一种单相机极线校正方法，所述方法包含：利用朝向相同且相对位置不变的相机和散斑投射器，采集不同距离下投射有散斑的平板图像，获得第一平面散斑图像和第二平面散斑图像；通过图像匹配算法匹配所述第一平面散斑图像和第二平面散斑图像，获得亚像素匹配点；根据所述亚像素匹配点在第一平面散斑图像上对应的物理坐标和在第二平面散斑图像上对应的物理坐标，获得两者之间的映射矩阵；根据所述映射矩阵获得投射器中心在相机参考系中的方向向量；调节相机参考系的坐标轴方向，使水平轴方向与方向向量对齐，并更新相机的成像矩阵；通过所述成像矩阵将目标场景图像映射获得极线校正后的图像。

Description

单相机极线校正方法及装置
技术领域
本发明涉及图像处理领域，尤指一种单相机极线校正方法及装置。
背景技术
深度图估计是立体视觉研究领域的一个重要研究方向，广泛应用在智能安防，自动驾驶，人机交互以及移动支付等领域。根据所用设备的不同，现有的深度图估计方法主要包括双目相机方法、结构光与双目相机组合的方法、结构光与单目相机组合的方法，以及TOF(飞行时间)法。其中，基于散斑结构光投影与单目相机组合的方法由于其简单的结构、较低的成本和功耗以及较高的精度而获得了广泛的应用。
该方法利用散斑投射模块把精细散斑图案投影到场景物体表面，投射瞬间利用一个事先标定好的相机拍摄带有散斑图案的物体图像，然后将该图像与预存的参考图像进行匹配，最后利用匹配像素点结合相机的标定参数解算出场景的深度图。为保证算法的简洁性和匹配的准确性，该方法基于的设备在结构上一般需要满足如下要求：相机与散斑投射器平行放置，朝向相同，且连接相机光心和投射器中心的直线与相机参考系的X轴平行；然而，在实际应用中，由于相机和散斑投射器的相对位置存在安装误差，难以严格满足上述要求，从而导致了深度图估计的结果不够准确。
发明内容
本发明目的在于提供一种单相机极线校正方法及装置，以利用较简单的结构和较低的成本和功耗实现高精度的要求。
为达上述目的，本发明所提供的一种单相机极线校正方法，所述方法包含：利用朝向相同且相对位置不变的相机和散斑投射器，采集不同距离下投射有散斑的平板图像，获得第一平面散斑图像和第二平面散斑图像；通过图像匹配算法匹配所述第一平面散斑图像和第二平面散斑图像，获得亚像素匹配点；根据所述亚像素匹配点在第一平面散斑图像上对应的物理坐标和在第二平面散斑图像上对应的物理坐标，获得两者之间的映射矩阵；根据所述映射矩阵获得投射器中心在相机参考系中的方向向量；调节相机参考系的坐标轴方向，使水平轴方向与方向向量对齐，并更新相机的成像矩阵；通过所述成像矩阵将目标场景图像映射获得极线校正后的图像。
在上述单相机极线校正方法中，优选的，根据所述亚像素匹配点在第一平面散斑图像上对应的物理坐标和在第二平面散斑图像上对应的物理坐标包含：根据所述亚像素匹配点中每一组亚像素匹配点的像素坐标，通过内参数转换法分别计算获得所述亚像素匹配点在第一平面散斑图像上对应的物理坐标和在第二平面散斑图像上对应的物理坐标。
在上述单相机极线校正方法中，优选的，根据所述亚像素匹配点在第一平面散斑图像上对应的物理坐标和在第二平面散斑图像上对应的物理坐标，获得两者之间的映射矩阵包含：计算第一平面散斑图像上的物理坐标与第二平面散斑图像上对应的物理坐标之间的映射矩阵；所述映射矩阵如下：
Figure BDA0002452953480000021
在上式中，H为映射矩阵，μ为标量，v为对应于投射器中心在相机上的投影位置的齐次坐标和投射器中心在相机参考系中的方向向量，a为二维向量的齐次表示。
在上述单相机极线校正方法中，优选的，通过所述成像矩阵将目标场景图像映射获得极线校正后的图像还包含：利用插值法计算目标场景图像上各亚像素点的灰度，将所述灰度赋予校正后的图像上对应像素点。
本发明还提供一种单相机极线校正装置，所述装置包含图像采集模块、匹配模块、构建模块、计算模块、分析模块和处理模块；所述图像采集模块用于利用朝向相同且相对位置不变的相机和散斑投射器，采集不同距离下投射有散斑的平板图像，获得第一平面散斑图像和第二平面散斑图像；所述匹配模块用于通过图像匹配算法匹配所述第一平面散斑图像和第二平面散斑图像，获得亚像素匹配点；所述构建模块用于根据所述亚像素匹配点在第一平面散斑图像上对应的物理坐标和在第二平面散斑图像上对应的物理坐标，获得两者之间的映射矩阵；所述计算模块用于根据所述映射矩阵获得投射器中心在相机参考系中的方向向量；所述分析模块用于调节相机参考系的坐标轴方向，使水平轴方向与方向向量对齐，并更新相机的成像矩阵；所述处理模块用于通过所述成像矩阵将目标场景图像映射获得极线校正后的图像。
在上述单相机极线校正装置中，优选的，所述构建模块包含：根据所述亚像素匹配点中每一组亚像素匹配点的像素坐标，通过内参数转换法分别计算获得所述亚像素匹配点在第一平面散斑图像上对应的物理坐标和在第二平面散斑图像上对应的物理坐标。
在上述单相机极线校正装置中，优选的，所述构建模块还包含：计算第一平面散斑图像上的物理坐标与第二平面散斑图像上对应的物理坐标之间的映射矩阵；所述映射矩阵如下：
Figure BDA0002452953480000031
在上式中，H为映射矩阵，μ为标量，v为对应于投射器中心在相机上的投影位置的齐次坐标和投射器中心在相机参考系中的方向向量，a为二维向量的齐次表示。
在上述单相机极线校正装置中，优选的，所述处理模块还包含：利用插值法计算目标场景图像上各亚像素点的灰度，将所述灰度赋予校正后的图像上对应像素点。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
本发明的有益技术效果在于：能够以较为简单的结构，实现较低成本和功耗下提高图像的校准精度，为后续图像识别等技术提供较好的数据支持。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1为本发明一实施例所提供的单相机极线校正方法的流程示意图；
图2为本发明一实施例所提供的单相机极线校正方法应用流程示意图；
图3为本发明一实施例所提供的单相机极线校正方法的原理示意图；
图4为本发明一实施例所提供的单相机极线校正系统的结构示意图；
图5为本发明一实施例所提供的电子设备的结构示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
请参考图1所示，本发明所提供的一种单相机极线校正方法，所述方法包含：S101利用朝向相同且相对位置不变的相机和散斑投射器，采集不同距离下投射有散斑的平板图像，获得第一平面散斑图像和第二平面散斑图像；S102通过图像匹配算法匹配所述第一平面散斑图像和第二平面散斑图像，获得亚像素匹配点；S103根据所述亚像素匹配点在第一平面散斑图像上对应的物理坐标和在第二平面散斑图像上对应的物理坐标，获得两者之间的映射矩阵；S104根据所述映射矩阵获得投射器中心在相机参考系中的方向向量；S105调节相机参考系的坐标轴方向，使水平轴方向与方向向量对齐，并更新相机的成像矩阵；S106通过所述成像矩阵将目标场景图像映射获得极线校正后的图像。其中，步骤S101中通过不同距离下拍摄投射有散斑的平板包含：所述平板覆盖拍摄相机的所有视场；以此，使得采集到的图像包含更多的散斑元素，可更进一步精确后续计算结果；当然，因实际需求不同，也可采用小于相机视场的平板，仅需保证第一平面散斑图像和第二平面散斑图像上均含有散斑即可，本领域相关技术人员可根据实际需要选择使用，本发明对其不做进一步限定；实际工作中，本发明所采用的设备仅包含一台相机和一个散斑投射器，相机和投射器的朝向相同，且相对位置固定不变。该方法首先将一张白色平板置于相机和投射器的正前方，由投射器将散斑图案投射在平板之上，并由相机拍摄平板图像。将平板放置在设备正前方的两个不同距离处分别拍摄，获得两张带有散斑的平板图像即第一平面散斑图像和第二平面散斑图像。
在本发明一实施例中，步骤S103中根据所述亚像素匹配点在第一平面散斑图像上对应的物理坐标和在第二平面散斑图像上对应的物理坐标包含：根据所述亚像素匹配点中每一组亚像素匹配点的像素坐标，通过内参数转换法分别计算获得所述亚像素匹配点在第一平面散斑图像上对应的物理坐标和在第二平面散斑图像上对应的物理坐标；以此物理坐标为基础，则可通过射影几何理论计算第一平面散斑图像上的物理坐标与第二平面散斑图像上对应的物理坐标之间的映射矩阵；所述映射矩阵如下：
Figure BDA0002452953480000051
在上式中，H为映射矩阵，μ为标量，v为对应于投射器中心在相机上的投影位置的齐次坐标和投射器中心在相机参考系中的方向向量，a为二维向量的齐次表示。
在本发明一实施例中，上述步骤S106中通过所述成像矩阵将目标场景图像映射获得极线校正后的图像还包含：利用插值法计算目标场景图像上各亚像素点的灰度，将所述灰度赋予校正后的图像上对应像素点；以此提高图像的精准度。
为更清楚的说明本发明所提供的上述单相机极线校正方法，以下以具体实例对上述各流程做整体说明，本领域相关技术人员当可知，该实例仅为便于理解上述各流程的组合实施方式，并不对其做进一步限定。
请参考图2及图3所示：
1、将一张白色平板分别放置在设备正前方的两个不同距离处，在每个距离处，使平板能够尽可能覆盖相机的整个视场，由散斑投射器将散斑图案投射在平板上，并由相机拍摄得到两张带有散斑的平板图像。
2、对两张图像进行亚像素匹配，对于图像1中的若干个像素点，分别找到它们在图像2中的亚像素匹配点。匹配方法可以采用块匹配，也可以采用现有的其他匹配方法。
3、根据每一组匹配点的像素坐标，计算它们的物理成像坐标，该过程可以通过内参数转换实现：
Figure BDA0002452953480000052
其中(xi,yi)T为图像1中某点pi的像素坐标，(x′i,y′i)T为该点在图像2中的匹配点pi′的像素坐标。(ui,vi)T为pi对应的物理成像坐标，(u′i,v′i)T为p′i对应的物理成像坐标，A为相机的内参数矩阵。
4、计算由(ui,vi)T，(i＝1,2,…,n)到(u′i,v′i)T，(i＝1,2,…,n)的映射矩阵H。
H为一个3×3的单应性矩阵，根据射影几何的相关理论，H可由如下方程进行描述：
Figure BDA0002452953480000061
其中μ为标量，v和a均为二维向量的齐次表示，其中v对应于投射器中心在相机上的投影位置的齐次坐标，同时也可以用来表达投射器中心在相机参考系中的方向向量。因此H可以由相互独立的5个参数来表达。
计算H可以采用迭代最优化的方法实现，最优化的目标函数可表示为：
Figure BDA0002452953480000062
其中：
Figure BDA0002452953480000063
5、从映射矩阵H中获得投射器中心在相机参考系中的方向向量v。通过步骤4计算得到H后，其中的向量v也可相应得到。v即是投射器中心在相机参考系中的方向向量。
6、调节相机参考系的坐标轴方向，使相机参考系的X轴与v对齐，然后更新相机的成像矩阵。具体方法如下；
将校正前相机的成像矩阵表示为：
P＝A[R|t]；
其中：
Figure BDA0002452953480000064
是校正前相机的旋转矩阵。A和t分别是相机的内参数矩阵和平移向量。
设校正后相机的旋转矩阵为；
Figure BDA0002452953480000065
其中
Figure BDA0002452953480000066
表示校正后相机参考系X轴的方向向量，其计算方法为：
Figure BDA0002452953480000067
Figure BDA0002452953480000068
表示校正后相机参考系Y轴的方向向量，其计算方法为：
Figure BDA0002452953480000069
Figure BDA0002452953480000071
表示校正后相机参考系Z轴的方向向量，其计算方法为：
Figure BDA0002452953480000072
校正前后内参数矩阵A和平移向量t不变。因此，可以得到校正后相机的成像矩阵：
Figure BDA0002452953480000073
7、根据校正后的成像矩阵，将原始的场景图像映射为一张新的图像，即为极线校正后的图像。首先，利用下式获得变换矩阵T：
Figure BDA0002452953480000074
矩阵T将原始的场景图像上的像素坐标映射到校正后的图像上。校正后图像的生成方法为：对于校正后的图像上的每一个像素位置
Figure BDA0002452953480000075
通过T计算该点在原始图像上对应的像素位置(x,y)T，由于该位置一般不是整数，因此利用灰度插值的方法计算位置(x,y)T处的灰度，然后将它赋给校正后图像上的像素位置
Figure BDA0002452953480000076
对每个像素执行上述操作，即可获得整个校正后的图像。该图像可以等效成相机与投射器处在理想位置关系，即连接相机光心和投射器中心的直线与相机参考系的X轴平行的条件下所拍摄得到的图像。
再请参考图4所示，本发明还提供一种单相机极线校正装置，所述装置包含图像采集模块、匹配模块、构建模块、计算模块、分析模块和处理模块；所述图像采集模块用于利用朝向相同且相对位置不变的相机和散斑投射器，采集不同距离下投射有散斑的平板图像，获得第一平面散斑图像和第二平面散斑图像；所述匹配模块用于通过图像匹配算法匹配所述第一平面散斑图像和第二平面散斑图像，获得亚像素匹配点；所述构建模块用于根据所述亚像素匹配点在第一平面散斑图像上对应的物理坐标和在第二平面散斑图像上对应的物理坐标，获得两者之间的映射矩阵；所述计算模块用于根据所述映射矩阵获得投射器中心在相机参考系中的方向向量；所述分析模块用于调节相机参考系的坐标轴方向，使水平轴方向与方向向量对齐，并更新相机的成像矩阵；所述处理模块用于通过所述成像矩阵将目标场景图像映射获得极线校正后的图像。
在上述实施例中，所述构建模块包含：根据所述亚像素匹配点中每一组亚像素匹配点的像素坐标，通过内参数转换法分别计算获得所述亚像素匹配点在第一平面散斑图像上对应的物理坐标和在第二平面散斑图像上对应的物理坐标；进一步的，所述构建模块还包含：通过射影几何理论计算第一平面散斑图像上的物理坐标与第二平面散斑图像上对应的物理坐标之间的映射矩阵；所述映射矩阵如下：
Figure BDA0002452953480000081
在上式中，H为映射矩阵，μ为标量，v为对应于投射器中心在相机上的投影位置的齐次坐标和投射器中心在相机参考系中的方向向量，a为二维向量的齐次表示。
在本发明一实施例中，所述处理模块还包含：利用插值法计算目标场景图像上各亚像素点的灰度，将所述灰度赋予校正后的图像上对应像素点。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
本发明的有益技术效果在于：能够以较为简单的结构，实现较低成本和功耗下较高的校准精度，为后续图像识别等技术提供较好的数据支持。
如图5所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图5中所示的所有部件；此外，电子设备600还可以包括图5中没有示出的部件，可以参考现有技术。
如图5所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。
其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。
输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。
存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种单相机极线校正方法，其特征在于，所述方法包含：
利用朝向相同且相对位置不变的相机和散斑投射器，采集不同距离下投射有散斑的平板图像，获得第一平面散斑图像和第二平面散斑图像；
通过图像匹配算法匹配所述第一平面散斑图像和第二平面散斑图像，获得亚像素匹配点；
根据所述亚像素匹配点在第一平面散斑图像上对应的物理坐标和在第二平面散斑图像上对应的物理坐标，获得两者之间的映射矩阵；
根据所述映射矩阵获得投射器中心在相机参考系中的方向向量；
调节相机参考系的坐标轴方向，使水平轴方向与方向向量对齐，并更新相机的成像矩阵；
通过所述成像矩阵将目标场景图像映射获得极线校正后的图像。
2.根据权利要求1所述的单相机极线校正方法，其特征在于，根据所述亚像素匹配点在第一平面散斑图像上对应的物理坐标和在第二平面散斑图像上对应的物理坐标包含：根据所述亚像素匹配点中每一组亚像素匹配点的像素坐标，通过内参数转换法分别计算获得所述亚像素匹配点在第一平面散斑图像上对应的物理坐标和在第二平面散斑图像上对应的物理坐标。
3.根据权利要求1所述的单相机极线校正方法，其特征在于，根据所述亚像素匹配点在第一平面散斑图像上对应的物理坐标和在第二平面散斑图像上对应的物理坐标，获得两者之间的映射矩阵包含：
计算第一平面散斑图像上的物理坐标与第二平面散斑图像上对应的物理坐标之间的映射矩阵；所述映射矩阵如下：
Figure FDA0002452953470000011
在上式中，H为映射矩阵，μ为标量，v为对应于投射器中心在相机上的投影位置的齐次坐标和投射器中心在相机参考系中的方向向量，a为二维向量的齐次表示。
4.根据权利要求1所述的单相机极线校正方法，其特征在于，通过所述成像矩阵将目标场景图像映射获得极线校正后的图像还包含：
利用插值法计算目标场景图像上各亚像素点的灰度，将所述灰度赋予校正后的图像上对应像素点。
5.一种单相机极线校正装置，其特征在于，所述装置包含图像采集模块、匹配模块、构建模块、计算模块、分析模块和处理模块；
所述图像采集模块用于利用朝向相同且相对位置不变的相机和散斑投射器，采集不同距离下投射有散斑的平板图像，获得第一平面散斑图像和第二平面散斑图像；
所述匹配模块用于通过图像匹配算法匹配所述第一平面散斑图像和第二平面散斑图像，获得亚像素匹配点；
所述构建模块用于根据所述亚像素匹配点在第一平面散斑图像上对应的物理坐标和在第二平面散斑图像上对应的物理坐标，获得两者之间的映射矩阵；
所述计算模块用于根据所述映射矩阵获得投射器中心在相机参考系中的方向向量；
所述分析模块用于调节相机参考系的坐标轴方向，使水平轴方向与方向向量对齐，并更新相机的成像矩阵；
所述处理模块用于通过所述成像矩阵将目标场景图像映射获得极线校正后的图像。
6.根据权利要求5所述的单相机极线校正装置，其特征在于，所述构建模块包含：根据所述亚像素匹配点中每一组亚像素匹配点的像素坐标，通过内参数转换法分别计算获得所述亚像素匹配点在第一平面散斑图像上对应的物理坐标和在第二平面散斑图像上对应的物理坐标。
7.根据权利要求5所述的单相机极线校正装置，其特征在于，所述构建模块还包含：
计算第一平面散斑图像上的物理坐标与第二平面散斑图像上对应的物理坐标之间的映射矩阵；所述映射矩阵如下：
Figure FDA0002452953470000021
在上式中，H为映射矩阵，μ为标量，v为对应于投射器中心在相机上的投影位置的齐次坐标和投射器中心在相机参考系中的方向向量，a为二维向量的齐次表示。
8.根据权利要求5所述的单相机极线校正装置，其特征在于，所述处理模块还包含：
利用插值法计算目标场景图像上各亚像素点的灰度，将所述灰度赋予校正后的图像上对应像素点。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至4任一所述方法的计算机程序。
CN202010298041.9A 2020-04-16 2020-04-16 单相机极线校正方法及装置 Active CN111540004B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010298041.9A CN111540004B (zh) 2020-04-16 2020-04-16 单相机极线校正方法及装置
PCT/CN2021/087040 WO2021208933A1 (zh) 2020-04-16 2021-04-13 用于相机的图像校正方法和装置
US17/488,502 US20220036521A1 (en) 2020-04-16 2021-09-29 Image correction method and apparatus for camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010298041.9A CN111540004B (zh) 2020-04-16 2020-04-16 单相机极线校正方法及装置

Publications (2)

Publication Number Publication Date
CN111540004A true CN111540004A (zh) 2020-08-14
CN111540004B CN111540004B (zh) 2023-07-14

Family

ID=71978575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010298041.9A Active CN111540004B (zh) 2020-04-16 2020-04-16 单相机极线校正方法及装置

Country Status (3)

Country Link
US (1) US20220036521A1 (zh)
CN (1) CN111540004B (zh)
WO (1) WO2021208933A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184811A (zh) * 2020-09-22 2021-01-05 合肥的卢深视科技有限公司 单目空间结构光系统结构校准方法及装置
CN113034565A (zh) * 2021-03-25 2021-06-25 奥比中光科技集团股份有限公司 一种单目结构光的深度计算方法及系统
WO2021208933A1 (zh) * 2020-04-16 2021-10-21 北京清微智能科技有限公司 用于相机的图像校正方法和装置
CN113793387A (zh) * 2021-08-06 2021-12-14 中国科学院深圳先进技术研究院 单目散斑结构光系统的标定方法、装置及终端
CN113902652A (zh) * 2021-12-10 2022-01-07 南昌虚拟现实研究院股份有限公司 散斑图像校正方法、深度计算方法、装置、介质及设备
WO2023010565A1 (zh) * 2021-08-06 2023-02-09 中国科学院深圳先进技术研究院 单目散斑结构光系统的标定方法、装置及终端

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10514444B2 (en) 2017-07-28 2019-12-24 OPSYS Tech Ltd. VCSEL array LIDAR transmitter with small angular divergence
CN111356934B (zh) 2017-11-15 2024-03-12 欧普赛斯技术有限公司 噪声自适应固态lidar系统
JP2022526998A (ja) 2019-04-09 2022-05-27 オプシス テック リミテッド レーザ制御を伴うソリッドステートｌｉｄａｒ送光機
CN114926371B (zh) * 2022-06-27 2023-04-07 北京五八信息技术有限公司 一种全景图的垂直校正、灭点检测方法、设备及存储介质
CN115546311B (zh) * 2022-09-28 2023-07-25 中国传媒大学 一种基于场景信息的投影仪标定方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651794A (zh) * 2016-12-01 2017-05-10 北京航空航天大学 一种基于虚拟相机的投影散斑校正方法
CN108629841A (zh) * 2018-05-08 2018-10-09 深圳大学 一种基于激光散斑多视点三维数据测量方法及系统
CN109461181A (zh) * 2018-10-17 2019-03-12 北京华捷艾米科技有限公司 基于散斑结构光的深度图像获取方法及系统
US20190188873A1 (en) * 2017-12-18 2019-06-20 Ningbo YX Information Technology Co., Ltd. Automatic Correction Method and Device for Structured-light 3D Depth Camera
CN110580716A (zh) * 2018-06-07 2019-12-17 凌上科技(北京)有限公司 一种深度信息采集方法、装置以及介质
CN110853086A (zh) * 2019-10-21 2020-02-28 北京清微智能科技有限公司 基于散斑投影的深度图像生成方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8400494B2 (en) * 2005-10-11 2013-03-19 Primesense Ltd. Method and system for object reconstruction
CN103868524B (zh) * 2013-12-23 2017-07-04 西安新拓三维光测科技有限公司 一种基于散斑图案的单目测量系统标定方法及装置
CN111540004B (zh) * 2020-04-16 2023-07-14 北京清微智能科技有限公司 单相机极线校正方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651794A (zh) * 2016-12-01 2017-05-10 北京航空航天大学 一种基于虚拟相机的投影散斑校正方法
US20190188873A1 (en) * 2017-12-18 2019-06-20 Ningbo YX Information Technology Co., Ltd. Automatic Correction Method and Device for Structured-light 3D Depth Camera
CN108629841A (zh) * 2018-05-08 2018-10-09 深圳大学 一种基于激光散斑多视点三维数据测量方法及系统
CN110580716A (zh) * 2018-06-07 2019-12-17 凌上科技(北京)有限公司 一种深度信息采集方法、装置以及介质
CN109461181A (zh) * 2018-10-17 2019-03-12 北京华捷艾米科技有限公司 基于散斑结构光的深度图像获取方法及系统
CN110853086A (zh) * 2019-10-21 2020-02-28 北京清微智能科技有限公司 基于散斑投影的深度图像生成方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭继平: "基于散斑投影的多节点传感整体三维自动测量技术研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021208933A1 (zh) * 2020-04-16 2021-10-21 北京清微智能科技有限公司 用于相机的图像校正方法和装置
CN112184811A (zh) * 2020-09-22 2021-01-05 合肥的卢深视科技有限公司 单目空间结构光系统结构校准方法及装置
CN113034565A (zh) * 2021-03-25 2021-06-25 奥比中光科技集团股份有限公司 一种单目结构光的深度计算方法及系统
CN113793387A (zh) * 2021-08-06 2021-12-14 中国科学院深圳先进技术研究院 单目散斑结构光系统的标定方法、装置及终端
WO2023010565A1 (zh) * 2021-08-06 2023-02-09 中国科学院深圳先进技术研究院 单目散斑结构光系统的标定方法、装置及终端
CN113902652A (zh) * 2021-12-10 2022-01-07 南昌虚拟现实研究院股份有限公司 散斑图像校正方法、深度计算方法、装置、介质及设备
CN113902652B (zh) * 2021-12-10 2022-03-08 南昌虚拟现实研究院股份有限公司 散斑图像校正方法、深度计算方法、装置、介质及设备

Also Published As

Publication number Publication date
US20220036521A1 (en) 2022-02-03
CN111540004B (zh) 2023-07-14
WO2021208933A1 (zh) 2021-10-21

Similar Documents

Publication Publication Date Title
CN111540004B (zh) 单相机极线校正方法及装置
CN109754426B (zh) 一种用于摄像标定参数验证的方法、系统和装置
WO2021103347A1 (zh) 投影仪的梯形校正方法、装置、系统及可读存储介质
CN107767422B (zh) 一种鱼眼镜头的校正方法、装置及便携式终端
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
JP5902297B2 (ja) 撮像デバイスを較正するための方法および装置
US10726580B2 (en) Method and device for calibration
US10063792B1 (en) Formatting stitched panoramic frames for transmission
CN112399158B (zh) 投影图像校准方法、装置及投影设备
CN103843329A (zh) 用于立体图像对的有条件显示的方法和设备
CN113034612B (zh) 一种标定装置、方法及深度相机
CN112308925A (zh) 可穿戴设备的双目标定方法、设备及存储介质
TW201931303A (zh) 提供影像的方法及用於支持所述方法的電子裝置
CN105513074B (zh) 一种羽毛球机器人相机以及车身到世界坐标系的标定方法
TWI820246B (zh) 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品
CN109341718A (zh) 基于多目视觉的标定方法和装置
CN114125411A (zh) 投影设备校正方法、装置、存储介质以及投影设备
CN111696141B (zh) 一种三维全景扫描采集方法、设备及存储设备
CN112598751A (zh) 标定方法及装置、终端和存储介质
JP2009301181A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
CN115965697A (zh) 基于沙姆定律的投影仪标定方法、标定系统及装置
CN114967170B (zh) 基于柔性裸眼三维显示设备的显示处理方法及其装置
WO2020255766A1 (ja) 情報処理装置、情報処理方法、プログラム、投映装置、および情報処理システム
CN109981932A (zh) 基于结构光的深度相机及其校正方法
CN114140771A (zh) 一种图像深度数据集自动标注方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhou Kai

Inventor after: Tang Shibin

Inventor after: OuYang Peng

Inventor after: Li Xiudong

Inventor after: Wang Bo

Inventor before: Zhou Kai

Inventor before: Yin Shouyi

Inventor before: Tang Shibin

Inventor before: OuYang Peng

Inventor before: Li Xiudong

Inventor before: Wang Bo