CN101236653A - 图像校正方法及系统 - Google Patents

图像校正方法及系统 Download PDF

Info

Publication number
CN101236653A
CN101236653A CN200810081643.8A CN200810081643A CN101236653A CN 101236653 A CN101236653 A CN 101236653A CN 200810081643 A CN200810081643 A CN 200810081643A CN 101236653 A CN101236653 A CN 101236653A
Authority
CN
China
Prior art keywords
picture
stereo
conversion
polar curve
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200810081643.8A
Other languages
English (en)
Other versions
CN101236653B (zh
Inventor
李凯
王静
刘源
方平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN200810081643.8A priority Critical patent/CN101236653B/zh
Publication of CN101236653A publication Critical patent/CN101236653A/zh
Priority to EP08873164A priority patent/EP2204769A4/en
Priority to PCT/CN2008/073404 priority patent/WO2009109090A1/zh
Priority to US12/874,468 priority patent/US8849010B2/en
Application granted granted Critical
Publication of CN101236653B publication Critical patent/CN101236653B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

本发明的实施例涉及图像校正方法及系统。图像校正方法的实施例包括:获取原始立体图像对;将原始立体图像对对应的极线进行平行处理,得到第一次变换立体图像对;将第一次变换立体图像对对应的极线进行共线处理,得到第二次变换立体图像对。图像校正系统的实施例包括:图像对获取模块,用于获取原始立体图像对;极线平行变换模块,与图像对获取模块连接,用于将原始立体图像对对应的极线进行平行处理,得到第一次变换立体图像对;极线共线变换模块,与极线平行变换模块连接,用于将第一次变换立体图像对对应的极线进行共线处理,得到第二次变换立体图像对。本发明使得立体图像对经图像校正后所对应的极线不仅平行且在同一条水平线上。

Description

图像校正方法及系统
技术领域
本发明涉及一种图像校正方法及系统,属于图像校正技术领域。
背景技术
立体图像对是摄像机在不同的位置对同一场景的记录,同一物点在两个成像平面内的像点称为对应点,从立体图像对中对应点的视差可以提取出场景的距离信息。由于立体图像对存在外极几何约束,对应点可以在相应的外极线上寻找。在立体视觉系统中,一般需要两个摄像机。图1为由两个摄像机组成的立体视觉系统模型,其中(o,o′)为摄像机的光心,点M为空间中某一点,m和m’分别是左右摄像机对空间点M所拍摄的图像。
在摄像机坐标系中,存在着极线约束:直线oo′与图像平面R,R′交于两点e,e′,称之为极点。两个图像中过极点的线称之为极线。第一图像平面中的任一点,其在另一图像平面内的对应点一定落在它的极线上。如图1,对于点m,通过点m,点e的直线1为第一图像平面的一条极线,点m的对应点为m’,m’在通过点e的直线1’上,即对于点m,存在和第二图像平面的极线1’的对射关系。
理想的立体图像对中对应点只有水平视差,不存在垂直视差,理想立体图像对的匹配只需要沿图像的水平扫描线搜寻对应点,因此理想立体图像对的匹配速度较快,能消除匹配的多义性。立体图像对的校正就是将一般的立体图像对变换为理想立体图像对的过程。
立体图像对的校正分为两种情况进行,一种是在摄像机标定的情况下进行,另一种是在无摄像机标定的情况下进行。
在摄像机标定的情况下,获得摄像机的内外参数后,首先对立体图像对进行校正。校正的过程具体为:将原始图像投影到一个公共的图像平面上,这个公共的图像平面方向由双目立体视觉系统基线与原始的两个图像平面交线的叉积确定。
在无摄像机标定的情况下,获得一系列对应点后,在对立体图像对进行校正前必须分别在图像对中通过角点提取算法提取角点集,然后用特征匹配方法建立两个角点集中角点的一一对应关系,然后建立点对集,其中两个一一对应的角点构成一组点对。发明人在实施本发明的过程中,发现现有技术至少存在如下缺陷:
(1)校正立体图像对时,所获得的效果一般只能够使得立体图像对对应的极线平行,不能够使得立体图像对对应的极线在同一条水平线上;
(2)现有的校正立体图像对的算法适应能力较差,仅在双目摄像机平台搭建较好的情况下能够获得较好的效果,但当双目摄像机平台由于机械或人为架设原因,与理想双目摄像机平台差距较远时,校正效果较差;
(3)并没有考虑在立体视频下的应用,一般,校正了的图像都会产生黑边,如何最优裁减黑边并没有考虑。
发明内容
本发明实施例的第一方面是提供一种图像校正方法,使得立体图像对经图像校正后所对应的极线不仅平行,而且能够在同一条水平线上。
本发明实施例的第二方面是提供一种图像校正系统,使得立体图像对经图像校正后所对应的极线不仅平行,而且能够在同一条水平线上。
为实现本发明实施例的第一方面,本发明一种图像校正方法的实施例,包括:获取原始立体图像对;将原始立体图像对对应的极线进行平行处理,得到第一次变换立体图像对;将第一次变换立体图像对对应的极线进行共线处理,得到第二次变换立体图像对。
为实现本发明实施例的第二方面,本发明一种图像校正系统的实施例,包括:图像对获取模块,用于获取原始立体图像对;极线平行变换模块,与图像对获取模块连接,用于将原始立体图像对对应的极线进行平行处理,得到第一次变换立体图像对;极线共线变换模块,与极线平行变换模块连接,用于将第一次变换立体图像对对应的极线进行共线处理,得到第二次变换立体图像对。
上述各种技术方案中,首先对原始立体图像对对应的极线进行平行处理,同时得到第一次变换立体图像对,然后再对第一次变换立体图像对对应的极线进行共线处理,同时得到第二次变换立体图像对,通过对极线的平行及共线处理,以解决针对双目摄像机平台搭建较差时测得的立体图像对,也能够获得较好的校正效果。
附图说明
图1为现有的极线约束原理示意图;
图2为本发明图像校正方法实施例一流程图;
图3为本发明图像校正方法实施例二流程图;
图4为本发明图像校正方法实施例三流程图;
图5为本发明图像校正方法实施例四流程图;
图6为本发明图像校正方法实施例五流程图;
图7为本发明图像校正系统实施例一的结构示意图;
图8为本发明图像校正系统实施例二的结构示意图;
图9为本发明图像校正系统实施例三的结构示意图;
图10为本发明图像校正系统实施例四的结构示意图;
图11为本发明图像校正系统实施例五的结构示意图。
具体实施方式
下面通过附图和实施例,对本发明实施例的技术方案做进一步的详细描述。
本发明的一些实施例提供了一种图像校正方法,以下图像校正方法实施例一至实施例五并结合附图2-6用以说明图像校正方法的具体流程。
参见图2,为本发明图像校正方法实施例一流程图。如图2所示,本实施例包括:
步骤1、获取原始立体图像对;
步骤2、将原始立体图像对对应的极线进行平行处理,得到第一次变换立体图像对;
步骤3、将第一次变换立体图像对对应的极线进行共线处理,得到第二次变换立体图像对。
本实施例中首先对原始立体图像对对应的极线进行平行处理,同时得到第一次变换立体图像对,然后再对第一次变换立体图像对对应的极线进行共线处理,同时得到第二次变换立体图像对;通过对获取的立体图像对对应的极线进行平行及共线处理,从而获得具有较好校正效果的立体图像对;尤其是在针对双目摄像机平台搭建较差时测得的立体图像对进行校正时,也能够获得较好的校正效果。
参见图3,为本发明图像校正方法实施例二流程图。如图3所示,在该实施例中,上述图像校正方法实施例一中的步骤2具体包括:
步骤211、根据立体视觉系统的基线与所述原始立体图像对所在的平面确定基本平面;
步骤212、将所述原始立体图像对投影到该基本平面上,得到投影变化立体图像对;
步骤213、将该投影立体图像对对应的极线进行平行处理。
该实施例中,立体图像校正采用的是标定方式,即根据双目摄像机的内外参数(该实施例中,如立体视觉系统的基线)与原始立体图像对所在的平面确定基本平面,该基本平面可以由双目立体视觉系统基线与两个原始图像平面交线的叉积进行确定。
上述实施例中,在步骤1获取原始立体图像对后还可以包括:建立立体图像点对集。
参见图4,为本发明图像校正方法实施例三流程图。如图4所示,在该实施例中,上述图像校正方法实施例一中的步骤1与步骤2之间还包括:
步骤102、建立立体图像点对集。图像点对集可以通过以下方式建立,通过角点提取算法提取角点集,然后用特征匹配方法建立两个角点集中角点的一一对应关系,然后建立点对集,其中两个一一对应的角点构成一组点对。
当存在立体图像点对集时,所述步骤2可以具体包括:
步骤221、从立体图像点对集中选择任意一立体图像点对;
步骤222、根据该立体图像点对计算基本矩阵;
步骤223、根据该基本矩阵对原始立体图像对对应的极线进行平行处理。
该实施例中,立体图像校正采用的是非标定方式,非标定方式的前提是已知包含有一系列一一对应点的坐标的点对集,然后根据该立体图像点对集中的任意一立体图像点对计算基本矩阵;根据该基本矩阵对原始立体图像对对应的极线进行平行处理。该实施例相对于上述图像校正方法实施例二,由于采用非标定的方式进行图像校正,因此具有较强的适应性。
以上实施例中所述的极线平行和/或共线的校正过程一般会使校正后的立体图像对相对于原始立体图像对发生或多或少的偏离,为了尽可能的减小校正后的立体图像对相对于原始立体图像对的偏离,可以分别对校正后的立体图像对的中心进行变换,使得校正后的立体图像对尽可能的居中。参见图5,为本发明图像校正方法实施例四流程图。如图5所示,在该实施例中,上述图像校正方法实施例一中的步骤3之后还包括:
步骤4、将第二次变换立体图像对分别按照原始立体图像对的中心进行图像居中处理,得到第三次变换立体图像对。
该实施例中,在所述的极线平行和共线处理之后,将第二次变换立体图像对分别按照原始立体图像对的中心进行图像居中处理,具体可以通过极线校正矩阵,变换到原始图像的中心点,求出新的校正变换,使得校正后的图像尽可能地位于原始图像的中心,而不至于偏离过大。
以上实施例中所述的极线平行和/或共线的校正过程一般会使校正后的立体图像对相对于原始立体图像对发生或多或少的旋转或平移等变换火变形,导致图像边界产生黑边。为了能够在实时视频系统中应用极线平行和/或共线校正,必须有效地去掉黑边,并且保证极线对齐、去掉最少的黑边,以保留最大图像区域。参见图6,为本发明图像校正方法实施例五流程图。如图6所示,在该实施例中,上述图像校正方法实施例四中的步骤4之后还包括:
步骤51、分别计算出第二次变换立体图像对的四个顶点坐标的X轴向值,去掉最大值及最小值;
步骤52、分别计算出第二次变换立体图像对的四个顶点左边的Y轴向值,去掉最大值及最小值;
步骤53、分别得到第二次变换立体图像对的裁减区域的最大、最小顶点坐标,得到第四次变换立体图像对。
以下以一具体实施说明本发明图像校正方法的一较佳实施例的完整流程。该实例中的立体图像校正采用的是非标定方式。
(1)极线平行校正
(11)对于任意的立体图像点对(p1,p2),两点与基本矩阵F的代数关系为: p 1 T Fp 2 = 0 .
说明:该式表明,点p1∈l1=Fp2;同理,p2∈l2=FTp1。其中l1和l2分别为点p1与点p2对应极线。
(12)当立体图像对被校正后,虚拟立体视觉系统的左、右的极点为:
e 1 = e 2 = 1 0 0
(13)当立体图像对被校正后,虚拟立体视觉系统的理想基本矩阵:
F = [ e 1 ] x = 0 0 0 0 0 - 1 0 1 0
(14)校正变换前后不变的有:
光心位置不变、摄像机内参不变。但一般左、右摄像机有少许差别,可简单处理获得虚拟立体视觉系统中摄像机内参为原始左、右摄像机内参的加权平均,或者直接把左摄像机内参赋值给右摄像机内参值。
(15)令最终的投影变换矩阵分别为PnewL、PnewR,且有形式:
P newL = K L R newL t newL = Q newL q newL = q 1 T q 14 q 2 T q 24 q 3 T q 34 newL = K L [ R newL - R newL O L ]
P newR = K R R newR t newR = Q newR q newR = q 1 T q 14 q 2 T q 24 q 3 T q 34 newR = K R [ R newR - R newR O R ]
其中,RnewL表示左摄像机校正后的旋转矩阵,RnewR表示右摄像机校正后的旋转矩阵,tnewL表示左摄像机校正后的平移向量,tnewR表示右摄像机校正后的平移向量,KL表示表示左摄像机内参,KR表示表示右摄像机内参,OL表示左摄像机的光心,OR表示右摄像机的光心。
(16)设原始的左、右摄像机投影矩阵为:PoldL,PoldR,其形式类同于最终的投影变换矩阵,对于任意的3D空间点M,有:
m oldL ≅ P oldL M m newL ≅ P newL M
moldL表示左摄像机拍摄的空间点M的图像点;
mnewL表示左摄像机拍摄的空间点M的最终投影变换的图像点;
进而可获得:
M = O L + λ old Q oldL - 1 m oldL M = O L + λ new Q newL - 1 m newL , m newL = λQ newL Q oldL - 1 m oldL = T L m oldL
其中,λold表示校正前的尺度因子,λnew表示校正后的尺度因子。
TL为所要求的左图的极线校正变换矩阵;同理,对于右图求极线校正变换矩阵TR
(17)由于最终获得的是虚拟的立体视觉系统采集的图像对,在这个立体视觉系统中摄像机的光心与实际摄像机一致,只是通过绕光心的旋转使光轴平行,并且视觉系统中两个摄像机的焦距相同。因此,有:
( q 3 ) newL = ( q 3 ) newR ( q 34 ) newL = ( q 34 ) newR
其中,q3,q34表示理想立体摄像机系统所特有的几何特征。
光心在该虚拟平面上,则有:
P newL O L 1 = 0 P newR O R 1 = 0
(18)由(12)知道,极线校正后的立体视觉系统的极点在无穷远处,则有:
e newL = 1 0 0 = P newL O R 1 e newR = 1 0 0 = P newR O L 1
其中,enewL表示变换后的左极点,enewR表示变换后的右极点。由高等代数矩阵相等可列出相应关系式;
若设最终获得虚拟立体图像对的点为mnewL、mnewR,则有:
(mnewL)y=(mnewR)y
即:校正后的虚拟立体图像对对应的点间的Y轴向视差应为0。
(19)若最终求得的极线变换矩阵分别为TL、TR,则有:
T L ≅ Q newL Q oldL - 1 T R ≅ Q newR Q oldR - 1 , 其中Q=KR
且校正后的点对与校正后的基本矩阵的关系,moldL、moldR对应关系已知,则有:
( m newL ) T F ( m newR ) = ( T L m oldL ) T 0 0 0 0 0 - 1 0 1 0 ( T R m oldR ) = 0
由(11)~(19)可以推出极线校正变换TL、TR,此为极线平行的校正变换。
(2)极线共线校正
由已知立体图像点,和基本矩阵,由1)可求出对应点的极线l1和l2,进而可求出两个极线间的距离DeltaEpoDisttance:把该DeltaEpoDisttance加到右摄像机主点的Y轴向坐标,进而改变了摄像机内参,通过9)可求出新的校正变换矩阵,此为极线共线的校正变换。
(3)图像中心处理
I、处理左图
I1)求出新中心点坐标
由上述极线平行及共线的流程,可以求出的左图的极线校正变换矩阵设为LeftTransform,左图中心点设为LeftCenterPoint,则新的左图中心点坐标设为NewLeftCenterPoint:
NewLeftCenterPoint=LeftTransform*LeftCenterPoint
I2)求出变换前后中心点变化量DeltaLeftCenterPoint
DeltaLeftCenterPoint=LeftCenterPoint-NewLeftCenterPoint
I3)求出左摄像机新的内参矩阵
新的内参矩阵焦距不变;
主点X、Y坐标分别加上DeltaLeftCenterPoint的X、Y坐标
I4)求出新的左图像变换矩阵
利用(13)中求出的心内参矩阵以及(19)可求出新的校正变换;
I5)利用新的校正变换矩阵,变换左图,获得校正后的左图。
II、同理,处理右图。
该步骤可以对矫正后的图像,使其居中,减少图像校正偏移过大。
(4)图像裁剪处理
I、处理左图
I1)求出原始未处理的左图四个顶点;通过原始未处理图像大小,可以确定四个顶点坐标;
I2)对该四个顶点用求出的左图的极线校正变换做变换,获得校正后的四个新顶点;
I3)列出新的四个顶点的X轴向值:求出其中的中间大小值XL1、XL2,去掉最大、最小值;同理,求出Y轴向中间大小值YL1、YL2,去掉最大、最小值。
II、同理,处理右图。
II1)求出原始未处理的右图四个顶点;通过原始未处理图像大小,可以确定四个顶点坐标;
II2)对该四个顶点用求出的右图的极线校正变换做变换,获得校正后的四个新顶点;
II3)列出新的四个顶点的X轴向值:求出其中的中间大小值XR1、XR2,去掉最大、最小值;同理,求出Y轴向中间大小值YR1、YR2,去掉最大、最小值。
III、求出裁剪区域最小顶点、最大顶点坐标
III1)求出XL1、XL2、XR1、XR2的中间数,去掉最大最小值,并比较大小,有XMin,XMax;
III2)求出YL1、YL2、YR1、YR2的中间数,去掉最大最小值,并比较大小,有YMin,YMax;
III3)最终求出裁剪区域最大、最小顶点坐标
最小顶点坐标=(XMin,YMin);
最大顶点坐标=(XMax,YMax)。
该步骤对经极线校正和中心校正的处理获得的立体图对进行处理,最佳裁剪去掉由于极线校正产生的黑边。
通过裁剪黑边方法获得最终的校正后的立体图像对,该立体图像对的对应点所对应的极线处于同一水平线上,且没有黑边。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:R0M、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本发明的另一些实施例提供了一种图像校正系统,以下图像校正系统实施例一至实施例五并结合附图7-11用以说明图像校正系统的具体结构。
参见图7,为本发明图像校正系统实施例一的结构示意图。如图7所示,本实施例包括:
图像对获取模块100,用于获取原始立体图像对;
极线平行变换模块200,与图像对获取模块100连接,用于将原始立体图像对对应的极线进行平行处理,得到第一次变换立体图像对;
极线共线变换模块300,与极线平行变换模块200连接,用于将第一次变换立体图像对对应的极线进行共线处理,得到第二次变换立体图像对。
参见图8,为本发明图像校正系统实施例二的结构示意图。该实施例采用标定式立体图像校正方法。如图8所示,极线平行变换模块210包括依次连接的基本平面确定模块211、投影变化模块212及第一平行处理模块213。
在标定式立体图像校正的过程中,极线平行变换模块将原始立体图像对对应的极线进行平行处理包括:
基本平面确定模块211首先根据双目摄像机的内外参数,如立体视觉系统的基线,与原始立体图像对所在的平面确定基本平面,该基本平面可以由双目立体视觉系统基线与两个原始图像平面交线的叉积进行确定;然后投影变化模块212将所述原始立体图像对投影到该基本平面上,得到投影变化立体图像对;第一平行处理模块213再将该投影立体图像对对应的极线进行平行处理。
参见图9,为本发明图像校正系统实施例三的结构示意图。该实施例中可以采用非标定式立体图像校正方法,非标定方式的前提是已知包含有一系列一一对应点的坐标的点对集。如图9所示,该实施例中的图像校正系统还包括:图像点对集建立模块400,用于建立并存储立体图像点对集,与图像对获取模块100及极线平行变换模块220分别连接。
图像点对集可以通过以下方式建立,通过角点提取算法提取角点集,然后用特征匹配方法建立两个角点集中角点的一一对应关系,然后建立点对集,其中两个一一对应的角点构成一组点对。
极线平行变换模块220包括依次连接的基本矩阵确定模块221及第二平行处理模块222。
在非标定式立体图像校正的过程中,极线平行变换模块将原始立体图像对对应的极线进行平行处理包括:
基本矩阵确定模块221首先从立体图像点对集中选择任意一立体图像点对;然后根据该立体图像点对计算基本矩阵;第二平行处理模块222再根据该基本矩阵对原始立体图像对对应的极线进行平行处理。
该实施例相对于上述图像校正系统实施例二,由于采用非标定方式进行图像校正,因此具有较强的适应性。
参见图10,为本发明图像校正系统实施例四的结构示意图。如图10所示,本实施例相对于上述图像校正系统实施例一的区别在于还包括:图像中心处理模块500,与极线共线变换模块300连接,用于将第二次变换立体图像对分别按照原始立体图像对的中心进行图像居中处理,得到第三次变换立体图像对。
参见图11,为本发明图像校正系统实施例五的结构示意图。如图11所示,本实施例相对于上述图像校正系统实施例二的区别在于还包括:
图像中心处理模块500,与极线共线变换模块300连接,用于将第二次变换立体图像对分别按照原始立体图像对的中心进行图像居中处理,得到第三次变换立体图像对。
图像裁减处理模块600,与极线共线变换模块300连接,用于分别计算出第二次变换立体图像对的四个顶点坐标的X轴向值,去掉最大值及最小值;分别计算出第二次变换立体图像对的四个顶点左边的Y轴向值,去掉最大值及最小值;分别得到第二次变换立体图像对的裁减区域的最大、最小顶点坐标,得到第四次变换立体图像对。
本发明主要用在图像预处理中。可以应用于立体图像预处理、立体视频图像预处理、三维重建中,如与立体图像、立体视频相关的终端产品,如:立体手机、立体电视、立体显示等。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1. 一种图像校正方法,其特征在于,包括:
获取原始立体图像对;
将原始立体图像对对应的极线进行平行处理,得到第一次变换立体图像对;
将第一次变换立体图像对对应的极线进行共线处理,得到第二次变换立体图像对。
2. 根据权利要求1所述的图像校正方法,其特征在于,所述将原始立体图像对对应的极线进行平行处理包括:
根据立体视觉系统的基线与所述原始立体图像对所在的平面确定基本平面;
将所述原始立体图像对投影到该基本平面上,得到投影变化立体图像对;
将该投影立体图像对对应的极线进行平行处理。
3. 根据权利要求1所述的图像校正方法,其特征在于,所述获取原始立体图像对后还包括:建立立体图像点对集。
4. 根据权利要求3所述的图像校正方法,其特征在于,所述将原始立体图像对对应的极线进行平行处理包括:
从立体图像点对集中选择任意一立体图像点对;
根据该立体图像点对计算基本矩阵;
根据该基本矩阵对原始立体图像对对应的极线进行平行处理。
5. 根据权利要求1所述的图像校正方法,其特征在于,还包括:
将第二次变换立体图像对分别按照原始立体图像对的中心进行图像居中处理,得到第三次变换立体图像对。
6. 根据权利要求1所述的图像校正方法,其特征在于,还包括:
分别计算出第二次变换立体图像对的四个顶点坐标的X轴向值,去掉最大值及最小值;
分别计算出第二次变换立体图像对的四个顶点左边的Y轴向值,去掉最大值及最小值;
分别得到第二次变换立体图像对的裁减区域的最大、最小顶点坐标,得到第四次变换立体图像对。
7. 根据权利要求5所述的图像校正方法,其特征在于,还包括:
分别计算出第三次变换立体图像对的四个顶点坐标的X轴向值,去掉最大值及最小值;
分别计算出第三次变换立体图像对的四个顶点左边的Y轴向值,去掉最大值及最小值;
分别得到第三次变换立体图像对的裁减区域的最大、最小顶点坐标,得到第四次变换立体图像对。
8. 一种图像校正系统,其特征在于,包括:
图像对获取模块,用于获取原始立体图像对;
极线平行变换模块,与图像对获取模块连接,用于将原始立体图像对对应的极线进行平行处理,得到第一次变换立体图像对;
极线共线变换模块,与极线平行变换模块连接,用于将第一次变换立体图像对对应的极线进行共线处理,得到第二次变换立体图像对。
9. 根据权利要求8所述的图像校正系统,其特征在于,极线平行变换模块包括:
基本平面确定模块,用于根据立体视觉系统的基线与所述原始立体图像对所在的平面确定基本平面;
投影变化模块,与基本平面确定模块连接,用于将所述原始立体图像对投影到该基本平面上,得到投影变化立体图像对;
第一平行处理模块,与投影变化模块连接,用于将该投影立体图像对对应的极线进行平行处理。
10. 根据权利要求8所述的图像校正系统,其特征在于,还包括图像点对集建立模块,用于建立并存储立体图像点对集,与图像对获取模块及极线平行变换模块分别连接。
11. 根据权利要求10所述的图像校正系统,其特征在于,极线平行变换模块将原始立体图像对对应的极线进行平行处理包括:
基本矩阵确定模块,用于从立体图像点对集中选择任意一立体图像点对,根据该立体图像点对计算基本矩阵;
第二平行处理模块,与基本矩阵确定模块连接,用于根据该基本矩阵对原始立体图像对对应的极线进行平行处理。
12. 根据权利要求8所述的图像校正系统,其特征在于,还包括:
图像中心处理模块,与极线共线变换模块连接,用于将第二次变换立体图像对分别按照原始立体图像对的中心进行图像居中处理,得到第三次变换立体图像对。
13. 根据权利要求8所述的图像校正系统,其特征在于,还包括:
图像裁减处理模块,与极线共线变换模块连接,用于分别计算出第二次变换立体图像对的四个顶点坐标的X轴向值,去掉最大值及最小值;分别计算出第二次变换立体图像对的四个顶点左边的Y轴向值,去掉最大值及最小值;分别得到第二次变换立体图像对的裁减区域的最大、最小顶点坐标,得到第四次变换立体图像对。
14. 根据权利要求12所述的图像校正系统,其特征在于,还包括:
图像裁减处理模块,与图像中心处理模块连接,用于分别计算出第二次变换立体图像对的四个顶点坐标的X轴向值,去掉最大值及最小值;分别计算出第二次变换立体图像对的四个顶点坐标的Y轴向值,去掉最大值及最小值;分别得到第二次变换立体图像对的裁减区域的最大、最小顶点坐标,得到第四次变换立体图像对。
CN200810081643.8A 2008-03-03 2008-03-03 图像校正方法及系统 Expired - Fee Related CN101236653B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN200810081643.8A CN101236653B (zh) 2008-03-03 2008-03-03 图像校正方法及系统
EP08873164A EP2204769A4 (en) 2008-03-03 2008-12-09 IMAGE CORRECTION PROCESS AND SYSTEM
PCT/CN2008/073404 WO2009109090A1 (zh) 2008-03-03 2008-12-09 图像校正方法及系统
US12/874,468 US8849010B2 (en) 2008-03-03 2010-09-02 Method and system for rectifying images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200810081643.8A CN101236653B (zh) 2008-03-03 2008-03-03 图像校正方法及系统

Publications (2)

Publication Number Publication Date
CN101236653A true CN101236653A (zh) 2008-08-06
CN101236653B CN101236653B (zh) 2010-09-29

Family

ID=39920248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810081643.8A Expired - Fee Related CN101236653B (zh) 2008-03-03 2008-03-03 图像校正方法及系统

Country Status (4)

Country Link
US (1) US8849010B2 (zh)
EP (1) EP2204769A4 (zh)
CN (1) CN101236653B (zh)
WO (1) WO2009109090A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009109090A1 (zh) * 2008-03-03 2009-09-11 华为技术有限公司 图像校正方法及系统
CN101789123B (zh) * 2010-01-27 2011-12-07 中国科学院半导体研究所 一种创建基于单目机器视觉距离图的方法
CN102404595A (zh) * 2011-08-16 2012-04-04 上海交通大学 可提供3d节目拍摄指导的极线校正方法
CN102842118A (zh) * 2012-07-17 2012-12-26 刘怡光 一种鲁棒的立体像对矫正新方法
CN101577004B (zh) * 2009-06-25 2013-05-15 海信集团有限公司 一种极线矫正方法、装置和系统
CN103177250A (zh) * 2011-12-22 2013-06-26 北大方正集团有限公司 一种平面目标图像透视变形的矫正方法和系统
CN103379353A (zh) * 2012-04-25 2013-10-30 慧荣科技股份有限公司 立体取像方法、立体影像摄影机及其水平校正机台
CN104735436A (zh) * 2014-12-29 2015-06-24 深圳超多维光电子有限公司 单摄像头立体成像方法及电子设备
CN105096296A (zh) * 2014-05-05 2015-11-25 富士通株式会社 立体相机成像的校正装置、方法及电子设备
US9288475B2 (en) 2012-03-12 2016-03-15 Silicon Motion, Inc. 3D image-capturing method, 3D camera and level-alignment machine for 3D camera
CN107004399A (zh) * 2014-12-18 2017-08-01 高通股份有限公司 通过图形处理进行的视力校正
CN107784670A (zh) * 2016-08-31 2018-03-09 财团法人交大思源基金会 估算对极几何模型的方法及其系统
CN108279821A (zh) * 2017-12-19 2018-07-13 福建天泉教育科技有限公司 一种基于Unity3D引擎的滚动效果实现方法及终端

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8269820B2 (en) * 2006-11-02 2012-09-18 Konica Minolta Holdings, Inc. Wide-angle image acquiring method and wide-angle stereo camera device
WO2011009108A2 (en) * 2009-07-17 2011-01-20 Universal Robotics, Inc. System and method for automatic calibration of stereo images
EP2395769B1 (en) * 2010-06-11 2015-03-04 Nintendo Co., Ltd. Image display program, image display system, and image display method
US9070208B2 (en) 2011-05-27 2015-06-30 Lucasfilm Entertainment Company Ltd. Accelerated subsurface scattering determination for rendering 3D objects
US9280848B1 (en) * 2011-10-24 2016-03-08 Disney Enterprises Inc. Rendering images with volumetric shadows using rectified height maps for independence in processing camera rays
CN103703490B (zh) * 2011-06-29 2016-03-30 日本电气方案创新株式会社 用于产生三维特征数据的设备以及用于产生三维特征数据的方法
US9338439B2 (en) * 2012-04-02 2016-05-10 Intel Corporation Systems, methods, and computer program products for runtime adjustment of image warping parameters in a multi-camera system
US9019350B2 (en) 2012-04-12 2015-04-28 Raytheon Company Stereo rectification method
US9501826B2 (en) 2014-05-06 2016-11-22 Intel Corporation Rectification techniques for heterogeneous camera arrays
US10008027B1 (en) * 2014-10-20 2018-06-26 Henry Harlyn Baker Techniques for determining a three-dimensional representation of a surface of an object from a set of images
JP6636963B2 (ja) * 2017-01-13 2020-01-29 株式会社東芝 画像処理装置及び画像処理方法
US10701336B2 (en) 2018-08-24 2020-06-30 Samsung Electronics Co., Ltd. Rectifying a sequence of stereo images
WO2024123343A1 (en) * 2022-12-09 2024-06-13 Innopeak Technology, Inc. Stereo matching for depth estimation using image pairs with arbitrary relative pose configurations

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6608923B1 (en) * 1999-06-19 2003-08-19 Microsoft Corporation System and method for rectifying images of three dimensional objects
US7224357B2 (en) * 2000-05-03 2007-05-29 University Of Southern California Three-dimensional modeling based on photographic images
GB2372659A (en) * 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
US7003150B2 (en) * 2001-11-05 2006-02-21 Koninklijke Philips Electronics N.V. Homography transfer from point matches
JPWO2004098204A1 (ja) * 2003-05-02 2006-07-13 富田 誠次郎 立体映像撮影方法および装置
CN1798957A (zh) * 2003-05-29 2006-07-05 奥林巴斯株式会社 立体摄像机系统和立体光学模块
US7343035B1 (en) * 2003-10-20 2008-03-11 Open Invention Network Llc Method and system for three-dimensional feature attribution through synergy of rational polynomial coefficients and projective geometry
US8218855B2 (en) * 2007-10-04 2012-07-10 Samsung Electronics Co., Ltd. Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
CN101236653B (zh) * 2008-03-03 2010-09-29 华为技术有限公司 图像校正方法及系统

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009109090A1 (zh) * 2008-03-03 2009-09-11 华为技术有限公司 图像校正方法及系统
US8849010B2 (en) 2008-03-03 2014-09-30 Huawei Technologies Co., Ltd. Method and system for rectifying images
CN101577004B (zh) * 2009-06-25 2013-05-15 海信集团有限公司 一种极线矫正方法、装置和系统
CN101789123B (zh) * 2010-01-27 2011-12-07 中国科学院半导体研究所 一种创建基于单目机器视觉距离图的方法
CN102404595B (zh) * 2011-08-16 2013-11-20 上海交通大学 可提供3d节目拍摄指导的极线校正方法
CN102404595A (zh) * 2011-08-16 2012-04-04 上海交通大学 可提供3d节目拍摄指导的极线校正方法
CN103177250A (zh) * 2011-12-22 2013-06-26 北大方正集团有限公司 一种平面目标图像透视变形的矫正方法和系统
US9288475B2 (en) 2012-03-12 2016-03-15 Silicon Motion, Inc. 3D image-capturing method, 3D camera and level-alignment machine for 3D camera
CN103379353A (zh) * 2012-04-25 2013-10-30 慧荣科技股份有限公司 立体取像方法、立体影像摄影机及其水平校正机台
CN103379353B (zh) * 2012-04-25 2016-04-06 慧荣科技股份有限公司 立体取像方法、立体影像摄影机及其水平校正机台
CN102842118A (zh) * 2012-07-17 2012-12-26 刘怡光 一种鲁棒的立体像对矫正新方法
CN105096296A (zh) * 2014-05-05 2015-11-25 富士通株式会社 立体相机成像的校正装置、方法及电子设备
CN105096296B (zh) * 2014-05-05 2018-02-09 富士通株式会社 立体相机成像的校正装置、方法及电子设备
CN107004399A (zh) * 2014-12-18 2017-08-01 高通股份有限公司 通过图形处理进行的视力校正
CN104735436A (zh) * 2014-12-29 2015-06-24 深圳超多维光电子有限公司 单摄像头立体成像方法及电子设备
CN107784670A (zh) * 2016-08-31 2018-03-09 财团法人交大思源基金会 估算对极几何模型的方法及其系统
CN107784670B (zh) * 2016-08-31 2020-03-10 财团法人交大思源基金会 估算对极几何模型的方法及其系统
CN108279821A (zh) * 2017-12-19 2018-07-13 福建天泉教育科技有限公司 一种基于Unity3D引擎的滚动效果实现方法及终端
CN108279821B (zh) * 2017-12-19 2020-08-04 福建天泉教育科技有限公司 一种基于Unity3D引擎的滚动效果实现方法及终端

Also Published As

Publication number Publication date
EP2204769A4 (en) 2010-12-22
EP2204769A1 (en) 2010-07-07
CN101236653B (zh) 2010-09-29
US8849010B2 (en) 2014-09-30
US20100329543A1 (en) 2010-12-30
WO2009109090A1 (zh) 2009-09-11

Similar Documents

Publication Publication Date Title
CN101236653B (zh) 图像校正方法及系统
CN101902657B (zh) 一种基于深度图分层的虚拟多视点图像的生成方法
CN101321299B (zh) 视差生成方法、生成单元以及三维视频生成方法及装置
CN104023220B (zh) 实时的多视图合成器
Bertel et al. Megaparallax: Casual 360 panoramas with motion parallax
CN102905145B (zh) 立体影像系统、影像产生方法、影像调整装置及其方法
CN111047709B (zh) 一种双目视觉裸眼3d图像生成方法
CN103945207B (zh) 一种基于视点合成的立体图像垂直视差消除方法
CN103414909B (zh) 一种应用于三维视频虚拟视点合成的空洞填补方法
CN110418146B (zh) 应用于直播场景的换脸方法、存储介质、电子设备及系统
JP2005129013A (ja) 画像処理装置及び画像処理方法
CN101754042A (zh) 图像重构方法和图像重构系统
US11995793B2 (en) Generation method for 3D asteroid dynamic map and portable terminal
CA3101222C (en) Image processing method and device, and three-dimensional imaging system
CN106791762B (zh) 立体影像处理方法及系统
CN101577004A (zh) 一种极线矫正方法、装置和系统
CN109714587A (zh) 一种多视点图像产生方法、装置、电子设备及存储介质
JP2007507945A (ja) 立体映像化
CN108269234A (zh) 一种全景相机镜头姿态估计方法及全景相机
CN115174805A (zh) 全景立体图像的生成方法、装置和电子设备
CN103997637A (zh) 一种平行相机阵列多视点图像校正方法
CN106534832A (zh) 立体影像处理方法及系统
JP2020524031A (ja) 2次元全体画像を生成するための方法
CN109003294A (zh) 一种虚实空间位置注册与精准匹配方法
US9641826B1 (en) System and method for displaying distant 3-D stereo on a dome surface

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100929

Termination date: 20170303

CF01 Termination of patent right due to non-payment of annual fee