CN102065313A - 平行式相机阵列的未标定多视点图像校正方法 - Google Patents

平行式相机阵列的未标定多视点图像校正方法 Download PDF

Info

Publication number
CN102065313A
CN102065313A CN2010105451076A CN201010545107A CN102065313A CN 102065313 A CN102065313 A CN 102065313A CN 2010105451076 A CN2010105451076 A CN 2010105451076A CN 201010545107 A CN201010545107 A CN 201010545107A CN 102065313 A CN102065313 A CN 102065313A
Authority
CN
China
Prior art keywords
image
point
correction
stereo
public
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010105451076A
Other languages
English (en)
Other versions
CN102065313B (zh
Inventor
张洋
张兆杨
安平
王贺
刘利亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN2010105451076A priority Critical patent/CN102065313B/zh
Publication of CN102065313A publication Critical patent/CN102065313A/zh
Application granted granted Critical
Publication of CN102065313B publication Critical patent/CN102065313B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种平行式相机阵列的未标定多视点图像校正方法。本方法首先提取各视点图像中特征点集合并确定两两相邻图像间的匹配点对。接着引入RANSAC算法提高SIFT特征点匹配精度,并提出分块特征提取方法,将经过精细化的特征点位置信息作为后续校正过程的输入计算相邻未标定立体图像对的校正矩阵。然后将多个不共面校正平面投影至同一公共校正平面上,并计算公共校正平面上相邻视点间水平距离。最后水平调整各视点位置至视差均匀即完成校正过程。经过本发明多视点未标定校正的合成立体图像具有强烈的纵深感,比校正前立体效果有明显提高,可应用于很多3DTV应用设备的前端信号处理。

Description

平行式相机阵列的未标定多视点图像校正方法
技术领域
本发明涉及一种多视点图像校正方法,特别是一种平行式相机阵列的未标定多视点图像校正方法。
背景技术
三维电视是继数字高清晰度电视之后的下一代电视技术,它以其独特的立体感、纵深感及漫游特性受到越来越多的关注。多相机实时采集立体显示系统是三维电视的一个重要应用,它将多个相机实时采集的视频传送至服务器,在服务器中对多视点图像进行处理,合成立体图像后显示在立体显示器上。对于平行式相机阵列,由于不可避免的操作误差及设备精度限制,仅仅采用手工调整相机位置的方法不能完全模拟理想平行式相机阵列的摆放。使用这种手工放置相机的方式拍摄的多视点图像,对应特征点在垂直方向上未对齐,在水平方向上视差不均匀,从而导致合成的立体图像中物体出现明显的闪烁现象,严重影响了实时三维立体视频的观看效果。因此,如何在立体合成之前对多视点图像进行有效的校正操作,使各个视点图像间垂直对齐且水平视差均匀成为实时三维立体显示系统需要解决的关键问题。
针对上述问题,国外Yun-Suk Kang等人等学者作过相关研究,他们区别于常规的双目立体图像校正方法,提出了多目图像联合校正的概念,在对平行相机阵列进行标定的基础上,确定了一条公共基线并沿此基线方向将各视点图像投影至同一校正平面上。但是上述方法对多相机标定参数精度要求较高且某些特定场景无法完场多相机标定,很难满足所有应用的要求。
发明内容
本发明的目的是提供一种平行式相机的未标定多视点图像校正方法。对比于之前的其他方法,本方法无需标定平行式相机阵列,提取各视点图像之间的匹配特征点,利用这些匹配信息计算各视点校正矩阵,通过对各视点图像的射影变换完成多视点未标定校正的自动化过程。
为达到上述目的,本发明的构思是:
首先提取各视点图像特征点并设计适用于实时立体显示系统的特征点匹配方法,根据已提取出的匹配特征点信息设计未标定多视点图像校正算法得到各视点对应校正矩阵,利用校正矩阵对相应图像射影变换完成校正过程。
根据上述构思,本发明的技术方案是:
一种平行式相机阵列的未标定多视点图像校正方法。其特征在于首先提取平行式相机阵列各视点图像的特征点,设计适合实时立体显示系统实际需求的特征匹配方法,然后根据已提取出的匹配特征点信息计算两两相邻未标定立体图像对的校正矩阵,并设计将所有视点图像投影至同一公共校正平面上的投影方法,最后根据公共校正平面上各视点间距调整水平视差至均匀,平移相应图像完成多视点校正。其具体操作步骤是:
(1)提取并匹配各视点图像特征点:从多个视点的图像中检测足量待匹配SIFT特征点,匹配两两相邻图像对中的对应特征点;
(2)提高特征点匹配精度:根据实时三维立体显示系统应用需求,设计恰当的匹配精细化方法剔除错配,选取各立体对中适量的均匀分布匹配点;
(3)校正未标定立体图像对:根据已选定的精细化后匹配点信息对两两相邻的图像对进行未标定校正;
(4)投影多视点图像至公共校正平面:根据计算出的各个立体图像对校正矩阵,确定将多视点图像投影至公共校正平面的方法;
(5)调整视点间视差:根据公共校正平面上各视点图像距离,水平平移图像使视点间视差均匀,合成立体图像。
上述步骤(1)中的提取并匹配各视点图像特征点,是指从多个视点的图像中检测足量待匹配SIFT特征点,匹配两两相邻图像对中的对应特征点,其具体步骤是:
(a) 建立各视点图像在不同尺度下的尺度空间,检测尺度空间内极值,确定特征点位置及所在尺度;
(b)根据特征点邻域像素的梯度方向分布特性确定每个特征点指定方向参数;
(c) 根据每个特征点的位置、尺度及方向特性信息生成其对应的128维SIFT特征向量;
(d)以特征向量之间的欧式距离为相似性判定度量,在右视图特征点集合中查找与左视图特征点相匹配的点。特征点a, b间的欧式距离
Figure 2010105451076100002DEST_PATH_IMAGE001
表示如下:
Figure 2010105451076100002DEST_PATH_IMAGE002
 上述步骤(2)中的提高特征点匹配精度,即根据实时三维立体显示系统应用需求,设计恰当的匹配精细化方法剔除错配,选取各立体对中适量的均匀分布匹配点,其具体步骤是:
(a)对各立体对中已提取出的匹配特征点使用RANSAC精细化方法,剔除严重失配的点对;
(b)   将每个立体对中的图像分别沿横轴与纵轴均匀四等分为4×4共16个子块,根据匹配特征点均匀分布的要求,在左图像各子块中随机选取与右图像相匹配的特定数量特征点,得到一组匹配特征点集合;
(c)根据分块选取的匹配特征点集合计算对应的校正后Sampson误差(几何重投影误差的一阶近似);
(d)   循环步骤 (b) 和 (c)的随即分块选取过程N次( N的大小是校正精度与计算时间的折中),对于每个立体图像对选取Sampson误差最小的匹配特征点集合作为后续立体对校正的输入信息。
上述步骤(3)中的校正未标定立体图像对,即根据已选定的精细化后匹配点信息对两两相邻的图像对进行未标定校正,其具体步骤是:
(a) 根据已精细化匹配特征点位置信息,建立未标定立体图像对校正过程的数学模型:
 
Figure 2010105451076100002DEST_PATH_IMAGE003
其中,
Figure 2010105451076100002DEST_PATH_IMAGE004
Figure 2010105451076100002DEST_PATH_IMAGE005
分别表示左右视图的校正矩阵,
Figure 2010105451076100002DEST_PATH_IMAGE007
分别表示第个特征点位置,
Figure 2010105451076100002DEST_PATH_IMAGE009
为校正后立体图像对基本矩阵;
(b)将抽象数学模型转变为以Sampson误差形式表示的系统方程组:
其中,表示第对匹配特征点的Sampson误差,
Figure 2010105451076100002DEST_PATH_IMAGE012
表示校正前原始图像对的基本矩阵;
(c) 参数化左右校正矩阵,使用LM( Levenberg - Marquardt )参数估计算法求得满足系统方程组的最优化未知参数估值并带入以下公式中得到立体对校正矩阵;
Figure 2010105451076100002DEST_PATH_IMAGE013
其中,
Figure 667656DEST_PATH_IMAGE004
Figure 447393DEST_PATH_IMAGE005
分别表示左右视图校正矩阵,
Figure 2010105451076100002DEST_PATH_IMAGE014
Figure 2010105451076100002DEST_PATH_IMAGE015
分别表示左右视图旋转矩阵,
Figure 2010105451076100002DEST_PATH_IMAGE016
Figure 2010105451076100002DEST_PATH_IMAGE017
分别表示校正后左右相机内参,
Figure 2010105451076100002DEST_PATH_IMAGE018
Figure 2010105451076100002DEST_PATH_IMAGE019
分别表示校正前左右相机内参;
(d)对各立体图像对依次进行上述校正过程的步骤(a)至步骤(c),求得相应的左右视图校正矩阵。
上述步骤(4)中的投影多视点图像至公共校正平面:根据计算出的各个立体图像对校正矩阵,确定将多视点图像投影至公共校正平面的方法,其具体步骤是:
(a) 选定平行相机阵列中位于中间位置的两视点校正平面为公共投影校正平面;
(b)以相机阵列左右两端次外侧视点图像为中间过渡图像,将最外侧视点图像以投影矩阵转移的方法投影至与其相邻的内侧立体对校正平面上;
(c) 循环使用投影矩阵转移方法,直至将最外侧视点图像转移至公共校正平面上,计算相应的校正矩阵;
(d)使用同样的投影转移方法将其余非公共校正平面上的视点图像投影至公共校正平面上,计算相应的校正矩阵。
上述步骤(5)中的调整视点间视差,即根据公共校正平面上各视点图像距离,水平平移图像使视点间视差均匀,合成立体图像。其具体步骤是:
(a) 根据各视点投影至公共校正平面的校正矩阵,计算两两相邻图像对校正后的新匹配特征点位置;
(b)将投影至公共校正平面的各视点图像分别沿横轴与纵轴均匀四等分为16个4×4子块,选取位于各立体对中心2×2子块的新匹配特征点,计算视点间距;
(c) 设定合适视差值,以中间立体对的中点为原点,水平平移各视点图像至相应位置;
(d)合成公共校正平面上的各视点图像,完成多视点未标定校正。
   本发明与已有技术相比较,具有如下显而易见的实质性突出特点和显著优点:之前方法大多针对具有准确标定参数的相机阵列,对于某些无法完成标定过程的相机阵列或场景应用并不适用,而本发明则无需对相机阵列联合标定,根据各视点图像的特征点匹配信息计算相应校正矩阵,通过射影变换投影多视图像至公共校正平面,并可自由调整水平视差,从而增加了多视校正使用范围,易于应用实现。
 
附图说明
图1是本发明的平行式相机阵列未标定多视点图像校正方法流程框图;
图2是图1中的提取并匹配各视点图像特征点的程序框图;
 图3是图1中的提高特征点匹配精度的程序框图;
图4是图1中的校正未标定立体图像对的程序框图;
图5是图1中的投影多视点图像至公共校正平面的程序框图;
图6是图1中的调整视点间视差的程序框图;
图7是校正前多视点图像及立体图;
图8是校正后多视点图像及立体图。
具体实施方式
本发明的优选实施例子结合附图详述如下:
实施例一:本种平行式相机阵列的未标定多视点图像校正方法的具体步骤如图1流程框图所示。在计算机平台上编程实现本发明的方法,校正平行式相机阵列采集的多视点自然场景图像;参见图1,本平行式相机阵列的未标定多视点图像校正方法,首先针对平行式相机阵列采集的多视点图像提取特征点并匹配相邻立体对中的特征点,然后精细化匹配信息,选取适量匹配特征点校正各立体对,接着投影多视点图像至公共校正平面并调整视点间间距,从而可以合成校正后立体图像,提高立体显示质量;[0020] 其具体操作步骤是:
(1)提取并匹配各视点图像特征点:从多个视点的图像中检测足量待匹配SIFT特征点,以特征向量欧式距离为判定依据匹配两两相邻图像对中的对应特征点;
(2)提高特征点匹配精度:根据实时三维立体显示系统应用需求,设计恰当的匹配精细化方法剔除错配,选取各立体对中适量的均匀分布匹配点;
(3)校正未标定立体图像对:根据已选定的精细化后匹配点信息对两两相邻的图像对进行未标定校正;
(4)投影多视点图像至公共校正平面:根据计算出的各个立体图像对校正矩阵,确定将多视点图像投影至公共校正平面的方法;
(5)调整视点间视差:根据公共校正平面上各视点图像距离,水平平移图像使视点间视差均匀,合成立体图像。
 实施例二:本实施例与实施例一基本相同,特别之处如下:参见图2,上述步骤(1)的具体过程如下:
(a) 建立各视点图像在不同尺度下的尺度空间,检测尺度空间内极值,确定特征点位置及所在尺度;
(b)根据特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数;
(c) 根据每个特征点的位置、尺度及方向特性信息生成其对应的128维SIFT特征向量;
(d) 以特征向量之间的欧式距离为相似性判定度量,取左图像中的某个特征点,并找出其与右图像中欧式距离最近的两个特征点,在这两个特征点中,如果最近的距离
Figure 2010105451076100002DEST_PATH_IMAGE020
除以次近的距离
Figure 2010105451076100002DEST_PATH_IMAGE021
少于某个比例阈值
Figure 2010105451076100002DEST_PATH_IMAGE022
,即
Figure 2010105451076100002DEST_PATH_IMAGE023
则接受这一对匹配点,
Figure 593334DEST_PATH_IMAGE022
值越小匹配点对越少精度越高,在此处取值为0.7。
以上步骤提取出的匹配特征点对于相似区域较多或背景单调的图像会产生大量错误匹配,使校正矩阵产生误差,合成的立体图像出现闪烁现象。因此需通过上述的步骤(2)设计匹配精细化方法剔除错配,并选取各立体对中适量的均匀分布匹配点。其具体过程如下(参见图3):
(a) 对各立体对中已提取出的匹配特征点使用RANSAC精细化方法,剔除严重失配的点对;
(b)将每个立体对中的图像分别沿横轴与纵轴均匀四等分为4×4共16个子块,根据匹配特征点均匀分布的要求,在左图像各子块中随机选取与右图像相匹配的特定数量特征点,得到一组匹配特征点集合;
(c) 根据分块选取的匹配特征点集合计算对应的校正后Sampson误差(几何重投影误差的一阶近似);
(d)循环步骤 (b) 和 (c)的随即分块选取过程N次( N的大小是校正精度与计算时间的折中),对于每个立体图像对选取Sampson误差最小的匹配特征点集合作为后续立体对校正的输入信息。
参见图4,上述步骤(3)的具体过程如下:
(a) 根据已精细化匹配特征点位置信息,建立未标定立体图像对校正过程的数学模型:
 
Figure 220756DEST_PATH_IMAGE003
其中,
Figure 43218DEST_PATH_IMAGE004
Figure 372569DEST_PATH_IMAGE005
分别表示左右视图的校正矩阵,
Figure 571469DEST_PATH_IMAGE006
Figure 240348DEST_PATH_IMAGE007
分别表示第个特征点位置,
Figure 798160DEST_PATH_IMAGE009
为校正后立体图像对基本矩阵;
(b)将抽象数学模型转变为以Sampson误差形式表示的系统方程组:
Figure 597489DEST_PATH_IMAGE010
其中,
Figure 120874DEST_PATH_IMAGE011
表示第
Figure 550719DEST_PATH_IMAGE008
对匹配特征点的Sampson误差,
Figure 605393DEST_PATH_IMAGE012
表示校正前原始图像对的基本矩阵;
(c) 参数化左右校正矩阵,使用LM( Levenberg - Marquardt )参数估计算法求得满足系统方程组的最优化未知参数估值并带入以下公式中得到立体对校正矩阵;
Figure 880517DEST_PATH_IMAGE013
其中,
Figure 586305DEST_PATH_IMAGE004
Figure 921471DEST_PATH_IMAGE005
分别表示左右视图校正矩阵,
Figure 650393DEST_PATH_IMAGE014
Figure 542257DEST_PATH_IMAGE015
分别表示左右视图旋转矩阵,
Figure 40234DEST_PATH_IMAGE016
Figure 874198DEST_PATH_IMAGE017
分别表示校正后左右相机内参,
Figure 824836DEST_PATH_IMAGE018
Figure 520391DEST_PATH_IMAGE019
分别表示校正前左右相机内参;
(d)对各立体图像对依次进行上述校正过程的步骤(a)至步骤(c),求得相应的左右视图校正矩阵。
参见图5,上述步骤(4)的具体过程如下:
(a) 选定平行相机阵列中位于中间位置的两视点校正平面为公共投影校正平面;
(b)以相机阵列左右两端次外侧视点图像为中间过渡图像,将最外侧视点图像以投影矩阵转移的方法投影至与其相邻的内侧立体对校正平面上;
(c) 循环使用投影矩阵转移方法,直至将最外侧视点图像转移至公共校正平面上,计算相应的校正矩阵;
(d)使用同样的投影转移方法将其余非公共校正平面上的视点图像投影至公共校正平面上,计算相应的校正矩阵。
参见图6,上述步骤(5)的具体过程如下:
(a) 根据各视点投影至公共校正平面的校正矩阵,计算两两相邻图像对校正后的新匹配特征点位置;
(b)将投影至公共校正平面的各视点图像分别沿横轴与纵轴均匀四等分为16个4×4子块,选取位于各立体对中心2×2子块的新匹配特征点,计算视点间距;
(c) 设定合适视差值,以中间立体对的中点为原点,水平平移各视点图像至相应位置;
(d)合成公共校正平面上的各视点图像,完成多视点未标定校正。
图7中 (a) - (f) 为平行式相机阵列拍摄的未经校正多视点原始图像,(g) 为由未校正多视点图像合成的立体图像,从立体图像中可以明显看出特征点垂直方向未对齐、水平视差分布不均匀。图8中 (a) - (f) 为按照本发明所述方法校正后的多视点图像,(g) 为校正后合成的立体图像,由图8中各图像可以直观地看出按照本发明所述方法校正后的多视点图像所有特征点垂直方向已对齐,水平方向视差分布均匀,立体图像主观质量良好,因此验证了本发明的有效性及应用于系统设计时的实用性。

Claims (6)

1.一种平行式相机阵列的未标定多视点图像校正方法,其特征在于首先提取平行式相机阵列各视点图像的特征点,设计适合实时立体显示系统实际需求的特征匹配方法,然后根据已提取出的匹配特征点信息计算两两相邻未标定立体图像对的校正矩阵,并设计将所有视点图像投影至同一公共校正平面上的投影方法,最后根据公共校正平面上各视点间距调整水平视差至均匀,平移相应图像完成多视点校正;其具体操作步骤是:
(1)提取并匹配各视点图像特征点:从多个视点的图像中检测足量待匹配SIFT特征点,以特征向量欧式距离为判定依据匹配两两相邻图像对中的对应特征点;
(2)提高特征点匹配精度:根据实时三维立体显示系统应用需求,设计恰当的匹配精细化方法剔除错配,选取各立体对中适量的均匀分布匹配点;
(3)校正未标定立体图像对:根据已选定的精细化后匹配点信息对两两相邻的图像对进行未标定校正;
(4)投影多视点图像至公共校正平面:根据计算出的各个立体图像对校正矩阵,确定将多视点图像投影至公共校正平面的方法;
(5)调整视点间视差:根据公共校正平面上各视点图像距离,水平平移图像使视点间视差均匀,合成立体图像。
2.根据权利要求1所述的平行式相机阵列的未标定多视点图像校正方法,其特征在于所述步骤(1)中的从多个视点的图像中检测足量待匹配SIFT特征点,匹配两两相邻图像对中的对应特征点,其具体步骤如下:
(a)建立各视点图像在不同尺度下的尺度空间,检测尺度空间内极值,确定特征点位置及所在尺度;
(b)根据特征点邻域像素的梯度方向分布特性确定每个特征点指定方向参数;
(c)根据每个特征点的位置、尺度及方向特性信息生成其对应的128维SIFT特征向量;
(d)以特征向量之间的欧式距离为相似性判定度量,在右视图特征点集合中查找与左视图特征点相匹配的点;特征点a, b间的欧式距离
Figure 2010105451076100001DEST_PATH_IMAGE001
表示如下:
Figure 2010105451076100001DEST_PATH_IMAGE002
3.根据权利要求1所述的平行式相机阵列的未标定多视点图像校正方法,其特征在于所述步骤(2)中的提高特征点匹配精度,根据实时三维立体显示系统应用需求,设计恰当的匹配精细化方法剔除错配,选取各立体对中适量的均匀分布匹配点,其具体步骤如下:
(a)对各立体对中已提取出的匹配特征点使用RANSAC精细化方法,剔除严重失配的点对;
(b)将每个立体对中的图像分别沿横轴与纵轴均匀四等分为4×4共16个子块,根据匹配特征点均匀分布的要求,在左图像各子块中随机选取与右图像相匹配的特定数量特征点,得到一组匹配特征点集合;
(c)根据分块选取的匹配特征点集合计算对应的校正后Sampson误差——几何重投影误差的一阶近似;
(d)循环步骤 (b) 和 (c)的随即分块选取过程N次,N的大小是校正精度与计算时间的折中,对于每个立体图像对选取Sampson误差最小的匹配特征点集合作为后续立体对校正的输入信息。
4.根据权利要求1所述的平行式相机阵列的未标定多视点图像校正方法,其特征在于所述步骤(3)中的校正未标定立体图像对,根据已选定的精细化后匹配点信息对两两相邻的图像对进行未标定校正,其具体步骤如下:
(a)根据已精细化匹配特征点位置信息,建立未标定立体图像对校正过程的数学模型:
Figure 2010105451076100001DEST_PATH_IMAGE003
其中,
Figure 2010105451076100001DEST_PATH_IMAGE004
Figure 2010105451076100001DEST_PATH_IMAGE005
分别表示左右视图的校正矩阵,
Figure 2010105451076100001DEST_PATH_IMAGE007
分别表示第
Figure 2010105451076100001DEST_PATH_IMAGE008
个特征点位置,为校正后立体图像对基本矩阵;
(b)将抽象数学模型转变为以Sampson误差形式表示的系统方程组:
其中,
Figure 2010105451076100001DEST_PATH_IMAGE011
表示第
Figure 842235DEST_PATH_IMAGE008
对匹配特征点的Sampson误差,
Figure 2010105451076100001DEST_PATH_IMAGE012
表示校正前原始图像对的基本矩阵; 
(c)参数化左右校正矩阵,使用LM参数估计算法求得满足系统方程组的最优化未知参数估值并带入以下公式中得到立体对校正矩阵:
Figure 2010105451076100001DEST_PATH_IMAGE013
其中,
Figure 847100DEST_PATH_IMAGE004
Figure 285035DEST_PATH_IMAGE005
分别表示左右视图校正矩阵,
Figure 2010105451076100001DEST_PATH_IMAGE014
Figure 2010105451076100001DEST_PATH_IMAGE015
分别表示左右视图旋转矩阵,
Figure 2010105451076100001DEST_PATH_IMAGE016
Figure 2010105451076100001DEST_PATH_IMAGE017
分别表示校正后左右相机内参,
Figure 2010105451076100001DEST_PATH_IMAGE019
分别表示校正前左右相机内参;
(d)对各立体图像对依次进行上述校正过程的步骤(a)至步骤(c),求得相应的左右视图校正矩阵。
5.根据权利要求1所述的平行式相机阵列的未标定多视点图像校正方法,其特征在于所述步骤(4)中的投影多视点图像至公共校正平面,根据计算出的各个立体图像对校正矩阵,确定将多视点图像投影至公共校正平面的方法,其具体步骤如下:
(a)选定平行相机阵列中位于中间位置的两视点校正平面为公共投影校正平面;
(b)以相机阵列左右两端次外侧视点图像为中间过渡图像,将最外侧视点图像以投影矩阵转移的方法投影至与其相邻的内侧立体对校正平面上;
(c)循环使用投影矩阵转移方法,直至将最外侧视点图像转移至公共校正平面上,计算相应的校正矩阵;
(d)使用同样的投影转移方法将其余非公共校正平面上的视点图像投影至公共校正平面上,计算相应的校正矩阵。
6.根据权利要求1所述的平行式相机阵列的未标定多视点图像校正方法,其特征在于所述步骤(5)中的调整视点间视差,根据公共校正平面上各视点图像距离,水平平移图像使视点间视差均匀,合成立体图像,其具体步骤如下:
(a)根据各视点投影至公共校正平面的校正矩阵,计算两两相邻图像对校正后的新匹配特征点位置;
(b)将投影至公共校正平面的各视点图像分别沿横轴与纵轴均匀四等分为16个4×4子块,选取位于各立体对中心2×2子块的新匹配特征点,计算视点间距;
(c)设定合适视差值,以中间立体对的中点为原点,水平平移各视点图像至相应位置;
(d)合成公共校正平面上的各视点图像,完成多视点未标定校正。
CN2010105451076A 2010-11-16 2010-11-16 平行式相机阵列的未标定多视点图像校正方法 Expired - Fee Related CN102065313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010105451076A CN102065313B (zh) 2010-11-16 2010-11-16 平行式相机阵列的未标定多视点图像校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010105451076A CN102065313B (zh) 2010-11-16 2010-11-16 平行式相机阵列的未标定多视点图像校正方法

Publications (2)

Publication Number Publication Date
CN102065313A true CN102065313A (zh) 2011-05-18
CN102065313B CN102065313B (zh) 2012-10-31

Family

ID=44000374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105451076A Expired - Fee Related CN102065313B (zh) 2010-11-16 2010-11-16 平行式相机阵列的未标定多视点图像校正方法

Country Status (1)

Country Link
CN (1) CN102065313B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523462A (zh) * 2011-12-06 2012-06-27 南开大学 基于相机阵列的元素图像阵列快速获取方法和装置
CN103079083A (zh) * 2012-12-06 2013-05-01 上海大学 一种已标定平行摄像机阵列多视图像校正方法
CN103096113A (zh) * 2013-02-15 2013-05-08 吉林大学 离散视点采集结合窗截取算法的立体元图像阵列生成方法
CN103345736A (zh) * 2013-05-28 2013-10-09 天津大学 一种虚拟视点绘制方法
WO2013178069A1 (zh) * 2012-05-29 2013-12-05 腾讯科技(深圳)有限公司 基于全景图的视点间漫游方法、装置和机器可读介质
CN103649997A (zh) * 2011-07-13 2014-03-19 高通股份有限公司 用于校准成像装置的方法和设备
CN104089628A (zh) * 2014-06-30 2014-10-08 中国科学院光电研究院 光场相机的自适应几何定标方法
CN104299190A (zh) * 2014-02-25 2015-01-21 河南科技大学 线阵扫描图像的矫正方法与装置
CN104335268A (zh) * 2012-06-05 2015-02-04 苹果公司 用于为地图视图改变提供三维过渡动画的方法、系统和装置
CN104715482A (zh) * 2015-03-20 2015-06-17 四川大学 一种ransac计算基本矩阵中内点门限设置算法
CN106303501A (zh) * 2016-08-23 2017-01-04 深圳市捷视飞通科技股份有限公司 基于图像稀疏特征匹配的立体图像重构方法及装置
CN106550229A (zh) * 2016-10-18 2017-03-29 安徽协创物联网技术有限公司 一种平行全景相机阵列多视点图像校正方法
US9712808B2 (en) 2015-01-05 2017-07-18 Boe Technology Group Co., Ltd. Image acquisition device and image processing method and system
US9734427B2 (en) 2014-11-17 2017-08-15 Industrial Technology Research Institute Surveillance systems and image processing methods thereof
CN107194972A (zh) * 2017-05-16 2017-09-22 成都通甲优博科技有限责任公司 一种摄像机标定方法及系统
WO2017181899A1 (zh) * 2016-04-21 2017-10-26 腾讯科技(深圳)有限公司 一种人脸活体验证方法及装置
WO2018006296A1 (en) * 2016-07-06 2018-01-11 SZ DJI Technology Co., Ltd. Systems and methods for stereoscopic imaging
CN107730554A (zh) * 2016-08-10 2018-02-23 合肥美亚光电技术股份有限公司 面阵结构光成像系统的标定方法和装置
CN108230372A (zh) * 2017-11-30 2018-06-29 努比亚技术有限公司 一种图像处理方法、终端及计算机可读存储介质
CN108230395A (zh) * 2017-06-14 2018-06-29 深圳市商汤科技有限公司 双视角图像校准及图像处理方法、装置、存储介质和电子设备
CN109360235A (zh) * 2018-09-29 2019-02-19 中国航空工业集团公司上海航空测控技术研究所 一种基于光场数据的混合深度估计方法
CN110073402A (zh) * 2016-11-28 2019-07-30 Smr专利责任有限公司 用于获得防闪烁超分辨率图像的车辆成像系统和方法
CN112368741A (zh) * 2018-06-29 2021-02-12 祖克斯有限公司 传感器校准
CN112819904A (zh) * 2021-03-15 2021-05-18 亮风台(上海)信息科技有限公司 一种用于标定ptz摄像机的方法与设备
WO2021208371A1 (zh) * 2020-04-14 2021-10-21 北京迈格威科技有限公司 多摄变焦控制方法、装置、电子系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101350101A (zh) * 2008-09-09 2009-01-21 北京航空航天大学 多幅深度图像自动配准方法
CN101527865A (zh) * 2009-01-05 2009-09-09 清华大学 一种投影式高分辨率多视点自由立体显示系统
CN101655976A (zh) * 2009-09-10 2010-02-24 浙江工商大学 基于控制点修正的多视角图像亮度校正方法
CN101763632A (zh) * 2008-12-26 2010-06-30 华为技术有限公司 摄像机标定的方法和装置
CN101782969A (zh) * 2010-02-26 2010-07-21 浙江大学 一种基于物理定位信息的图像特征可靠匹配的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101350101A (zh) * 2008-09-09 2009-01-21 北京航空航天大学 多幅深度图像自动配准方法
CN101763632A (zh) * 2008-12-26 2010-06-30 华为技术有限公司 摄像机标定的方法和装置
CN101527865A (zh) * 2009-01-05 2009-09-09 清华大学 一种投影式高分辨率多视点自由立体显示系统
CN101655976A (zh) * 2009-09-10 2010-02-24 浙江工商大学 基于控制点修正的多视角图像亮度校正方法
CN101782969A (zh) * 2010-02-26 2010-07-21 浙江大学 一种基于物理定位信息的图像特征可靠匹配的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马永壮,刘伟军: "非标定立体图像对鲁棒性校正新算法", 《计算机工程》, vol. 32, no. 5, 31 March 2006 (2006-03-31), pages 26 - 28 *

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103649997A (zh) * 2011-07-13 2014-03-19 高通股份有限公司 用于校准成像装置的方法和设备
CN102523462A (zh) * 2011-12-06 2012-06-27 南开大学 基于相机阵列的元素图像阵列快速获取方法和装置
CN102523462B (zh) * 2011-12-06 2014-01-08 南开大学 基于相机阵列的元素图像阵列快速获取方法和装置
CN103456043B (zh) * 2012-05-29 2016-05-11 深圳市腾讯计算机系统有限公司 一种基于全景图的视点间漫游方法和装置
WO2013178069A1 (zh) * 2012-05-29 2013-12-05 腾讯科技(深圳)有限公司 基于全景图的视点间漫游方法、装置和机器可读介质
CN103456043A (zh) * 2012-05-29 2013-12-18 深圳市腾讯计算机系统有限公司 一种基于全景图的视点间漫游方法和装置
CN104335268A (zh) * 2012-06-05 2015-02-04 苹果公司 用于为地图视图改变提供三维过渡动画的方法、系统和装置
CN104335268B (zh) * 2012-06-05 2017-06-13 苹果公司 用于为地图视图改变提供三维过渡动画的方法、系统和装置
CN103079083B (zh) * 2012-12-06 2015-05-06 上海大学 一种已标定平行摄像机阵列多视图像校正方法
CN103079083A (zh) * 2012-12-06 2013-05-01 上海大学 一种已标定平行摄像机阵列多视图像校正方法
CN103096113B (zh) * 2013-02-15 2015-01-07 吉林大学 离散视点采集结合窗截取算法的立体元图像阵列生成方法
CN103096113A (zh) * 2013-02-15 2013-05-08 吉林大学 离散视点采集结合窗截取算法的立体元图像阵列生成方法
CN103345736A (zh) * 2013-05-28 2013-10-09 天津大学 一种虚拟视点绘制方法
CN103345736B (zh) * 2013-05-28 2016-08-31 天津大学 一种虚拟视点绘制方法
CN104299190A (zh) * 2014-02-25 2015-01-21 河南科技大学 线阵扫描图像的矫正方法与装置
CN104299190B (zh) * 2014-02-25 2017-02-15 河南科技大学 线阵扫描图像的矫正方法与装置
CN104089628A (zh) * 2014-06-30 2014-10-08 中国科学院光电研究院 光场相机的自适应几何定标方法
US9734427B2 (en) 2014-11-17 2017-08-15 Industrial Technology Research Institute Surveillance systems and image processing methods thereof
US9712808B2 (en) 2015-01-05 2017-07-18 Boe Technology Group Co., Ltd. Image acquisition device and image processing method and system
CN104715482B (zh) * 2015-03-20 2017-08-11 四川大学 一种ransac计算基本矩阵中内点门限自动设置方法
CN104715482A (zh) * 2015-03-20 2015-06-17 四川大学 一种ransac计算基本矩阵中内点门限设置算法
US10796179B2 (en) 2016-04-21 2020-10-06 Tencent Technology (Shenzhen) Company Limited Living face verification method and device
WO2017181899A1 (zh) * 2016-04-21 2017-10-26 腾讯科技(深圳)有限公司 一种人脸活体验证方法及装置
WO2018006296A1 (en) * 2016-07-06 2018-01-11 SZ DJI Technology Co., Ltd. Systems and methods for stereoscopic imaging
US10896519B2 (en) 2016-07-06 2021-01-19 SZ DJI Technology Co., Ltd. Systems and methods for stereoscopic imaging
CN107730554A (zh) * 2016-08-10 2018-02-23 合肥美亚光电技术股份有限公司 面阵结构光成像系统的标定方法和装置
CN107730554B (zh) * 2016-08-10 2020-11-24 合肥美亚光电技术股份有限公司 面阵结构光成像系统的标定方法和装置
CN106303501A (zh) * 2016-08-23 2017-01-04 深圳市捷视飞通科技股份有限公司 基于图像稀疏特征匹配的立体图像重构方法及装置
CN106550229A (zh) * 2016-10-18 2017-03-29 安徽协创物联网技术有限公司 一种平行全景相机阵列多视点图像校正方法
CN110073402B (zh) * 2016-11-28 2023-05-12 Smr专利责任有限公司 用于获得防闪烁超分辨率图像的车辆成像系统和方法
CN110073402A (zh) * 2016-11-28 2019-07-30 Smr专利责任有限公司 用于获得防闪烁超分辨率图像的车辆成像系统和方法
CN107194972A (zh) * 2017-05-16 2017-09-22 成都通甲优博科技有限责任公司 一种摄像机标定方法及系统
CN107194972B (zh) * 2017-05-16 2021-04-02 成都通甲优博科技有限责任公司 一种摄像机标定方法及系统
CN108230395A (zh) * 2017-06-14 2018-06-29 深圳市商汤科技有限公司 双视角图像校准及图像处理方法、装置、存储介质和电子设备
US11380017B2 (en) 2017-06-14 2022-07-05 Shenzhen Sensetime Technology Co., Ltd. Dual-view angle image calibration method and apparatus, storage medium and electronic device
CN108230372A (zh) * 2017-11-30 2018-06-29 努比亚技术有限公司 一种图像处理方法、终端及计算机可读存储介质
CN108230372B (zh) * 2017-11-30 2022-01-14 努比亚技术有限公司 一种图像处理方法、终端及计算机可读存储介质
CN112368741A (zh) * 2018-06-29 2021-02-12 祖克斯有限公司 传感器校准
CN112368741B (zh) * 2018-06-29 2024-06-11 祖克斯有限公司 传感器校准
CN109360235A (zh) * 2018-09-29 2019-02-19 中国航空工业集团公司上海航空测控技术研究所 一种基于光场数据的混合深度估计方法
WO2021208371A1 (zh) * 2020-04-14 2021-10-21 北京迈格威科技有限公司 多摄变焦控制方法、装置、电子系统及存储介质
CN112819904A (zh) * 2021-03-15 2021-05-18 亮风台(上海)信息科技有限公司 一种用于标定ptz摄像机的方法与设备

Also Published As

Publication number Publication date
CN102065313B (zh) 2012-10-31

Similar Documents

Publication Publication Date Title
CN102065313B (zh) 平行式相机阵列的未标定多视点图像校正方法
CN107292921B (zh) 一种基于kinect相机的快速三维重建方法
CN109308719B (zh) 一种基于三维卷积的双目视差估计方法
US8385595B2 (en) Motion detection method, apparatus and system
Kang et al. An efficient image rectification method for parallel multi-camera arrangement
CN103337094A (zh) 一种应用双目摄像机实现运动三维重建的方法
CN104539928B (zh) 一种光栅立体印刷图像合成方法
CN104376552A (zh) 一种3d模型与二维图像的虚实配准算法
CN106340045B (zh) 三维人脸重建中基于双目立体视觉的标定优化方法
CN103345736A (zh) 一种虚拟视点绘制方法
WO2017156905A1 (zh) 一种将二维图像转化为多视点图像的显示方法及系统
CN105303574A (zh) 一种基于单应性变换的集成成像摄像机阵列标定方法
CN103236082A (zh) 面向捕获静止场景的二维视频的准三维重建方法
CN101179745A (zh) 一种多视点图像的预处理方法
CN103971378A (zh) 一种混合视觉系统中全景图像的三维重建方法
CN102665086A (zh) 利用基于区域的局部立体匹配获取视差的方法
CN101505433A (zh) 一种实拍实显多镜头数码立体系统
CN103702103B (zh) 基于双目相机的光栅立体印刷图像合成方法
CN106530336B (zh) 基于色彩信息和图割理论的立体匹配方法
CN103945207A (zh) 一种基于视点合成的立体图像垂直视差消除方法
CN104182968A (zh) 宽基线多阵列光学探测系统模糊动目标分割方法
CN106534833A (zh) 一种联合空间时间轴的双视点立体视频稳定方法
CN116309844A (zh) 一种基于无人机单张航空图片的三维测量方法
CN103337064A (zh) 图像立体匹配中的一种误匹配点剔除方法
CN103247065A (zh) 一种裸眼3d视频生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121031

Termination date: 20211116