CN102065313B - 平行式相机阵列的未标定多视点图像校正方法 - Google Patents

平行式相机阵列的未标定多视点图像校正方法 Download PDF

Info

Publication number
CN102065313B
CN102065313B CN2010105451076A CN201010545107A CN102065313B CN 102065313 B CN102065313 B CN 102065313B CN 2010105451076 A CN2010105451076 A CN 2010105451076A CN 201010545107 A CN201010545107 A CN 201010545107A CN 102065313 B CN102065313 B CN 102065313B
Authority
CN
China
Prior art keywords
image
correction
point
public
stereo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010105451076A
Other languages
English (en)
Other versions
CN102065313A (zh
Inventor
张洋
张兆杨
安平
王贺
刘利亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN2010105451076A priority Critical patent/CN102065313B/zh
Publication of CN102065313A publication Critical patent/CN102065313A/zh
Application granted granted Critical
Publication of CN102065313B publication Critical patent/CN102065313B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明涉及一种平行式相机阵列的未标定多视点图像校正方法。本方法首先提取各视点图像中特征点集合并确定两两相邻图像间的匹配点对。接着引入RANSAC算法提高SIFT特征点匹配精度，并提出分块特征提取方法，将经过精细化的特征点位置信息作为后续校正过程的输入计算相邻未标定立体图像对的校正矩阵。然后将多个不共面校正平面投影至同一公共校正平面上，并计算公共校正平面上相邻视点间水平距离。最后水平调整各视点位置至视差均匀即完成校正过程。经过本发明多视点未标定校正的合成立体图像具有强烈的纵深感，比校正前立体效果有明显提高，可应用于很多3DTV应用设备的前端信号处理。

Description

平行式相机阵列的未标定多视点图像校正方法
技术领域
    本发明涉及一种多视点图像校正方法，特别是一种平行式相机阵列的未标定多视点图像校正方法。
背景技术
三维电视是继数字高清晰度电视之后的下一代电视技术，它以其独特的立体感、纵深感及漫游特性受到越来越多的关注。多相机实时采集立体显示系统是三维电视的一个重要应用，它将多个相机实时采集的视频传送至服务器，在服务器中对多视点图像进行处理，合成立体图像后显示在立体显示器上。对于平行式相机阵列，由于不可避免的操作误差及设备精度限制，仅仅采用手工调整相机位置的方法不能完全模拟理想平行式相机阵列的摆放。使用这种手工放置相机的方式拍摄的多视点图像，对应特征点在垂直方向上未对齐，在水平方向上视差不均匀，从而导致合成的立体图像中物体出现明显的闪烁现象，严重影响了实时三维立体视频的观看效果。因此，如何在立体合成之前对多视点图像进行有效的校正操作，使各个视点图像间垂直对齐且水平视差均匀成为实时三维立体显示系统需要解决的关键问题。
针对上述问题，国外Yun-Suk Kang等人等学者作过相关研究，他们区别于常规的双目立体图像校正方法，提出了多目图像联合校正的概念，在对平行相机阵列进行标定的基础上，确定了一条公共基线并沿此基线方向将各视点图像投影至同一校正平面上。但是上述方法对多相机标定参数精度要求较高且某些特定场景无法完场多相机标定，很难满足所有应用的要求。
发明内容
本发明的目的是提供一种平行式相机的未标定多视点图像校正方法。对比于之前的其他方法，本方法无需标定平行式相机阵列，提取各视点图像之间的匹配特征点，利用这些匹配信息计算各视点校正矩阵，通过对各视点图像的射影变换完成多视点未标定校正的自动化过程。
    为达到上述目的，本发明的构思是：
首先提取各视点图像特征点并设计适用于实时立体显示系统的特征点匹配方法，根据已提取出的匹配特征点信息设计未标定多视点图像校正算法得到各视点对应校正矩阵，利用校正矩阵对相应图像射影变换完成校正过程。
根据上述构思，本发明的技术方案是：
一种平行式相机阵列的未标定多视点图像校正方法。其特征在于首先提取平行式相机阵列各视点图像的特征点，设计适合实时立体显示系统实际需求的特征匹配方法，然后根据已提取出的匹配特征点信息计算两两相邻未标定立体图像对的校正矩阵，并设计将所有视点图像投影至同一公共校正平面上的投影方法，最后根据公共校正平面上各视点间距调整水平视差至均匀，平移相应图像完成多视点校正。其具体操作步骤是：
(1)    提取并匹配各视点图像特征点：从多个视点的图像中检测足量待匹配SIFT特征点，匹配两两相邻图像对中的对应特征点；
(2)    提高特征点匹配精度：根据实时三维立体显示系统应用需求，设计恰当的匹配精细化方法剔除错配，选取各立体对中适量的均匀分布匹配点；
(3)    校正未标定立体图像对：根据已选定的精细化后匹配点信息对两两相邻的图像对进行未标定校正；
(4)    投影多视点图像至公共校正平面：根据计算出的各个立体图像对校正矩阵，确定将多视点图像投影至公共校正平面的方法；
(5)    调整视点间视差：根据公共校正平面上各视点图像距离，水平平移图像使视点间视差均匀，合成立体图像。
上述步骤（1）中的提取并匹配各视点图像特征点，是指从多个视点的图像中检测足量待匹配SIFT特征点，匹配两两相邻图像对中的对应特征点，其具体步骤是：
(a)     建立各视点图像在不同尺度下的尺度空间，检测尺度空间内极值，确定特征点位置及所在尺度；
(b)    根据特征点邻域像素的梯度方向分布特性确定每个特征点指定方向参数；
(c)     根据每个特征点的位置、尺度及方向特性信息生成其对应的128维SIFT特征向量；
(d)    以特征向量之间的欧式距离为相似性判定度量，在右视图特征点集合中查找与左视图特征点相匹配的点。特征点a, b间的欧式距离                                                
Figure 236975DEST_PATH_IMAGE002
表示如下：
Figure 459009DEST_PATH_IMAGE004
。
 上述步骤（2）中的提高特征点匹配精度，即根据实时三维立体显示系统应用需求，设计恰当的匹配精细化方法剔除错配，选取各立体对中适量的均匀分布匹配点，其具体步骤是：
(a)    对各立体对中已提取出的匹配特征点使用RANSAC精细化方法，剔除严重失配的点对；
(b)   将每个立体对中的图像分别沿横轴与纵轴均匀四等分为4×4共16个子块，根据匹配特征点均匀分布的要求，在左图像各子块中随机选取与右图像相匹配的特定数量特征点,得到一组匹配特征点集合；
(c)    根据分块选取的匹配特征点集合计算对应的校正后Sampson误差(几何重投影误差的一阶近似)；
(d)   循环步骤 (b) 和 (c)的随即分块选取过程N次( N的大小是校正精度与计算时间的折中)，对于每个立体图像对选取Sampson误差最小的匹配特征点集合作为后续立体对校正的输入信息。
上述步骤（3）中的校正未标定立体图像对，即根据已选定的精细化后匹配点信息对两两相邻的图像对进行未标定校正，其具体步骤是：
(a)     根据已精细化匹配特征点位置信息，建立未标定立体图像对校正过程的数学模型：
                     
Figure 58486DEST_PATH_IMAGE006
其中，
Figure 2010105451076100002DEST_PATH_IMAGE004
和分别表示左右视图的校正矩阵，和
Figure DEST_PATH_IMAGE007
分别表示第
Figure 2010105451076100002DEST_PATH_IMAGE008
个特征点位置，
Figure DEST_PATH_IMAGE009
为校正后立体图像对基本矩阵；
(b)    将抽象数学模型转变为以Sampson误差形式表示的系统方程组：
Figure 2010105451076100002DEST_PATH_IMAGE010
其中，
Figure 2010105451076100002DEST_PATH_IMAGE011
表示第
Figure 688198DEST_PATH_IMAGE008
对匹配特征点的Sampson误差，
Figure 2010105451076100002DEST_PATH_IMAGE012
表示校正前原始图像对的基本矩阵；
(c)     参数化左右校正矩阵，使用LM( Levenberg - Marquardt )参数估计算法求得满足系统方程组的最优化未知参数估值并带入以下公式中得到立体对校正矩阵；
Figure 2010105451076100002DEST_PATH_IMAGE013
其中，
Figure 667656DEST_PATH_IMAGE004
，
Figure 447393DEST_PATH_IMAGE005
分别表示左右视图校正矩阵，
Figure 2010105451076100002DEST_PATH_IMAGE014
，
Figure 2010105451076100002DEST_PATH_IMAGE015
分别表示左右视图旋转矩阵，
Figure 211119DEST_PATH_IMAGE008
，
Figure 330385DEST_PATH_IMAGE010
分别表示校正后左右相机内参，
Figure 520058DEST_PATH_IMAGE012
，分别表示校正前左右相机内参；
(d)    对各立体图像对依次进行上述校正过程的步骤(a)至步骤(c)，求得相应的左右视图校正矩阵。
上述步骤（4）中的投影多视点图像至公共校正平面：根据计算出的各个立体图像对校正矩阵，确定将多视点图像投影至公共校正平面的方法，其具体步骤是：
(a)     选定平行相机阵列中位于中间位置的两视点校正平面为公共投影校正平面；
(b)    以相机阵列左右两端次外侧视点图像为中间过渡图像，将最外侧视点图像以投影矩阵转移的方法投影至与其相邻的内侧立体对校正平面上；
(c)     循环使用投影矩阵转移方法，直至将最外侧视点图像转移至公共校正平面上，计算相应的校正矩阵；
(d)    使用同样的投影转移方法将其余非公共校正平面上的视点图像投影至公共校正平面上，计算相应的校正矩阵。
上述步骤（5）中的调整视点间视差，即根据公共校正平面上各视点图像距离，水平平移图像使视点间视差均匀，合成立体图像。其具体步骤是：
(a)     根据各视点投影至公共校正平面的校正矩阵，计算两两相邻图像对校正后的新匹配特征点位置；
(b)    将投影至公共校正平面的各视点图像分别沿横轴与纵轴均匀四等分为16个4×4子块，选取位于各立体对中心2×2子块的新匹配特征点，计算视点间距；
(c)     设定合适视差值，以中间立体对的中点为原点，水平平移各视点图像至相应位置；
(d)    合成公共校正平面上的各视点图像，完成多视点未标定校正。
   本发明与已有技术相比较，具有如下显而易见的实质性突出特点和显著优点：之前方法大多针对具有准确标定参数的相机阵列，对于某些无法完成标定过程的相机阵列或场景应用并不适用，而本发明则无需对相机阵列联合标定，根据各视点图像的特征点匹配信息计算相应校正矩阵，通过射影变换投影多视图像至公共校正平面，并可自由调整水平视差，从而增加了多视校正使用范围，易于应用实现。
附图说明
图1是本发明的平行式相机阵列未标定多视点图像校正方法流程框图；
图2是图1中的提取并匹配各视点图像特征点的程序框图；
 图3是图1中的提高特征点匹配精度的程序框图；
图4是图1中的校正未标定立体图像对的程序框图；
图5是图1中的投影多视点图像至公共校正平面的程序框图；
图6是图1中的调整视点间视差的程序框图；
图7是校正前多视点图像及立体图；
图8是校正后多视点图像及立体图。
具体实施方式
本发明的优选实施例子结合附图详述如下：
实施例一：本种平行式相机阵列的未标定多视点图像校正方法的具体步骤如图1流程框图所示。在计算机平台上编程实现本发明的方法，校正平行式相机阵列采集的多视点自然场景图像；参见图1，本平行式相机阵列的未标定多视点图像校正方法，首先针对平行式相机阵列采集的多视点图像提取特征点并匹配相邻立体对中的特征点，然后精细化匹配信息，选取适量匹配特征点校正各立体对，接着投影多视点图像至公共校正平面并调整视点间间距，从而可以合成校正后立体图像，提高立体显示质量；其具体操作步骤是：
(1)    提取并匹配各视点图像特征点：从多个视点的图像中检测足量待匹配SIFT特征点，以特征向量欧式距离为判定依据匹配两两相邻图像对中的对应特征点；
(2)    提高特征点匹配精度：根据实时三维立体显示系统应用需求，设计恰当的匹配精细化方法剔除错配，选取各立体对中适量的均匀分布匹配点；
(3)    校正未标定立体图像对：根据已选定的精细化后匹配点信息对两两相邻的图像对进行未标定校正；
(4)    投影多视点图像至公共校正平面：根据计算出的各个立体图像对校正矩阵，确定将多视点图像投影至公共校正平面的方法；
(5)    调整视点间视差：根据公共校正平面上各视点图像距离，水平平移图像使视点间视差均匀，合成立体图像。
 实施例二：本实施例与实施例一基本相同，特别之处如下：参见图2，上述步骤（1）的具体过程如下：
(a)     建立各视点图像在不同尺度下的尺度空间，检测尺度空间内极值，确定特征点位置及所在尺度；
(b)    根据特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数；
(c)     根据每个特征点的位置、尺度及方向特性信息生成其对应的128维SIFT特征向量；
(d)     以特征向量之间的欧式距离为相似性判定度量，取左图像中的某个特征点，并找出其与右图像中欧式距离最近的两个特征点，在这两个特征点中，如果最近的距离除以次近的距离
Figure DEST_PATH_IMAGE021
少于某个比例阈值
Figure 2010105451076100002DEST_PATH_IMAGE022
，即
则接受这一对匹配点，
Figure 593334DEST_PATH_IMAGE022
值越小匹配点对越少精度越高，在此处取值为0.7。
以上步骤提取出的匹配特征点对于相似区域较多或背景单调的图像会产生大量错误匹配，使校正矩阵产生误差，合成的立体图像出现闪烁现象。因此需通过上述的步骤(2)设计匹配精细化方法剔除错配，并选取各立体对中适量的均匀分布匹配点。其具体过程如下(参见图3)：
(a)     对各立体对中已提取出的匹配特征点使用RANSAC精细化方法，剔除严重失配的点对；
(b)    将每个立体对中的图像分别沿横轴与纵轴均匀四等分为4×4共16个子块，根据匹配特征点均匀分布的要求，在左图像各子块中随机选取与右图像相匹配的特定数量特征点,得到一组匹配特征点集合；
(c)     根据分块选取的匹配特征点集合计算对应的校正后Sampson误差(几何重投影误差的一阶近似)；
(d)    循环步骤 (b) 和 (c)的随即分块选取过程N次( N的大小是校正精度与计算时间的折中)，对于每个立体图像对选取Sampson误差最小的匹配特征点集合作为后续立体对校正的输入信息。
参见图4，上述步骤（3）的具体过程如下：
(a)     根据已精细化匹配特征点位置信息，建立未标定立体图像对校正过程的数学模型：
                     
Figure 172942DEST_PATH_IMAGE006
其中，
Figure 412293DEST_PATH_IMAGE016
和分别表示左右视图的校正矩阵，
Figure 159986DEST_PATH_IMAGE020
和
Figure 716738DEST_PATH_IMAGE022
分别表示第个特征点位置，为校正后立体图像对基本矩阵；
(b)    将抽象数学模型转变为以Sampson误差形式表示的系统方程组：
Figure 597489DEST_PATH_IMAGE010
其中，
Figure 120874DEST_PATH_IMAGE011
表示第
Figure 550719DEST_PATH_IMAGE008
对匹配特征点的Sampson误差，
Figure 605393DEST_PATH_IMAGE012
表示校正前原始图像对的基本矩阵；
(c)     参数化左右校正矩阵，使用LM( Levenberg - Marquardt )参数估计算法求得满足系统方程组的最优化未知参数估值并带入以下公式中得到立体对校正矩阵；
Figure 880517DEST_PATH_IMAGE013
其中，，
Figure 921471DEST_PATH_IMAGE005
分别表示左右视图校正矩阵，
Figure 650393DEST_PATH_IMAGE014
，
Figure 542257DEST_PATH_IMAGE015
分别表示左右视图旋转矩阵，
Figure 731968DEST_PATH_IMAGE024
，
Figure 529023DEST_PATH_IMAGE010
分别表示校正后左右相机内参，
Figure 824836DEST_PATH_IMAGE018
，
Figure 520391DEST_PATH_IMAGE019
分别表示校正前左右相机内参；
(d)    对各立体图像对依次进行上述校正过程的步骤(a)至步骤(c)，求得相应的左右视图校正矩阵。
参见图5，上述步骤（4）的具体过程如下：
(a)     选定平行相机阵列中位于中间位置的两视点校正平面为公共投影校正平面；
(b)    以相机阵列左右两端次外侧视点图像为中间过渡图像，将最外侧视点图像以投影矩阵转移的方法投影至与其相邻的内侧立体对校正平面上；
(c)     循环使用投影矩阵转移方法，直至将最外侧视点图像转移至公共校正平面上，计算相应的校正矩阵；
(d)    使用同样的投影转移方法将其余非公共校正平面上的视点图像投影至公共校正平面上，计算相应的校正矩阵。
参见图6，上述步骤（5）的具体过程如下：
(a)     根据各视点投影至公共校正平面的校正矩阵，计算两两相邻图像对校正后的新匹配特征点位置；
(b)    将投影至公共校正平面的各视点图像分别沿横轴与纵轴均匀四等分为16个4×4子块，选取位于各立体对中心2×2子块的新匹配特征点，计算视点间距；
(c)     设定合适视差值，以中间立体对的中点为原点，水平平移各视点图像至相应位置；
(d)    合成公共校正平面上的各视点图像，完成多视点未标定校正。
图7中 (a) - (f) 为平行式相机阵列拍摄的未经校正多视点原始图像，(g) 为由未校正多视点图像合成的立体图像，从立体图像中可以明显看出特征点垂直方向未对齐、水平视差分布不均匀。图8中 (a) - (f) 为按照本发明所述方法校正后的多视点图像，(g) 为校正后合成的立体图像，由图8中各图像可以直观地看出按照本发明所述方法校正后的多视点图像所有特征点垂直方向已对齐，水平方向视差分布均匀，立体图像主观质量良好，因此验证了本发明的有效性及应用于系统设计时的实用性。

Claims (6)

1.一种平行式相机阵列的未标定多视点图像校正方法，其特征在于首先提取平行式相机阵列各视点图像的特征点，设计适合实时立体显示系统实际需求的特征匹配方法，然后根据已提取出的匹配特征点信息计算两两相邻未标定立体图像对的校正矩阵，并设计将所有视点图像投影至同一公共校正平面上的投影方法，最后根据公共校正平面上各视点间距调整水平视差至均匀，平移相应图像完成多视点校正；其具体操作步骤是：
（1）提取并匹配各视点图像特征点：从多个视点的图像中检测足量待匹配SIFT特征点，以特征向量欧式距离为判定依据匹配两两相邻图像对中的对应特征点；
（2）提高特征点匹配精度：根据实时三维立体显示系统应用需求，对各立体对中已提取出的匹配特征点使用RANSAC精细化方法，剔除严重失配的点对，选取各立体对中均匀分布匹配点；
（3）校正未标定立体图像对：根据已选定的精细化后匹配点信息对两两相邻的图像对进行未标定校正；
（4）投影多视点图像至公共校正平面：根据计算出的各个立体图像对校正矩阵，首先选定公共投影校正平面，再循环使用投影矩阵转移方法将位于非公共投影校正平面上的多视点图像投影至公共校正平面，并计算出各个视点图像对应的校正矩阵；
（5）调整视点间视差：根据公共校正平面上各视点图像距离，水平平移图像使视点间视差均匀，合成立体图像。
2.根据权利要求1所述的平行式相机阵列的未标定多视点图像校正方法，其特征在于所述步骤（1）中的从多个视点的图像中检测足量待匹配SIFT特征点，匹配两两相邻图像对中的对应特征点，其具体步骤如下：
(a)建立各视点图像在不同尺度下的尺度空间，检测尺度空间内极值，确定特征点位置及所在尺度；
(b)根据特征点邻域像素的梯度方向分布特性确定每个特征点指定方向参数；
（c）根据每个特征点的位置、尺度及方向特性信息生成其对应的128维SIFT特征向量；
（d）以特征向量之间的欧式距离为相似性判定度量，在右视图特征点集合中查找与左视图特征点相匹配的点；特征点a, b间的欧式距离 
Figure 102271DEST_PATH_IMAGE002
表示如下：
Figure 95635DEST_PATH_IMAGE004
。
3.根据权利要求1所述的平行式相机阵列的未标定多视点图像校正方法，其特征在于所述步骤（2）中的提高特征点匹配精度，根据实时三维立体显示系统应用需求，设计恰当的匹配精细化方法剔除错配，选取各立体对中适量的均匀分布匹配点，其具体步骤如下：
(a)对各立体对中已提取出的匹配特征点使用RANSAC精细化方法，剔除严重失配的点对；
(b)将每个立体对中的图像分别沿横轴与纵轴均匀四等分为4×4共16个子块，根据匹配特征点均匀分布的要求，在左图像各子块中随机选取与右图像相匹配的特定数量特征点,得到一组匹配特征点集合；
(c)根据分块选取的匹配特征点集合计算对应的校正后Sampson误差——几何重投影误差的一阶近似；
(d)循环步骤 (b) 和 (c)的随即分块选取过程N次，N的大小是校正精度与计算时间的折中，对于每个立体图像对选取Sampson误差最小的匹配特征点集合作为后续立体对校正的输入信息。
4.根据权利要求1所述的平行式相机阵列的未标定多视点图像校正方法，其特征在于所述步骤（3）中的校正未标定立体图像对，根据已选定的精细化后匹配点信息对两两相邻的图像对进行未标定校正，其具体步骤如下：
(a)根据已精细化匹配特征点位置信息，建立未标定立体图像对校正过程的数学模型：
   
其中，
Figure 2010105451076100001DEST_PATH_IMAGE004
和
Figure DEST_PATH_IMAGE005
分别表示左右视图的校正矩阵，
Figure 649293DEST_PATH_IMAGE008
和
Figure 234995DEST_PATH_IMAGE010
分别表示第
Figure 2010105451076100001DEST_PATH_IMAGE008
个特征点位置，                                               
Figure 710712DEST_PATH_IMAGE002
表示矩阵
Figure 447724DEST_PATH_IMAGE004
的转置，
Figure 908792DEST_PATH_IMAGE006
为校正后立体图像对基本矩阵，其表达式如下：
Figure 338637DEST_PATH_IMAGE008
 (b)将抽象数学模型转变为以Sampson误差形式表示的系统方程组：
Figure 906465DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE011
表示第对匹配特征点的Sampson误差，
Figure DEST_PATH_IMAGE012
表示校正前原始图像对的基本矩阵； 
Figure DEST_PATH_IMAGE010
为
Figure 455628DEST_PATH_IMAGE012
的转置矩阵，其表达式为：
Figure 668435DEST_PATH_IMAGE014
(c)参数化左右校正矩阵，使用LM参数估计算法求得满足系统方程组的最优化未知参数估值并带入以下公式中得到立体对校正矩阵：
Figure DEST_PATH_IMAGE013
其中，
Figure 243905DEST_PATH_IMAGE016
，
Figure 949693DEST_PATH_IMAGE018
分别表示左右视图校正矩阵，
Figure DEST_PATH_IMAGE014
，
Figure DEST_PATH_IMAGE015
分别表示左右视图旋转矩阵，
Figure DEST_PATH_IMAGE020
，
Figure DEST_PATH_IMAGE022
分别表示校正后左右相机内参，
Figure DEST_PATH_IMAGE024
，
Figure DEST_PATH_IMAGE026
分别表示校正前左右相机内参；
(d)对各立体图像对依次进行上述校正过程的步骤(a)至步骤(c)，求得相应的左右视图校正矩阵。
5.根据权利要求1所述的平行式相机阵列的未标定多视点图像校正方法，其特征在于所述步骤（4）中的投影多视点图像至公共校正平面，根据计算出的各个立体图像对校正矩阵，确定将多视点图像投影至公共校正平面的方法，其具体步骤如下：
(a)选定平行相机阵列中位于中间位置的两视点校正平面为公共投影校正平面；
(b)以相机阵列左右两端次外侧视点图像为中间过渡图像，将最外侧视点图像以投影矩阵转移的方法投影至与其相邻的内侧立体对校正平面上；
(c)循环使用投影矩阵转移方法，直至将最外侧视点图像转移至公共校正平面上，计算相应的校正矩阵；
(d)使用同样的投影转移方法将其余非公共校正平面上的视点图像投影至公共校正平面上，计算相应的校正矩阵。
6.根据权利要求1所述的平行式相机阵列的未标定多视点图像校正方法，其特征在于所述步骤（5）中的调整视点间视差，根据公共校正平面上各视点图像距离，水平平移图像使视点间视差均匀，合成立体图像，其具体步骤如下：
(a)根据各视点投影至公共校正平面的校正矩阵，计算两两相邻图像对校正后的新匹配特征点位置；
(b)将投影至公共校正平面的各视点图像分别沿横轴与纵轴均匀四等分为16个4×4子块，选取位于各立体对中心2×2子块的新匹配特征点，计算视点间距；
(c)设定合适视差值，以中间立体对的中点为原点，水平平移各视点图像至相应位置；
(d)合成公共校正平面上的各视点图像，完成多视点未标定校正。
CN2010105451076A 2010-11-16 2010-11-16 平行式相机阵列的未标定多视点图像校正方法 Expired - Fee Related CN102065313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010105451076A CN102065313B (zh) 2010-11-16 2010-11-16 平行式相机阵列的未标定多视点图像校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010105451076A CN102065313B (zh) 2010-11-16 2010-11-16 平行式相机阵列的未标定多视点图像校正方法

Publications (2)

Publication Number Publication Date
CN102065313A CN102065313A (zh) 2011-05-18
CN102065313B true CN102065313B (zh) 2012-10-31

Family

ID=44000374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105451076A Expired - Fee Related CN102065313B (zh) 2010-11-16 2010-11-16 平行式相机阵列的未标定多视点图像校正方法

Country Status (1)

Country Link
CN (1) CN102065313B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539934A (zh) * 2015-01-05 2015-04-22 京东方科技集团股份有限公司 图像采集装置和图像处理方法、系统

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130016186A1 (en) * 2011-07-13 2013-01-17 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
CN102523462B (zh) * 2011-12-06 2014-01-08 南开大学 基于相机阵列的元素图像阵列快速获取方法和装置
CN103456043B (zh) * 2012-05-29 2016-05-11 深圳市腾讯计算机系统有限公司 一种基于全景图的视点间漫游方法和装置
US9069440B2 (en) * 2012-06-05 2015-06-30 Apple Inc. Method, system and apparatus for providing a three-dimensional transition animation for a map view change
CN103079083B (zh) * 2012-12-06 2015-05-06 上海大学 一种已标定平行摄像机阵列多视图像校正方法
CN103096113B (zh) * 2013-02-15 2015-01-07 吉林大学 离散视点采集结合窗截取算法的立体元图像阵列生成方法
CN103345736B (zh) * 2013-05-28 2016-08-31 天津大学 一种虚拟视点绘制方法
CN104299190B (zh) * 2014-02-25 2017-02-15 河南科技大学 线阵扫描图像的矫正方法与装置
CN104089628B (zh) * 2014-06-30 2017-02-08 中国科学院光电研究院 光场相机的自适应几何定标方法
TWI554976B (zh) 2014-11-17 2016-10-21 財團法人工業技術研究院 監控系統及其影像處理方法
CN104715482B (zh) * 2015-03-20 2017-08-11 四川大学 一种ransac计算基本矩阵中内点门限自动设置方法
CN105868733A (zh) 2016-04-21 2016-08-17 腾讯科技（深圳）有限公司 一种人脸活体验证方法及装置
CN109314774B (zh) * 2016-07-06 2021-05-25 深圳市大疆创新科技有限公司 用于立体成像的系统和方法
CN107730554B (zh) * 2016-08-10 2020-11-24 合肥美亚光电技术股份有限公司 面阵结构光成像系统的标定方法和装置
CN106303501B (zh) * 2016-08-23 2018-12-04 深圳市捷视飞通科技股份有限公司 基于图像稀疏特征匹配的立体图像重构方法及装置
CN106550229A (zh) * 2016-10-18 2017-03-29 安徽协创物联网技术有限公司 一种平行全景相机阵列多视点图像校正方法
DE102016122934A1 (de) * 2016-11-28 2018-06-14 SMR Patents S.à.r.l. Bildgebungssystem für ein Fahrzeug und Verfahren zum Erhalten eines superaufgelösten Antiflimmer-Bildes
CN107194972B (zh) * 2017-05-16 2021-04-02 成都通甲优博科技有限责任公司 一种摄像机标定方法及系统
CN108230395A (zh) 2017-06-14 2018-06-29 深圳市商汤科技有限公司 双视角图像校准及图像处理方法、装置、存储介质和电子设备
CN108230372B (zh) * 2017-11-30 2022-01-14 努比亚技术有限公司 一种图像处理方法、终端及计算机可读存储介质
JP7427614B2 (ja) * 2018-06-29 2024-02-05 ズークス インコーポレイテッド センサ較正
CN109360235B (zh) * 2018-09-29 2022-07-19 中国航空工业集团公司上海航空测控技术研究所 一种基于光场数据的混合深度估计方法
CN111641775B (zh) * 2020-04-14 2021-10-01 北京迈格威科技有限公司 多摄变焦控制方法、装置及电子系统
CN112819904B (zh) * 2021-03-15 2022-02-01 亮风台（上海）信息科技有限公司 一种用于标定ptz摄像机的方法与设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101350101A (zh) * 2008-09-09 2009-01-21 北京航空航天大学 多幅深度图像自动配准方法
CN101527865A (zh) * 2009-01-05 2009-09-09 清华大学 一种投影式高分辨率多视点自由立体显示系统
CN101655976A (zh) * 2009-09-10 2010-02-24 浙江工商大学 基于控制点修正的多视角图像亮度校正方法
CN101763632A (zh) * 2008-12-26 2010-06-30 华为技术有限公司 摄像机标定的方法和装置
CN101782969A (zh) * 2010-02-26 2010-07-21 浙江大学 一种基于物理定位信息的图像特征可靠匹配的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101350101A (zh) * 2008-09-09 2009-01-21 北京航空航天大学 多幅深度图像自动配准方法
CN101763632A (zh) * 2008-12-26 2010-06-30 华为技术有限公司 摄像机标定的方法和装置
CN101527865A (zh) * 2009-01-05 2009-09-09 清华大学 一种投影式高分辨率多视点自由立体显示系统
CN101655976A (zh) * 2009-09-10 2010-02-24 浙江工商大学 基于控制点修正的多视角图像亮度校正方法
CN101782969A (zh) * 2010-02-26 2010-07-21 浙江大学 一种基于物理定位信息的图像特征可靠匹配的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539934A (zh) * 2015-01-05 2015-04-22 京东方科技集团股份有限公司 图像采集装置和图像处理方法、系统

Also Published As

Publication number Publication date
CN102065313A (zh) 2011-05-18

Similar Documents

Publication Publication Date Title
CN102065313B (zh) 平行式相机阵列的未标定多视点图像校正方法
CN107292921B (zh) 一种基于kinect相机的快速三维重建方法
CN103236082B (zh) 面向捕获静止场景的二维视频的准三维重建方法
CN103337094B (zh) 一种应用双目摄像机实现运动三维重建的方法
CN109308719B (zh) 一种基于三维卷积的双目视差估计方法
Kang et al. An efficient image rectification method for parallel multi-camera arrangement
CN103345736B (zh) 一种虚拟视点绘制方法
CN104537707B (zh) 像方型立体视觉在线移动实时测量系统
CN104539928B (zh) 一种光栅立体印刷图像合成方法
WO2017156905A1 (zh) 一种将二维图像转化为多视点图像的显示方法及系统
CN106340045B (zh) 三维人脸重建中基于双目立体视觉的标定优化方法
CN102665086A (zh) 利用基于区域的局部立体匹配获取视差的方法
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及系统
CN103945207B (zh) 一种基于视点合成的立体图像垂直视差消除方法
KR100668073B1 (ko) 다시점 영상의 왜곡 보정처리 방법
CN103997638A (zh) 一种矩阵式相机阵列多视点图像校正方法
Ho et al. Multi-view depth generation using multi-depth camera system
CN103247065A (zh) 一种裸眼3d视频生成方法
CN104301706A (zh) 一种增强裸眼立体显示效果的合成方法
CN106550229A (zh) 一种平行全景相机阵列多视点图像校正方法
CN110120012A (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
Jin A three-point minimal solution for panoramic stitching with lens distortion
CN115719320B (zh) 基于遥感影像的倾斜校正稠密匹配方法
CN116309844A (zh) 一种基于无人机单张航空图片的三维测量方法
Gurbuz et al. Color calibration for multi-camera imaging systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121031

Termination date: 20211116